Skip to content

Formerly KrillinAI, VideoTranslation and Dubbing Tool for 120+ Languages. Open-source AI workspace for creators, powered by Codex. Video downloader, video translation, create videos, images, audios, and edits with Agents in one place. For your Social Media like YouTube, TikTok, Instagram, etc.

20.2 KB
Raw Blame

KrillinAI 视频翻译多语言扩展实施方案

日期:2026-10-16。依据:变更前流程与语言支持评估。用户已批准实施;语言目录、能力检查、后端映射、复杂文字渲染及字体交付已落地。实际验证范围及 52 项语言矩阵见实施与验收记录。本文保留方案要求,不能将下述验收目标理解为全部通过。

当前状态:A、B 的代码与定向验证已完成;C 的自动化及 macOS arm64 包验证已完成,52 项自然样片与人工语义验收待完成;D 为后续范围。自定义云服务覆盖仍为未知,不将本地 Whisper 清单套用于云接口。

1. 交付目标

沿用现有 KrillinAI 翻译、原译配对和时间映射主体,补齐语言目录、识别能力、后端代码适配、复杂文字渲染和字体交付。Web 与 Desktop 使用同一套 Web 页面、Daemon 业务判断和 Runtime 实现。

完整功能应满足以下条件:

  1. 用户能从统一语言目录选择主流源语言;服务明确不支持时有准确提示和修复入口。
  2. 有平台字幕或原文 SRT 时,可以直接翻译,不因 ASR 不支持该语言而被错误阻止。
  3. 实际需要 ASR 时,向当前实际生效的后端和模型传递正确代码;失败保留已生成的可用产物。
  4. 普通、短字幕及横竖屏视频均保留复杂文字的组合字符,RTL 文字和数字混排正确,字体资源随产品交付。
  5. 旧任务、已生成结果和样式预设继续可读、可编辑、可重试。

“模型声明支持”“本地结构测试通过”“真实样片已验收”分别记录。不能用其中任意一项代替另外两项。

2. 首批语言范围

底层目录覆盖当前可用 Whisper 多语言模型的语言集合,补齐缺失名称与别名;每个具体模型使用自己的能力清单,不统一套用最新模型的全部语言。

首批重点验收下列 52 个语言选项,其中简体和繁体中文是同一声学语言的两种书写选项:

分组 语言
保留现有 14 项 简体中文、英语、西班牙语、法语、意大利语、葡萄牙语、印尼语、泰语、日语、韩语、德语、土耳其语、俄语、马来语
新增 20 项 阿拉伯语、印地语、孟加拉语、越南语、菲律宾语、波斯语、希伯来语、波兰语、荷兰语、乌克兰语、乌尔都语、泰米尔语、泰卢固语、马拉地语、旁遮普语、古吉拉特语、尼泊尔语、缅甸语、高棉语、老挝语
新增欧洲语言 16 项 瑞典语、芬兰语、丹麦语、挪威语、希腊语、捷克语、罗马尼亚语、匈牙利语、保加利亚语、塞尔维亚语、克罗地亚语、斯洛伐克语、斯洛文尼亚语、立陶宛语、拉脱维亚语、爱沙尼亚语
其他 2 项 繁体中文、斯瓦希里语

上述范围是交付目标,是否能从音频使用某项仍由实际 ASR 能力决定。其余语言进入同一目录和测试机制,逐步补充质量验收记录。现有目标语言值全部保留,包括拼音等特殊文本输出项;为它们单独标记用途,避免进入音频源语言清单。

自动识别、多种源语言动态切换、多说话人识别作为后续功能。首批以用户指定一种主要源语言为前提。扩展源语言不等于扩展全部目标语言的 TTS 音色。

3. 统一语言目录

新增中立的源数据文件,例如 assets/creator-languages/catalog.json,作为 TS 与 Go 的共同来源,避免前端、Daemon、Go 各自维护三份名单。构建生成协议包语言目录和 Go 静态语言表;检查生成文件与源数据一致,运行时不依赖额外读取仓库文件。

目录每项包含:

  • 稳定产品代码、中文名、英文名、原生名、常见别名。
  • 文字系统、默认书写方向、是否通常使用词间空格。
  • 是否用于语音语言、文本翻译或特殊文本输出。

后端专用语言代码保留在对应 ASR 适配表中,不混入通用语言规范化。产品层保持已有 zh_cn、zh_tw、fil、jv 等值;iw 等历史别名归一到现有规范值。中文 ASR 统一映射到声学语言 zh,识别返回的实际文本原样保留,不先做简繁转换再对齐时间。

后端代码示例:

产品代码 Whisper 系列的适配目标 说明
zh_cn / zh_tw zh 同一声学语言;简繁是文本层信息
fil tl 产品名为菲律宾语,Whisper token 为 Tagalog
jv jw 或具体实现接受的别名 逐个核对 WhisperKit、whisper.cpp 与接口服务的代码要求
he he YouTube 的 iw 别名单独在平台适配层处理

未知历史代码必须保留原值供展示与诊断。再次执行时按当前能力判断,不能静默改成中文或英语。葡萄牙语 pt 使用通用语言名称;没有地区配置时不把该选项固定标为巴西葡萄牙语。

4. ASR 能力与实际模型

扩展现有 CreatorTranscriptionProviderCapability,增加可选的按模型语言能力字段,复用 /creator-services/capabilities。保留原有字段,旧测试桩或缺少新字段的调用方按“未知”处理。

建议模型能力结构:

type TranscriptionLanguageCapability = {
  coverage: 'complete' | 'partial' | 'unknown';
  supportedLanguages: string[];
  unsupportedLanguages?: string[];
  timestamps: 'word' | 'segment' | 'none' | 'unknown';
  profileVersion: string;
};

complete 表示掌握该模型的完整语言集合,不表示所有语言都已通过质量验收;partial 只掌握部分已知支持或不支持项;unknown 表示当前服务配置没有可用的可靠清单。判断规则:明确支持则通过;明确不支持,或完整清单之外的语言,则阻止 ASR;其余情况提示能力未确认并允许使用原有自定义服务路径。

Daemon 统一解析实际生效的服务绑定,包括官方服务、任务选择的官方模型、用户自定义服务、Aliyun AppKey 和火山 Resource ID。能力判断必须与 cli-runner.ts 最终生成配置的模型一致,不能只检查设置页中的模型名称。界面用于辅助选择,Daemon 和 Go 后端边界负责最终验证。

各后端的首批处理方式:

  • WhisperKit / whisper.cpp:建立明确的模型能力表,包含语言代码和时间戳能力;按平台现有可用性展示。

实施核对:WhisperKit 当前实际使用 large-v2。whisper.cpp 的 tiny、medium 虽在兼容配置中使用 large-v2 文件名,启动器实际将所选模型文件挂载到该名称;能力检查与元数据必须保留真实模型名,另外记录执行别名,不能将 tiny、medium 误报为 large-v2。

  • 自定义兼容接口:明确目前实际请求 whisper-1 的行为,能力按实际请求模型判断。首批不把“兼容接口”一律认定为标准 Whisper 服务。
  • 官方转录服务:优先使用官方模型目录提供的语言与时间戳信息;缺少信息时标为未知,不借用本地 Whisper 能力。
  • FunASR:按具体模型及部署服务核实支持集合,已知部分写入能力表,未确认部分使用未知状态。
  • Aliyun / 火山:按现有服务资源的公开能力与配置核实;Aliyun 当前不使用传入语言的行为必须准确表达,不能给任意 AppKey 虚构可切换语言能力。确需更换服务接口时单独实现适配与集成测试。
  • faster-whisper:沿用当前可用性判断,有实现但不可安装的状态不计入本次可用后端交付。

5. 按实际执行路径检查

来源或执行步骤 检查行为
原文 SRT 导入 检查语言目录、翻译模型和字幕格式;跳过 ASR 能力检查
已导入目标字幕且无需翻译 跳过无关的 ASR、翻译能力检查
本地视频、其他需要音频转录的来源、强制转录 开始转录前检查实际 ASR 的语言和时间戳能力
YouTube 平台字幕优先 允许先尝试平台字幕;ASR 不支持只影响回退可用性
YouTube 字幕不可用,需要回退转录 在下载模型、准备转录音频及调用 ASR 前重新检查;不支持时暂停在可修复状态
仅重新渲染或配音 使用已有字幕和结果快照;不重跑 ASR 检查或翻译

preflight.ts 负责开始前的判断;adapter.ts 结合 execution-plan.ts 在实际 ASR 尝试开始前执行同一套规则,避免平台字幕回退绕过检查。Go 适配器负责最终的后端代码转换与明确错误,CLI 独立使用时也应得到一致结果。

新增稳定错误码,例如 creator_transcription_language_unsupported、creator_transcription_language_unknown(提示用)、creator_transcription_timestamps_unavailable;通过现有错误协议、Preflight、共享协作面板和本地化机制展示。实际不支持时提示当前语言、当前服务及“更换识别服务/导入原文字幕”的修复入口。

恢复任务时继续使用现有结果快照和阶段恢复机制;更换服务后只重试未完成步骤。每次执行在阶段或产物元数据记录实际 provider、model、产品语言、后端语言代码和能力版本,以便解释结果与复现请求。历史结果不因当前目录或服务配置变化而失效。

6. 前端交互

VideoTranslationWorkspace 从共享目录生成源、目标选项,通过现有服务加载能力和配置。首批保持当前设置步骤和共享协作面板结构,增加必要的语言检索,支持中文名、英文名、原生名和代码。

源语言的可选状态结合当前来源判断:音频路径对明确不支持项显示原因;平台字幕优先时仍可选择,但在设置摘要或现有 Preflight 中提示当前服务无法转录回退。自定义服务能力未知时使用一条简洁提示,避免把未知误报为不支持。

切换 ASR 服务或模型后保留已选语言、上传素材、字幕编辑和草稿;确实不兼容时提示用户处理,不能自动替换语言。旧任务中的值即便不在当前推荐集合,也要显示名称或原代码。

新增提示进入既有 i18n 文案机制。原生语言名作为语言数据展示;RTL 仅作用于字幕文本或相应文本输入,不反转整个工作区布局。

7. 翻译、断句与时间轴

继续使用同一次模型请求完成整句翻译、原译配对和分段;保留双侧显示长度、字素边界、原译覆盖、ID 和顺序校验。正常路径保持现有模型调用次数和批次预算。

重点补齐以下边界:

  • 在 ASR 后端入口分别做产品代码到后端代码的映射,识别结果回传时反向映射。
  • 转录全文、词列表和时间定位使用一致的文本处理规则;避免一侧改变连字符、组合符或连接符,另一侧保留而导致错误匹配。展示文本保留原始有效文字。
  • originCuesFromTranscription 等仅生成源字幕的路径也使用共享词/字素规则,替换把“亚洲语言”一概去空格的粗略逻辑,保留韩语等语言的必要空格。
  • Unicode 句子边界处理阿拉伯标点、印度文字句号及无空格语言;平台字幕原有完整 cue 时间仍作为可用时间依据。
  • 时间轴继续沿用已知词时间或 cue 时间;词内、cue 内新边界按原文位置插值,明确其精度范围。

语言正确性验收以真实样片人工核对为主。首批不增加常规的第二次 LLM 审校,不用简单的“包含某文字字符”规则强制拒绝合法专名或混排。

8. 字幕渲染与字体

8.1 修正渲染切分

移除单语竖屏中通过 !ContainsAlphabetic 推断中文的判断,改为明确的文字检测和统一安全边界处理。wrapCJKSubtitle 及长词回退不再按 rune 任意切开,复用 Unicode 词与字素边界。保留现有中文分词和布局策略,并确保其结果也落在安全边界上。

同一文本规则覆盖普通、短字幕和实际 ASS 输出。对屏幕宽度的处理仍要结合字体、字号和内容区域验证;50 个显示单位不等同于固定像素宽度。RTL 逻辑顺序交给 libass 的 BiDi 和塑形处理,不能通过反转字符串实现。

8.2 内置回退字体

按文字系统补充可分发字体:拉丁扩展/西里尔/希腊、阿拉伯/波斯/乌尔都、希伯来、Devanagari、孟加拉、Gurmukhi、Gujarati、泰米尔、泰卢固、泰语、缅甸、高棉、老挝等。具体字体使用 Noto 对应家族或满足同等覆盖与授权条件的字体,逐份固定来源、版本和 SHA-256,随资源保留许可证。

既有三种样式、三档字重仍使用现有别名。回退字体作为独立的 fallbackFonts 数据管理,包含 family、覆盖文字系统、字重、Web 和 Runtime 文件及哈希,不扩充用户的样式选项数量。使用时优先选择能够覆盖该文字的内置字体,混排验证实际选中的字体;缺少必要资源时明确失败。

字体源 manifest 升级为可表达回退字体的版本,新读取器同时兼容现有 v1。资源准备、Go 校验、Web 构建及打包校验同步支持新版本;不能只修改源 manifest。重点去除“总字体只能有 9 个”的假设,改为校验 9 个主样式别名和独立的回退字体集合。

同时更新实际交付的 Krillin CLI 构建与 Runtime 资源清单,验证新 CLI 与新字体 manifest 配套。旧 CLI 不认识新 manifest 时应升级对应 Runtime,不能只替换字体后继续调用旧二进制;新代码读取旧任务和旧 v1 资源的兼容路径另作测试。

Web 字体按文字范围按需加载,FFmpeg 从 Runtime 字体目录加载;字幕预览与正式渲染使用同一套字体资产和选择规则。既有预览返回 Runtime 渲染图,应继续复用该路径,避免前端另做一套字体塑形逻辑。

字体体积和渲染耗时在准备资产后记录真实增量,再确定权重与子集。子集必须保留 GSUB/GPOS 等塑形信息及实际文字所需字符,不能只保留几个测试样例。

9. 改动位置

区域 现有或拟新增文件 责任
目录源数据 新增 assets/creator-languages/catalog.json 及生成脚本 语言名称、别名、文字系统与用途;生成 TS/Go 表
共享协议 packages/protocol/src/creator-services.ts,新增语言目录导出,相关错误类型 可选模型语言能力、共享规范化与稳定错误码
能力接口 apps/daemon/src/creator/krillin/capabilities.ts、api/routes.creator-services.ts 按模型提供能力及实际服务解析
启动与回退检查 apps/daemon/src/creator/preflight.ts、krillin/adapter.ts、execution-plan.ts、cli-runner.ts 基于实际路径和实际模型检查、保留重试与结果快照
前端 apps/web/src/features/dashboard/VideoTranslationWorkspace.tsx、services/creator-services-service.ts、Preflight 文案与语言资源 统一选项、检索、兼容提示、草稿与历史值
Go 目录与 ASR runtime/krillinai/internal/types/language.go、internal/service/audio2subtitle.go、pkg/whisper*、pkg/funasr、pkg/aliyun、pkg/volcengine 名称表、后端代码映射、独立 CLI 的边界验证
字幕与时间轴 internal/service/subtitle_text.go、subtitle_timing.go、paired_translation.go、srt_embed.go Unicode 边界、源字幕空格、横竖屏渲染一致性
字体与交付 assets/creator-subtitle-fonts、apps/web/vite.config.ts、apps/desktop/scripts/prepare-creator-runtime.mjs、package-release.mjs、verify-package.mjs、Go render_stage.go 回退字体、版本兼容、许可证、资源清单与哈希验证

共享的错误和能力结构可以被其他模板读取;新增行为首先限定在视频翻译及其实际依赖路径。复用同一 ASR 或字幕方法的调用方补相关回归测试,避免扩大产品行为范围。

10. 测试与验收

自动化测试

  1. 目录唯一性、生成一致性、旧代码兼容、用途分类;逐个后端检查 zh_tw、fil、jv、iw 等映射。
  2. 完整/部分/未知能力、官方服务与任务模型覆盖、明确不支持、无时间戳等判断;能力接口缺少新字段时仍兼容。
  3. SRT 不触发 ASR;平台字幕成功不触发 ASR 限制;平台失败后才检查回退;不支持时不下载识别模型、不调用 ASR。
  4. 原译覆盖、字素边界、源文空格、短字幕、词时间与 cue 时间路径;将本轮临时验证整理为正式的参数化测试。
  5. 复现并修复 क्षि、हिन्दी、বাংলা、தமிழ் 的竖屏字素断裂;检查实际 ASS 文本和时间区间。
  6. 字体 cmap 覆盖、塑形表、源与 Runtime 资源哈希、许可证、manifest 新旧版本兼容;缺字、资源缺失、哈希不符必须被检测。
  7. Web 语言选择、服务切换、旧任务恢复、SRT 路径和提示;在相同数据与内容视口下比较 Browser Bridge 和 Desktop Bridge 的选项、状态及 Runtime 请求。

真实样片

首批 52 个语言选项各准备至少一段 30–60 秒的有权使用素材及人工核对稿;中文两种选项核对同一声学语言的映射行为,不把它们统计为两个识别模型能力。先验收当前平台实际可用的多语言本地后端;其他云后端只对其明确声明和实际配置支持的语言验收。

所有样片检查原文识别、数字/专名/否定、译文含义、完整覆盖和基本时间同步。按 WER 或 CER 记录识别误差;分词方法和可接受阈值随语言与样片说明固定,不用英文 WER 阈值统一判断所有文字。

阿拉伯语/波斯语/希伯来语重点检查 RTL 与英文数字混排;印地语/孟加拉语/泰米尔语检查组合字符与连接符;泰语/高棉语/老挝语/缅甸语检查无空格边界;越南语检查重音;中文及现有英语链路做回归。每类复杂文字至少验收横屏、竖屏、单语和双语输出;52 项各检查一次最终视频,跨场景组合使用代表性素材。

完成标准包括:字幕无组合字符断裂和方框缺字、条目和编号合法、单语时间轴无非预期重叠、音频边界合理、关键含义正确、预览与输出一致。将测试层级、实际模型、语言、素材、人工结果和遗留限制写入验收记录。

验证层级

本方案涉及协议、Daemon、Runtime 和字体资产,实施按 P2 选择受影响集成测试、Go CLI 构建、协议/Daemon/Web typecheck,并在实际 Runtime 中验证转录和 FFmpeg 渲染。字体涉及构建资产,执行 Web 构建和资源准备检查。

字体交付修改会涉及 Desktop 准备及打包脚本;完成交付时执行受影响的 Desktop 构建和实际打包验证,对照当前工作树重新构建的 Web 资产、包内字体和 Runtime 文件哈希,运行相关打包 App 场景。只完成源码和 Web 检查时报告该阶段结果,不宣称 Desktop 包已完成验收。跨平台环境未能执行的检查明确留在交付门禁中。

11. 实施顺序与完成边界

步骤 交付内容 完成条件
A. 语言与识别链路 统一目录、模型能力、代码映射、前端选项、实际 ASR 前检查 定向测试及 typecheck 通过,真实代表性音频进入正确模型、请求代码正确,字幕/平台路径不被误拦
B. 复杂文字输出 源字幕空格修正、Unicode 渲染切分、回退字体、资产版本与校验 复杂文字无字素断裂和缺字;横竖屏、预览与正式输出通过定向渲染检查
C. 首批质量与交付验收 52 项样片记录、可用后端矩阵、Web/Desktop 检查与实际包资源验证 每项记录真实证据;平台和交付门禁完成后再宣称对应范围已支持
D. 后续扩展 其余模型语言、自动识别、混合语言及更多后端 复用同一目录、能力与测试框架;每项独立确定要求

A 完成后可交付字幕链路的增量结果,全球主流语言视频翻译的完整交付需要 A、B、C 全部完成。实际工作量的主要变量是云服务能力核实、字体资产准备和人工样片核对,不能以本地算法测试耗时推算完整验收周期。