Formerly KrillinAI, VideoTranslation and Dubbing Tool for 120+ Languages. Open-source AI workspace for creators, powered by Codex. Video downloader, video translation, create videos, images, audios, and edits with Agents in one place. For your Social Media like YouTube, TikTok, Instagram, etc.
KrillinAI 视频翻译的源语言扩展评估
排查日期:2026-10-16。本文记录实施前的源码排查和本地算法验证;下文“当前”“未修改”均指排查时状态。其后已按用户批准的实施方案完成代码扩展,最新范围见实施与验收记录。排查及实施均未调用付费识别或翻译服务。
结论
可以扩展更多源语言,现有翻译、原译配对和时间轴主体算法可以继续使用。当前界面的 14 种源语言不是算法上限。但完整支持全球主流语言不能只扩充下拉框,还需要补齐识别模型能力、语言代码、字体和最终字幕渲染。
需要分别定义三种能力:从音频识别源语言、把已有文本翻译成目标语言、用目标语言配音。它们由不同模型提供,不能共用一份无条件的“支持语言”声明。
当前流程与限制
| 环节 | 当前实现 | 对扩展语言的影响 |
|---|---|---|
| 前端选择 | apps/web/src/features/dashboard/VideoTranslationWorkspace.tsx 的源语言固定 14 项,目标语言固定 101 项 |
阿拉伯语、印地语、孟加拉语、越南语、菲律宾语、波斯语等无法选作源语言;这属于界面限制 |
| Daemon 与 CLI | 模板的 sourceLanguage 是字符串;Adapter 规范化中文、地区代码与希伯来语别名,CLI 接收 --origin-lang |
没有只允许 14 种语言的协议枚举,无需为新增语言改造整个任务协议 |
| YouTube | 优先读取匹配的平台字幕;缺少或无效时,默认路径回退到音频转录 | 平台字幕可绕过语音识别能力限制,但字幕不可用时仍取决于所选 ASR 模型 |
| 本地原文 SRT | 导入 UTF-8 字幕后进入共享翻译路径 | 不依赖 ASR,但仍需要正确的语言名称和模型翻译能力 |
| 音频 | 切分音频 → 所选 Transcriber → 完整文本及时间数据 → 翻译配对 → 时间映射 | 主要上限来自识别后端和模型,而非固定源语言分支 |
| 翻译与断句 | paired_translation.go 与 subtitle_text.go 使用 Unicode 句子、词、字素边界;模型同次完成翻译与原译配对 |
已能保留复杂文字、组合符、ZWJ/ZWNJ;不需要为每种语言单独写一套翻译算法 |
| 时间轴 | subtitle_timing.go 按原文位置映射已有词或 cue 时间;全文与词列表标点不同则使用通用匹配器 |
不依赖拉丁字母;词内或 cue 内边界通过插值估算,不是音素级对齐 |
| 视频渲染 | SRT 转 ASS,再由 FFmpeg/libass 渲染 | 存在独立于字幕翻译算法的多语言缺口,详见下文 |
当前 14 项为:简体中文、英语、西班牙语、法语、意大利语、葡萄牙语、印尼语、泰语、日语、韩语、德语、土耳其语、俄语、马来语。
识别模型是否支持更多语言
Whisper 多语言模型覆盖远多于这 14 种。上游 tokenizer 包含阿拉伯语、印地语、孟加拉语、越南语、希伯来语、波斯语、乌尔都语、泰米尔语、泰卢固语、马拉地语、旁遮普语、古吉拉特语、尼泊尔语、缅甸语等。现有 WhisperKit 固定使用的 large-v2 属于多语言模型;whisper.cpp 也使用多语言模型资源。
参考:Whisper 上游语言与 tokenizer 定义。该版本语言表有 100 个 token,默认 tokenizer 取前 99 个;第 100 个为粤语。必须按具体模型确定候选集合,不能用上游最新集合替代旧模型能力,更不能把 token 数量视为质量验收结果。
其他后端需要分别确认:
- OpenAI 兼容接口:取决于实际服务和实际模型,兼容 HTTP 协议不代表具有同样的语言覆盖。当前自定义接口客户端固定请求
whisper-1,配置中的任意模型名称不会直接改变该行为;官方服务覆盖另有模型入口。 - FunASR:配置允许
sensevoice、paraformer、fun-asr-nano,客户端传递语言参数,但代码没有这些模型的语言能力校验,不能推定全部支持 Whisper 的语言范围。 - 阿里云:当前 ASR 提交请求未使用传入的
language,识别能力依赖 AppKey 对应的服务配置;不能仅根据前端选择保证按指定语言识别。 - 火山引擎:目前显式地区代码映射覆盖现有 14 项,其余代码直接透传;需要按实际模型和 Resource ID 确认服务语言格式与支持范围。
- faster-whisper:有 Runtime 实现,但当前组件能力将其标记为不可用,不能把它列为用户目前可用的默认解决路径。
apps/daemon/src/creator/krillin/capabilities.ts 目前提供后端可用性和模型列表,没有按模型提供支持语言清单;执行前也缺少相应的语言兼容性检查。
必须补齐的具体问题
- 统一语言目录和后端代码映射。
audio2subtitle.go:transcribeAudio仅做zh_cn → zh,遗漏zh_tw → zh;菲律宾语的产品代码是fil,Whisper 使用tl;爪哇语也存在产品jv与 Whisperjw的差异。映射应位于具体后端边界,并把识别结果反向映射回产品代码,保留历史任务兼容性。 - 按来源和模型开放选项。 音频源语言按所选 ASR 模型提供;已有平台字幕、原文 SRT 的翻译语言不应被 ASR 清单错误限制。执行前对明确不支持的组合给出可操作的提示。
- 不能直接把 101 项目标语言复制到源语言。 列表包含拼音及若干不在 Whisper 语言 token 中的项目,同时缺少古吉拉特语、尼泊尔语、缅甸语等已有 Whisper token 的语言。语言表项也不代表任何 LLM 都能达到可用的翻译质量。
- 补齐字体。 内置字体来自 Noto Sans SC、Noto Serif SC、M PLUS Rounded 1c。检查三种 Regular TTF 的 Unicode cmap:阿拉伯语、印地语、孟加拉语、希伯来语、泰语、泰米尔语样例字符均未覆盖;越南语样例也未完整覆盖。目前可能借助系统字体回退,但不能保证不同机器都有合适字体。需要按文字系统提供字体及可靠回退,并验证 RTL、复杂文字塑形和混排。
- 修正单语竖屏渲染的文字分类与切分。
srt_embed.go使用!util.ContainsAlphabetic(content)进入中文处理分支;该判断只识别部分拉丁、希腊、西里尔字母,阿拉伯文和印度文字也会进入此分支。随后wrapCJKSubtitle在非中文情况下按 rune 切分,能破坏字素簇。本地已复现重复的क्षि、हिन्दी、বাংলা、தமிழ்被拆开;共享翻译阶段的字素保护不能自动保护后续渲染阶段。 - 区分结构可靠性与语言质量。 当前本地目标语言特征校验专门处理中文、英语、日语,其他语言默认通过。Unicode 分段和完整覆盖校验可以证明结构没有丢失,不能证明模型翻译准确。中英文之外的自然语义断句也主要依赖模型。
不建议单独增加“自动识别”选项:WhisperKit 已能省略语言参数自动检测,但各后端实现与检测结果回传不一致;翻译阶段直接使用 auto 会得到“未知”语言名称。应先把检测语言贯穿到翻译输入、任务状态及结果元数据。
本轮验证
现有 5 项定向测试通过:
cd runtime/krillinai
go test ./internal/service -run '^(TestSubtitleUnicodeBoundariesAndDisplayUnits|TestPairedTranslationRejectsSourceOverflowAndUnsafeBreaks|TestPairedTranslationUsesWordTimingAndVariableCueCount|TestShortSubtitleSharesWordInteriorTiming|TestGenerateSrtWithTimestampsWritesThaiShortSubtitle)$' -count=1
另外通过临时 Go overlay 验证了 16 种当前界面未开放的候选源语言:阿拉伯语、印地语、孟加拉语、越南语、希伯来语、波斯语、乌尔都语、泰米尔语、泰卢固语、波兰语、乌克兰语、菲律宾语、高棉语、老挝语、马拉地语、旁遮普语。每种检查:
- 语言名称进入模型输入,配对输出结构校验通过,原文完整保留。
- 精确词文本时间映射和标点差异回退,保留起止时间。
- 短字幕切分,以及仅有 cue 时间的字幕翻译路径。
上述模型返回使用桩数据,没有真实语音识别或真实 LLM 翻译。不能据此宣称这 16 种语言已经完成实际视频质量验收。临时诊断还确认了前述单语竖屏字素切分问题;诊断命令退出成功不表示该问题已修复。
字体检查只验证字形覆盖,不等同于 FFmpeg 输出和 RTL 视觉验收。本轮没有重启服务、完整构建或 Desktop 打包。
建议实施顺序
先建立共享语言目录、按 ASR 后端和模型定义能力及代码映射,补充主流语言名称和前端选项;继续使用现有共享翻译与时间轴。优先覆盖上述 16 种候选及古吉拉特语、尼泊尔语、缅甸语等当前语言表遗漏项。
随后修正单语竖屏字幕分支,让渲染阶段也遵守 Unicode 字素、词边界;补齐相应文字系统字体。以阿拉伯语的 RTL 混排、印地语与孟加拉语的组合字符、越南语的重音、高棉语与老挝语的无空格断句作为代表性验收场景。
最后用有人工核对稿的短视频,逐个验证实际可用 ASR、翻译、时间轴、横竖屏输出;配音仅对对应 TTS 服务支持的目标语言开放。记录每种后端与模型已验收的语言,不以候选清单替代验收结果。
这是 Web 与 Desktop 共享的产品能力,应通过共享 Web、Daemon 和 Krillin Runtime 实现一次。本轮只做评估;后续涉及 Runtime 的修改按 P2 选择相关集成测试和构建,涉及字体交付资产时增加相应资产及渲染验证,涉及实际 Desktop 包交付时再执行打包和资源一致性门禁。