Skip to content

Formerly KrillinAI, VideoTranslation and Dubbing Tool for 120+ Languages. Open-source AI workspace for creators, powered by Codex. Video downloader, video translation, create videos, images, audios, and edits with Agents in one place. For your Social Media like YouTube, TikTok, Instagram, etc.

21.1 KB
Raw Blame

视频翻译质量与请求调度优化方案

2026-10-19 更新:字幕长度已改为排版目标并加入容差、整句兜底及句级恢复,详见视频翻译容错与恢复。本文下方关于长度硬校验及整批失败重试的描述属于此前阶段,现行策略以该恢复文档为准。

日期:2026-10-17。状态:分句部分已完成源码修复、本地验证及三份完整字幕真实复测,其余为待实施方案。

本次按用户最新要求只处理分句,任务级术语库暂缓。已统一 SRT 全文与直接文本的分句入口,保护带空格的首字母缩写及请求预算切块中的缩写范围,修复称谓/单个人名首字母被截断、No. 与编号混淆、etc. 等后缀吞并后句的问题。沿用现有原文、字素、长度和时间映射校验;未修改未译校验、模型提示词或并发配置。

源码验证完成:新增分句及预算边界回归;相关配对翻译、SRT、16 种多语言源文本、词时间/cue 时间及短字幕定向测试通过;CLI 命令测试通过,当前源码 CLI 构建成功。上述源码测试使用本地模拟响应。

真实复测完成:复用用户原始英文字幕和上轮西班牙语、斯洛伐克语中间字幕,使用修复后的临时 CLI 串行翻译成中文,分别输出 121、123、117 条。三份原文覆盖、原译时间配对及首尾覆盖通过;西班牙语、斯洛伐克语中的独立“哥伦比亚。”均由 1 处降为 0 处,三份地址句均完整输入并正确译为“华盛顿特区待一周”。共尝试 57 次请求(含 5 次内容纠错),收到 56 次上游 HTTP 200,另有 1 次超时后串行重试成功,429 为 0,观察到的客户端峰值并发为 1。应用默认并发 3 未修改。

全文复核仍发现结尾 premium titles 被泛化为“优质书籍”,以及少量较短的显示片段;本轮没有调整术语或重新评分。详见复测报告及同目录的 复核记录.md。本次只验证源码和临时构建产物,尚未更新已安装 App 的 Runtime 包;未覆盖 Codex app-server、ASR、配音或最终视频,也未重跑 52 项质量评分。

1. 目标与评测依据

本轮使用用户提供的完整英文字幕,完成 52 个语言选项的正向翻译和中文回译,共 104 份 SRT。模型回译均分 98.81,中位数 99,范围 94–100;全部字幕通过结构及 CLI 原文侧覆盖检查。优化目标是消除已复现的增译、术语和关键事实偏差,并约束实际请求数量与重试行为。

评测材料位于 /Users/leggett/Documents/OpenCreator/Exports/多语言回译评测-20261016,优先参考其中的 结论与建议.md、复核记录.md、各语言 评分.json 和原始请求记录。旧评测结果保留为基线,优化后的产物使用新的运行目录和版本标识。

这组数据有三个适用边界:中间语言由英文生成,不能代表自然母语素材;同一模型参与生成和评分,分数存在偏差;调用经过真实 Krillin CLI,但使用直接兼容接口,未覆盖 Codex app-server、界面、自然音频 ASR、配音和最终视频。韩语回译低分也不能直接归因于韩语正向译文。

本任务后续真实调用继续遵守用户要求:一个语言、一个方向、一个实际模型请求依次执行,评分也进入同一串行队列。应用默认并发 3 保持现有配置。

2. 代码核查结果(修复前基线)

位置 当前行为 对优化的影响
runtime/krillinai/internal/service/paired_translation.go:splitTranslationSentences 使用 UAX29 候选句界,再仅按末词缩写表决定是否延后提交 缺少带空格首字母缩写的保护;需要看候选句界前后内容
runtime/krillinai/internal/service/translate.go:isSentenceEnding 以结尾标点判断 SRT cue 是否结束一句 cue 合并与后续分句存在两层判断,跨 cue 缩写必须一起处理
subtitle_text.go:subtitleAbbreviations 包含 Dr.、Mr.、etc. 等静态词表 扩充词表只能覆盖部分情况,不能代替边界判断
translate.go:isTranslationValid、isSpecialContent 原样输出仅允许数字、特定全大写词或已知专名;中文、英文、日文另做文字特征检查,其余语言暂默认通过 孤立 C. 被拒绝;全大写普通词也可能被误放行。文字特征检查只能提供有限证据
paired_translation.go:parsePairedTranslation 检查 JSON、ID、长度、字素边界及覆盖;一处出错使整批进入纠错 结构检查应保留,但需要分类错误并复用已正确句子
paired_translation.go:请求重试 429 与 5xx 同属临时错误,通常按 1 秒、2 秒退避;与内容纠错分别计数 限流应独立处理,避免内容层和接口层叠加请求
config/config.go、translation_parallel.go 单任务默认并发 3 外层串行不保证实际请求串行
apps/daemon/src/creator/krillin/codex-llm-gateway.ts 每个网关实例有 2 个 Host 槽、最多 32 个等待请求;非流式失败统一返回 502,流式失败销毁连接 已有网关队列,但没有据此保证本任务请求上限 1;上游限流原因也可能丢失
同一网关的响应转换 当前返回 usage 为 0,完成原因固定为 stop;未将传入 max_tokens 转换为明确的 Host 输出限制 直接接口的 token、截断和预算结论不能直接套到 app-server 路径

最后两项是代码检查发现的产品路径差异,尚未通过真实 app-server 复现本轮质量问题。本方案不把本轮直接接口的历史 429 归因于该网关。

3. 第一批:修复分句、合法保留与纠错组合

3.1 已复现的触发链

西班牙语、斯洛伐克语中 Washington D. C. 被拆成以 D. 结尾的句子和独立 C.。模型第一次原样返回 C.,本地判定未翻译;纠错后将其扩写为孤立的“哥伦比亚。”。

3.2 修改方式

  1. 在现有 Unicode 候选句界上增加共享的上下文判断,使用原始文本位置识别受保护范围。覆盖 D. C.、D.C.、U. S.、人名首字母、常见称谓和数字小数。受保护范围不改变原文字符,也不引入会影响时间映射的替换文本。
  2. SRT cue 合并与完整文本分句复用同一套判断。cue 恰好结束在 D.、下一 cue 以 C. 开始时,需要结合下一 cue;字幕的显示分段仍可以因长度限制拆开,但不能把缩写残片当成独立语义要求翻译。
  3. 区分缩写内部的点与真实句末。例如 He lives in D.C. Next week ... 仍应有句界。不能一遇到缩写就无限吞并后句;保留输入预算约束,以及阿拉伯语、印度文字和无空格语言原有的 Unicode 边界。
  4. 为未译检查提供所在完整句、前后文和受保护实体范围。只有能由原文和上下文支持的数字、代码、品牌、缩写等允许原样保留;无法确定的单字母残片先作为边界问题处理,纠错信息不能强迫模型给它另造一个中文词。
  5. 保留“完整普通句子不能原样照抄”的检查。全大写本身不构成专名证据,例如独立 NO、YES 和普通全大写句子仍需按语言与语境处理。相近语言中合法同形表达单独核对,不能一律拒绝。
  6. 将纠错原因区分为边界、原文覆盖、译文覆盖、长度、目标语言证据等类型。先修输入边界,再执行必要的翻译纠错;对结构错误的反馈不要求扩写缩写或补充原文没有的解释。

涉及 subtitle_text.go、translate.go、paired_translation.go 和对应测试。必要时新增小型边界辅助文件,避免两套规则继续分化。

3.3 验收

  • 离线覆盖同 cue/跨 cue 缩写、缩写恰在句末、引号、Dr. Smith、人名首字母、3.14,以及阿拉伯标点、印度文字句号和无空格句子。
  • 模拟“第一次保留缩写”的完整调用链,证明不会触发无根据的强制改译。保留普通句子未译时能够拒绝和重试的反例。
  • 用现有西班牙语、斯洛伐克语中间字幕定向验证:不产生无原文依据的独立地名扩写。完整且忠实的“华盛顿特区”等合法表达可以接受。
  • 字符覆盖、顺序、字素边界、双侧长度及时间轴校验全部保持通过;正常成功路径不增加模型调用。

4. 第一批同步处理:串行约束、限流与取消

4.1 让限制约束实际请求

评测工具已有最终 HTTP 并发硬上限 1 和遇 429 停止机制,应继续保留,并覆盖翻译、回译和评分。应用默认并发 3 与临时评测串行策略分别记录,不修改用户的持久配置。

若将串行策略用于产品任务,增加显式的执行覆盖值并传到实际请求调度层:任务内有效并发受任务覆盖值、当前服务调度上限共同约束。仅把语言循环串行、仅把 CLI 的并发设为 1,均不能替代多个任务共享的服务队列。

在当前 Daemon 管理的视频翻译请求中,以服务/凭据配置标识共享调度状态。Codex 网关复用现有队列,在“本次执行串行”策略生效时限制执行槽的使用;直接服务路径也需要在发出请求前获得同一作用域的许可。不会在日志中记录密钥。该限制只保证受此调度器管理的请求,不能控制其他客户端或独立 Daemon 的账号使用。

4.2 分离错误策略

情况 拟采用行为
本项评测收到 429 暂停整个评测队列并保存检查点,不自动重试、不自动恢复
产品任务收到明确限流/额度错误 暂停同一服务作用域的后续派发,显示可恢复状态;额度不足需修复配置后恢复
上游提供 Retry-After 记录并展示下次允许恢复的时间;HTTP 秒数和日期两种格式均解析。等待时间到达不等于用户已要求恢复本项评测
5xx 或可恢复连接错误 有上限的指数退避与抖动;所有重试仍进入同一串行调度器,共享总请求预算
鉴权、请求格式等确定错误 直接结束对应尝试并给出原因,避免按临时故障反复提交
用户取消、排队中断开 移除等待请求,取消可取消的在途执行,禁止排队请求稍后继续消耗调用

上游错误需从已有结构化数据中保留状态、错误码和可用的重试时间。网关不能把已知限流都变成通用 502;流式路径也要有可被客户端识别的错误终止。上游未提供原因时保留“未知”,不虚构精确的账号限额或恢复时间。

需要核对 SDK、app-server、网关和 CLI 各层是否已有内部重试,统一累计次数和预算,避免一层三次叠加另一层三次。内容纠错和网络重试在日志中分别记录。

验收使用模拟 429、5xx、取消和多个任务争用:串行策略下所有受管请求的实际并发峰值为 1;429 后不再派发新请求;取消后队列不继续运行。真实验证无需主动制造账号限流。

涉及 translation_parallel.go、paired_translation.go、pkg/openai/openai.go、Daemon 的 Krillin 启动配置与 Codex 网关、对应集成测试。错误展示复用既有协议和共享协作面板;确需新增错误码时同步完成协议映射。

5. 第二批:术语、数字与语义约束

5.1 按概念提供任务级术语上下文

首批针对本轮已确认的概念建立小型术语集:

概念 应保留的区别
premium titles 保留具体高级/付费内容类别,以原句和产品语境为准,避免只表达品质优良,也不擅自新增收费条件
headers / footers / page numbers 页眉/页脚/页码,与标题/脚注区分
familiar content 熟悉的内容,与普通内容区分
newsletters / research papers 通讯/研究论文,保留载体或文献类型的具体含义
fiction / commute 保留小说类内容及通勤含义,不随意收窄为纯文学或本人驾车

术语记录包含概念标识、源文范围、语境说明及可选目标语言用词。只把命中的相关项放入当前请求,结合已有前后文翻译。用户明确提供的术语优先;有来源依据的产品术语其次;不能让模型猜出的术语表自动成为硬标准。

将优惠码、明确要求原样保留的标识与可翻译术语分开:前者按配置做精确校验,后者允许同义词、屈折变化和目标语言自然语序。已有常用译名的品牌或地点也不一律要求保留拉丁拼写。

首批将术语作为执行上下文,随本次结果记录版本,不先引入一个新的全局术语管理界面。需要用户编辑或持久化时,再扩展现有共享配置和任务快照。

5.2 关键事实的分层校验

在原有结构校验之后增加本地风险检查:数字与单位、时长、百分比、金额、优惠码、否定、可能性、条件与功能作用对象。对能可靠解析的数字进行跨文字数字归一化;对未覆盖的文字数字和语义关系标记待核对,不用字符串缺失直接判错。

明确比较范围,例如“一小时”和“几个小时”、免费额度与试用时长、删除页眉页脚的对象。数量一致也不能证明单位和条件正确;否定和条件的判断不能只靠中英文关键词匹配。

韩语 쓸 시간 的问题以所在句及前后文处理,保留“有更多可用时间”,不额外推断为写作时间。上下文仍只用于理解当前句,不把相邻句内容翻进当前结果。现有上下文截取按 256 UTF-8 字节受限,需测量不同文字系统下是否保留到必要内容;必要时按完整短语与预算选取范围,避免无上限扩大上下文。

5.3 只在有风险时追加语义处理

普通路径继续由一次模型请求完成翻译、原译配对和分段,保留现有覆盖与长度检查。明确的结构错误走结构修复;数字、单位等异常或已配置的关键概念风险,才进入定向语义复核。

语义复核只提交相关句和必要上下文,输出源文证据、译文证据及具体偏差,不要求再次输出整篇字幕。新增的语义复核先以可观测的可选策略接入;实际额外请求、token 和耗时单独记账,不能悄悄变成每句第二次调用。

确认错误后最多进行一次定向语义修复,并重新执行全部本地检查;与结构修复共用明确的内容尝试预算,不层层加次数。含义不确定或预算耗尽时,保留可用产物和待核对项,不无限重试。

验收使用本轮泰米尔语、马来语、韩语、老挝语等实际错误样本及近似正确反例。目标是已确认的功能对象、时长、类别等偏差被修正或明确拦截,同时不误伤合法同义表达和专名。

6. 第三批:减少无效重译并校准预算

当前一处校验失败会让整批重新生成,已正确的句子也可能改变。将解析与验证拆出按 sentence_id 返回的结果和错误集合,复用成功句子,只提交可定位的失败句,携带只读上下文。JSON 完全不可解析、ID 无法可靠对应或批次数量错误时,仍按批次恢复;不能猜测句子归属。

单句仅有分段问题且完整译文可靠时,修复请求锁定完整译文,只重做原译配对边界;若需要改变完整译文,应明确转入语义修复,并同步生成全部分段。最终仍按原 ID 顺序合并,重新验证整体覆盖及时间映射,避免新旧结果混合时遗漏或重复。

当前响应预算使用 4*len(text),其中 len 是 UTF-8 字节数;上下文也按字节裁剪。先用已有请求记录统计不同文字系统的请求体大小、真实输出 token、截断率、分段失败率和重试原因,再决定是否调整估算。首批保持现有批次和输出上限,不凭字节差异直接扩大批次。

预算校准必须分开直接接口和 Codex app-server:前者有真实 usage 与 finish_reason,后者当前网关不能据此提供等价观测。只有后端真实支持的预算才透传;不支持时明确记录未知。usage 缺失不应当作零成本,语义不完整也不能仅靠 stop 判定成功。

缓存或检查点复用应包含原文、上下文、源目标语言、模型/服务版本、术语与提示词版本、字幕限制的完整键,仅复用通过校验的结果。沿用现有任务产物权限,不默认把用户字幕加入跨项目共享缓存。

验收关注成功句子是否不再被重译、取消与恢复是否正确、顺序与时间轴是否不变,以及请求数和 token 的实际变化。预期减少异常路径的浪费,具体百分比在修改后记录,不预先承诺。

7. 质量评测与完成标准

7.1 验证顺序

  1. 从现有记录固化错误样本、正确反例、模型响应和对应规则,先完成不调用模型的回归测试。分句和覆盖类断言不依赖模型评分。
  2. 定向真实验证西班牙语、斯洛伐克语、韩语、泰米尔语、马来语、老挝语的已知问题。回译错误优先复用现有中间语言输入,仅验证出错方向;正向错误使用英文源句。全部串行。
  3. 分句和时间映射发生变化时,对西班牙语、斯洛伐克语做完整 SRT 验证;术语和提示词影响扩大时,再增加对应代表样本。使用保留的正确案例检查回归,随机波动明显的案例才追加重复对照。
  4. 独立补做少量真实 Codex 网关集成验证,记录该路径的结果与限制。52 项全量重跑用于后续完整质量验收,不能自动成为每次小修的前置步骤。

7.2 评审方法

正向评审只看源文与中间语言,中文回译评审只看源文与中文结果,之后再对照三方文本定位错误阶段。不能把仅在回译出现的问题扣成源语言整体能力不足。

保留语义 50、完整性 20、事实/数字/专名 20、中文流畅度 10 的历史维度,以便对照;同时固定错误分类与严重程度定义,由规则检查分项总和、事实状态和严重程度是否自洽。同一问题按同一口径扣分,评分矛盾进入复核,原始评分保留。

关键问题可采用独立评审模型或母语人员盲审;预算集中在错误和分歧案例。独立评审是后续质量证据,不能把同模型自评 100 分当作母语认证。公开报告保留具体引文、发生阶段、复核结论和未确定项,不用 1–2 分差异宣称语言排名。

7.3 本阶段建议门槛

维度 完成条件
分句与合法保留 已知 D. C. 链路可复现后被修复;普通整句未译仍能拒绝;正确缩写和同形表达不被强迫扩写
信息保真 固定的数字、时长、功能对象、类别等已确认错误样本修复并经证据核对;关键事实无新增错误
字幕结构 相关回归输出的编号、时间、顺序、覆盖、字素边界及双侧长度全部通过
请求约束 本任务所有受管真实请求峰值并发 1;模拟 429 后停止后续派发,取消后无等待请求继续启动
成本 无异常的普通路径仍为每批一次模型调用;额外复核、修复和网络重试各有可见次数及预算
质量证据 评分矛盾、未覆盖语言能力、app-server 与直接接口的差异均有记录;完成结论与实际验证范围一致

自然语音 ASR、真实母语字幕、配音与成片是后续全球语言支持验收的独立层。沿用原多语言方案中的自然样片和字体验收要求,不能用本轮往返得分代替。

8. 实施顺序与验证范围

批次 交付物 进入下一批的条件
第一批 缩写边界、合法保留与纠错修复;串行约束、限流暂停及取消 离线回归、模拟调度和相关 CLI/网关集成测试通过,已知增译消失
第二批 小型概念术语上下文、关键事实风险检查、可选定向语义复核 已知术语/时长/词义案例通过,无普通路径调用次数增加,额外成本可追踪
第三批 按失败句恢复、预算观测与校准、评分口径和回归集 成功句不再被无谓改写,结构与时间映射稳定,记录真实质量及成本变化
后续验收 按实际受影响范围扩展全量与自然样片验证 逐项保留证据后再扩大产品支持结论

算法和调度属于共享产品能力,统一实现在 Runtime/Daemon,Web 与 Desktop 使用同一套行为与共享面板。实现涉及 Runtime/Daemon 时按项目 P2 风险要求选择相关 Go 定向测试、CLI 构建、Daemon 单元/集成测试及 typecheck;需要验证运行服务时,只操作已确认的目标服务并检查健康状态。协议或错误映射变更补相应协议检查。

本方案本身只有文档改动。未来若触及 Desktop 交付、运行时分发或打包脚本,再执行对应构建、实际 App 及资产一致性门禁;本轮方案不据此宣称包已验收。真实调用的服务、模型、配置覆盖值、版本和限流状态均进入验证记录,密钥不进入文档或日志。