Skip to content

Formerly KrillinAI, VideoTranslation and Dubbing Tool for 120+ Languages. Open-source AI workspace for creators, powered by Codex. Video downloader, video translation, create videos, images, audios, and edits with Agents in one place. For your Social Media like YouTube, TikTok, Instagram, etc.

Validate translation results and retry failures

wqpcodereb1ec4a6258a
diff --git a/internal/service/audio2subtitle.go b/internal/service/audio2subtitle.go
index 8089b149..e15d3816 100644
--- a/internal/service/audio2subtitle.go
+++ b/internal/service/audio2subtitle.go
@@ -10,9 +10,11 @@ import (
"krillin-ai/internal/types"
"krillin-ai/log"
"krillin-ai/pkg/util"
+ "math"
"os"
"os/exec"
"path/filepath"
+ "strconv"
"strings"
"sync"
@@ -822,22 +824,33 @@ func (s Service) splitTextAndTranslate(taskId, baseTaskPath string, targetLangua
splitPrompt = fmt.Sprintf(types.SplitTextPrompt, types.GetStandardLanguageName(targetLanguage))
}
if audioFile.TranscriptionData.Text == "" {
- splitContent = ""
- } else {
- for i := 0; i < 3; i++ {
- splitContent, err = s.ChatCompleter.ChatCompletion(splitPrompt + audioFile.TranscriptionData.Text)
- if err == nil {
- break
- }
+ return fmt.Errorf("audioToSubtitle splitTextAndTranslate audioFile.TranscriptionData.Text is empty")
+ }
+ // 最多尝试3次获取有效的翻译结果
+ for i := 0; i < 3; i++ {
+ splitContent, err = s.ChatCompleter.ChatCompletion(splitPrompt + audioFile.TranscriptionData.Text)
+ if err != nil {
+ log.GetLogger().Warn("audioToSubtitle splitTextAndTranslate ChatCompletion error, retrying...",
+ zap.Any("taskId", taskId), zap.Int("attempt", i+1), zap.Error(err))
+ continue
}
+
+ // 验证返回内容的格式和原文匹配度
+ if isValidSplitContent(splitContent, audioFile.TranscriptionData.Text) {
+ break
+ }
+
+ log.GetLogger().Warn("audioToSubtitle splitTextAndTranslate invalid response format or content mismatch, retrying...",
+ zap.Any("taskId", taskId), zap.Int("attempt", i+1))
+ err = fmt.Errorf("invalid split content format or content mismatch")
}
if err != nil {
- log.GetLogger().Error("audioToSubtitle splitTextAndTranslate ChatCompletion error", zap.Any("taskId", taskId), zap.Error(err))
- return fmt.Errorf("audioToSubtitle splitTextAndTranslate ChatCompletion error: %w", err)
+ log.GetLogger().Error("audioToSubtitle splitTextAndTranslate failed after retries", zap.Any("taskId", taskId), zap.Error(err))
+ return fmt.Errorf("audioToSubtitle splitTextAndTranslate error: %w", err)
}
- //保存不带时间戳的原始字幕
+ // 保存不带时间戳的原始字幕
originNoTsSrtFile := fmt.Sprintf("%s/%s", baseTaskPath, fmt.Sprintf(types.SubtitleTaskSplitSrtNoTimestampFileNamePattern, audioFile.Num))
err = os.WriteFile(originNoTsSrtFile, []byte(splitContent), 0644)
if err != nil {
@@ -846,6 +859,62 @@ func (s Service) splitTextAndTranslate(taskId, baseTaskPath string, targetLangua
}
audioFile.SrtNoTsFile = originNoTsSrtFile
-
return nil
}
+
+// isValidSplitContent 验证分割后的内容是否符合格式要求,并检查原文字数是否与输入文本相近
+func isValidSplitContent(splitContent, originalText string) bool {
+ // 处理空内容情况
+ if splitContent == "" || originalText == "" {
+ return splitContent == "" && originalText == ""
+ }
+
+ // 处理无文本标记
+ if strings.Contains(splitContent, "[无文本]") {
+ return originalText == "" || len(strings.TrimSpace(originalText)) < 10
+ }
+
+ lines := strings.Split(splitContent, "\n")
+ if len(lines) < 3 { // 至少需要一个完整的块
+ return false
+ }
+
+ var originalLines []string
+ var isValidFormat bool
+
+ // 验证格式并提取原文
+ for i := 0; i < len(lines); i++ {
+ line := strings.TrimSpace(lines[i])
+ if line == "" {
+ continue
+ }
+
+ // 检查是否为序号行
+ if _, err := strconv.Atoi(line); err == nil {
+ if i+2 >= len(lines) {
+ log.GetLogger().Warn("audioToSubtitle invaild Format", zap.Any("splitContent", splitContent), zap.Any("line", line))
+ return false
+ }
+ // 收集原文行(第三行),并去除方括号
+ originalLine := strings.TrimSpace(lines[i+2])
+ originalLine = strings.TrimPrefix(originalLine, "[")
+ originalLine = strings.TrimSuffix(originalLine, "]")
+ originalLines = append(originalLines, originalLine)
+ i += 2 // 跳过翻译行和原文行
+ isValidFormat = true
+ }
+ }
+
+ if !isValidFormat || len(originalLines) == 0 {
+ log.GetLogger().Warn("audioToSubtitle invaild Format", zap.Any("splitContent", splitContent))
+ return false
+ }
+
+ // 合并原文并比较字数
+ combinedOriginal := strings.Join(originalLines, "")
+ originalTextLength := len(strings.TrimSpace(originalText))
+ combinedLength := len(strings.TrimSpace(combinedOriginal))
+
+ // 允许150字的误差
+ return math.Abs(float64(originalTextLength-combinedLength)) <= 150
+}
diff --git a/internal/service/audio2subtitle_test.go b/internal/service/audio2subtitle_test.go
new file mode 100644
index 00000000..eff8499a
--- /dev/null
+++ b/internal/service/audio2subtitle_test.go
@@ -0,0 +1,29 @@
+package service
+
+import (
+ "os"
+ "testing"
+)
+
+func Test_isValidSplitContent(t *testing.T) {
+ // 固定的测试文件路径
+ splitContentFile := "g:\\bin\\AI\\tasks\\gdQRrtQP\\srt_no_ts_1.srt"
+ originalTextFile := "g:\\bin\\AI\\tasks\\gdQRrtQP\\output\\origin_1.txt"
+
+ // 读取分割内容文件
+ splitContent, err := os.ReadFile(splitContentFile)
+ if err != nil {
+ t.Fatalf("读取分割内容文件失败: %v", err)
+ }
+
+ // 读取原始文本文件
+ originalText, err := os.ReadFile(originalTextFile)
+ if err != nil {
+ t.Fatalf("读取原始文本文件失败: %v", err)
+ }
+
+ // 执行测试
+ if got := isValidSplitContent(string(splitContent), string(originalText)); !got {
+ t.Errorf("isValidSplitContent() = %v, want true", got)
+ }
+}
diff --git a/internal/types/subtitle_task.go b/internal/types/subtitle_task.go
index 1d64c759..e42095cf 100644
--- a/internal/types/subtitle_task.go
+++ b/internal/types/subtitle_task.go
@@ -24,7 +24,7 @@ var SplitTextPrompt = `你是一个语言处理专家,专注于自然语言处
1. 将原句翻译为%s,确保译文流畅、自然,达到专业翻译水平。
2. 严格依据标点符号(逗号、句号、问号等)将内容拆分成单独的句子,并依据以下规则确保拆分粒度合理:
- - 每个分句长度不得超过25个单词或50个字符(以较短者为准)。
+ - 每个分句长度不得超过20个单词或40个字符(以较短者为准)。
- 对于复杂句(如包含多个并列或从属结构),需要根据连词(例如 "and", "but", "which", "when")进一步拆分。
3. 对每个拆分的句子分别翻译,确保不遗漏或修改任何字词。
4. 将每对翻译后的句子与原句用独立编号表示,并分别以方括号[]包裹内容。
@@ -51,7 +51,7 @@ var SplitTextPromptWithModalFilter = `你是一个语言处理专家,专注于
1. 将原句翻译为%s,确保译文流畅、自然,达到专业翻译水平。
2. 严格依据标点符号(逗号、句号、问号等)将内容拆分成单独的句子,并依据以下规则确保拆分粒度合理:
- - 每个分句长度不得超过25个单词或50个字符(以较短者为准)。
+ - 每个分句长度不得超过15个单词或30个字符(以较短者为准)。
- 对于复杂句(如包含多个并列或从属结构),需要根据连词(例如 "and", "but", "which", "when")进一步拆分。
3. 对每个拆分的句子分别翻译,确保不遗漏或修改任何字词。
4. 将每对翻译后的句子与原句用独立编号表示,并分别以方括号[]包裹内容。