Formerly KrillinAI, VideoTranslation and Dubbing Tool for 120+ Languages. Open-source AI workspace for creators, powered by Codex. Video downloader, video translation, create videos, images, audios, and edits with Agents in one place. For your Social Media like YouTube, TikTok, Instagram, etc.
TypeScript agent-skillscodex-clideskop-appdubbingimage-generationlocalizationskillsttsvideo-editingvideo-generationvideo-transcriptionvideo-translation
fix: task failed when audio slice is empty
沈浩c4088ab170a1
diff --git a/internal/service/audio2subtitle.go b/internal/service/audio2subtitle.goindex 3ee09404..40b5390c 100644--- a/internal/service/audio2subtitle.go+++ b/internal/service/audio2subtitle.go@@ -129,7 +129,7 @@ func (s Service) audioToSrt(ctx context.Context, stepParam *types.SubtitleTaskSt}if err != nil {cancel()- log.GetLogger().Error("audioToSubtitle.audioToSrt.Transcription err", zap.Any("stepParam", stepParam), zap.Error(err))+ log.GetLogger().Error("audioToSubtitle.audioToSrt.Transcription err", zap.Any("stepParam", stepParam), zap.String("audio file", audioFileItem.AudioFile), zap.Error(err))return err}@@ -146,7 +146,7 @@ func (s Service) audioToSrt(ctx context.Context, stepParam *types.SubtitleTaskSterr = s.splitTextAndTranslate(stepParam.TaskId, stepParam.TaskBasePath, stepParam.TargetLanguage, stepParam.EnableModalFilter, audioFile)if err != nil {cancel()- log.GetLogger().Error("audioToSubtitle.audioToSrt.splitTextAndTranslate err", zap.Any("stepParam", stepParam), zap.Error(err))+ log.GetLogger().Error("audioToSubtitle.audioToSrt.splitTextAndTranslate err", zap.Any("stepParam", stepParam), zap.String("audio file", audioFileItem.AudioFile), zap.Error(err))return err}@@ -161,7 +161,7 @@ func (s Service) audioToSrt(ctx context.Context, stepParam *types.SubtitleTaskSterr = s.generateTimestamps(stepParam.TaskId, stepParam.TaskBasePath, stepParam.OriginLanguage, stepParam.SubtitleResultType, audioFile, stepParam.OriginLanguageWordOneLine)if err != nil {cancel()- log.GetLogger().Error("audioToSubtitle.audioToSrt.generateTimestamps err", zap.Any("stepParam", stepParam), zap.Error(err))+ log.GetLogger().Error("audioToSubtitle.audioToSrt.generateTimestamps err", zap.Any("stepParam", stepParam), zap.String("audio file", audioFileItem.AudioFile), zap.Error(err))return err}return nil@@ -618,12 +618,28 @@ func jumpFindMaxIncreasingSubArray(words []types.Word) (int, int, []types.Word)func (s Service) generateTimestamps(taskId, basePath string, originLanguage types.StandardLanguageName,resultType types.SubtitleResultType, audioFile *types.SmallAudio, originLanguageWordOneLine int) error {+ // 判断有没有文本+ srtNoTsFile, err := os.Open(audioFile.SrtNoTsFile)+ if err != nil {+ log.GetLogger().Error("generateAudioSubtitles.generateTimestamps.OpenSrtNoTsFile err", zap.String("taskId", taskId), zap.Error(err))+ return err+ }+ scanner := bufio.NewScanner(srtNoTsFile)+ if scanner.Scan() {+ if strings.Contains(scanner.Text(), "[无文本]") {+ return nil+ }+ }+ srtNoTsFile.Close()// 获取原始无时间戳字幕内容srtBlocks, err := util.ParseSrtNoTsToSrtBlock(audioFile.SrtNoTsFile)if err != nil {log.GetLogger().Error("generateAudioSubtitles.generateTimestamps.ReadSrtBlocks err", zap.String("taskId", taskId), zap.Error(err))return err}+ if len(srtBlocks) == 0 {+ return nil+ }// 获取每个字幕块的时间戳var lastTs float64diff --git a/internal/types/subtitle_task.go b/internal/types/subtitle_task.goindex a7c50b7b..f2796afa 100644--- a/internal/types/subtitle_task.go+++ b/internal/types/subtitle_task.go@@ -1,65 +1,47 @@package types-var SplitTextPrompt = `你是一个语言处理专家,擅长翻译和处理文本,按下面的要求,根据句意和标点对给出的内容进行拆分并翻译:+var SplitTextPrompt = `你是一个语言处理专家,专注于自然语言处理和翻译任务。按照以下步骤和要求,以最大程度实现准确和高质量翻译:-- 将原句子翻译成 %s,要求翻译自然流畅,和专业翻译员的翻译效果难以区分。-- 不要漏掉和修改原文的任何一个字,要做的仅是拆分和给出对应的翻译,然后用[]将句子包裹。-- 根据标点符号进行拆分,逗号、句号、问号等终止符号,一定要拆分,确保每个句子完整的同时,把句子拆短些。-- 拆分后的句子不要超过15个单词。-- 翻译的时候一定要将对应的原句子翻译完整,不要遗漏原句中的任何信息。-- 上方翻译的句子和下方原句一一对应,不要错乱。-- 不需要任何额外的话语,直接按下面格式输出结果。+1. 将原句翻译为%s,确保译文流畅、自然,达到专业翻译水平。+2. 严格依据标点符号(逗号、句号、问号等)将内容拆分成不超过15个单词的句子。+3. 对每个拆分的句子分别翻译,确保不遗漏或修改任何字词。+4. 将每对翻译后的句子与原句用独立编号表示,并分别以方括号[]包裹内容。+5. 输出的翻译与原文一一对应,严格按照原文顺序呈现。+翻译输出应采用如下格式:+**正常翻译的示例**:1-[翻译后的原句子1]+[翻译后的句子1][原句子1]2-[翻译后的原句子2]+[翻译后的句子2][原句子2]-内容如下:+确保高效、精确地完成上述翻译任务,输入内容如下:`// 带有语气词过滤的拆分Prompt-var SplitTextPromptWithModalFilter = `你是一个语言处理专家,擅长翻译和处理文本,按下面的要求,根据句意和标点对给出的内容进行拆分并翻译:+var SplitTextPromptWithModalFilter = `你是一个语言处理专家,专注于自然语言处理和翻译任务。按照以下步骤和要求,以最大程度实现准确和高质量翻译:-- 将原句子翻译成 %s,和专业翻译员的翻译效果难以区分。-- 不要漏掉和修改原文的任何一个字,要做的仅是拆分和给出对应的翻译,然后用[]将句子包裹。-- 根据标点符号进行拆分,逗号、句号、问号等终止符号,一定要拆分,确保每个句子完整的同时,把句子拆短些。-- 拆分后的句子不要超过15个单词。-- 翻译的时候一定要将对应的原句子翻译完整,不要遗漏原句中的任何信息。-- 忽略文本中的语气词,比如"Oh" "Ah" "Wow"等等。-- 上方翻译的句子和下方原句一一对应,不要错乱。-- 不需要任何额外的话语,直接按下面格式输出结果。+1. 将原句翻译为%s,确保译文流畅、自然,达到专业翻译水平。+2. 严格依据标点符号(逗号、句号、问号等)将内容拆分成不超过15个单词的句子。+3. 对每个拆分的句子分别翻译,确保不遗漏或修改任何字词。+4. 将每对翻译后的句子与原句用独立编号表示,并分别以方括号[]包裹内容。+5. 输出的翻译与原文一一对应,严格按照原文顺序呈现。+6. 忽略文本中的语气词,比如"Oh" "Ah" "Wow"等等。+翻译输出应采用如下格式:+**正常翻译的示例**:1-[翻译后的原句子1]+[翻译后的句子1][原句子1]2-[翻译后的原句子2]+[翻译后的句子2][原句子2]-内容如下:-`--var SummarizePrompt = `我有一个英文字幕文件(SRT 格式), 请总结以下弹幕内容,并生成每条内容的简明概述,按以下格式呈现:-{时间戳} {弹幕内容概述}--视频中的弹幕可能涵盖不同主题,如评论、问题、讨论或其他反应。请确保总结保持简洁,能准确传达出每条弹幕的主要信息,并符合以下要求:-- 生成的内容条数不超过20条。-- 时间范围应该涵盖整个弹幕时间戳。-- 时间戳需与弹幕出现的时间一致。-- 内容概述应简练、明确,保留关键信息。-示例输出格式:-00:00 介绍-01:35 Jim的具身智能之旅-04:53 GEAR小组-07:32 机器人领域的三种数据`--var TextSummaryPrompt = `我将向你输入一段文字,请总结这段文字的内容并输出总结结果。-输入内容:+确保高效、精确地完成上述翻译任务,输入内容如下:`var TranslateVideoTitleAndDescriptionPrompt = `你是一个专业的翻译专家,请翻译下面给出的标题和描述信息(两者用####来分隔),要求如下:diff --git a/pkg/util/subtitle.go b/pkg/util/subtitle.goindex 47d5b6ab..64ee3872 100644--- a/pkg/util/subtitle.go+++ b/pkg/util/subtitle.go@@ -127,8 +127,8 @@ func ParseSrtNoTsToSrtBlock(srtNoTsFile string) ([]*SrtBlock, error) {var index int_, err = fmt.Sscanf(line, "%d", &index)if err != nil {- return nil, err- }+ return blocks, nil+ } // 可能是空语音等,直接忽略currentBlock.Index = index} else if currentBlock.TargetLanguageSentence == "" {currentBlock.TargetLanguageSentence = line@@ -193,6 +193,10 @@ func MergeSrtFiles(finalFile string, files ...string) error {writer := bufio.NewWriter(output)lineNumber := 0for _, file := range files {+ // 不存在某一个file就跳过+ if _, err = os.Stat(file); os.IsNotExist(err) {+ continue+ }// 打开当前字幕文件f, err := os.Open(file)if err != nil {