Skip to content

Formerly KrillinAI, VideoTranslation and Dubbing Tool for 120+ Languages. Open-source AI workspace for creators, powered by Codex. Video downloader, video translation, create videos, images, audios, and edits with Agents in one place. For your Social Media like YouTube, TikTok, Instagram, etc.

Add json schema support for LLM translation (#217)

LI TIANCHENGddd10486ef5c
diff --git a/config/config-example.toml b/config/config-example.toml
index b74dae73..9ab86024 100644
--- a/config/config-example.toml
+++ b/config/config-example.toml
@@ -16,6 +16,7 @@
base_url = "" # 自定义base url,可配合转发站密钥使用,留空为openai官方api
api_key = "" # API密钥
model = "" # 指定模型名,可通过此字段结合base_url使用外部任何与OpenAI API兼容的大模型服务,留空默认为gpt-4o-mini
+ json = false # 所使用的llm接口是否支持json格式,如果支持请设置为true,若不知道这是什么,请保持为false
[transcribe] # 视频转文本支持多种方案,配置时先填provider,再填对应的配置
provider = "openai" #语音识别,当前可选值:openai,fasterwhisper,whisperkit,whisper.cpp,aliyun。(fasterwhisper不支持macOS,whisperkit只支持M芯片)
diff --git a/config/config.go b/config/config.go
index dc3a6870..0d133db8 100644
--- a/config/config.go
+++ b/config/config.go
@@ -34,6 +34,7 @@ type OpenaiCompatibleConfig struct {
BaseUrl string `toml:"base_url"`
ApiKey string `toml:"api_key"`
Model string `toml:"model"`
+ Json bool `toml:"json"`
}
type LocalModelConfig struct {
diff --git a/internal/deps/checker.go b/internal/deps/checker.go
index 84515e76..cb373d37 100644
--- a/internal/deps/checker.go
+++ b/internal/deps/checker.go
@@ -53,6 +53,18 @@ func CheckDependency() error {
return err
}
}
+ if config.Conf.Transcribe.Provider == "whisperx" {
+ err = checkWhisperX()
+ if err != nil {
+ log.GetLogger().Error("whisperx环境准备失败", zap.Error(err))
+ return err
+ }
+ err = checkModel("whisperx")
+ if err != nil {
+ log.GetLogger().Error("本地模型环境准备失败", zap.Error(err))
+ return err
+ }
+ }
if config.Conf.Transcribe.Provider == "whispercpp" {
if err = checkWhispercpp(); err != nil {
log.GetLogger().Error("whispercpp环境准备失败", zap.Error(err))
@@ -334,6 +346,79 @@ func checkWhisperKit() error {
return nil
}
+// 检测whisperx
+func checkWhisperX() error {
+ var (
+ filePath string
+ _filePath string
+ err error
+ )
+ if runtime.GOOS == "windows" {
+ filePath = "whisperx"
+ _filePath = ".\\bin\\whisperx\\.venv\\Scripts\\whisperx.exe"
+ } else if runtime.GOOS == "linux" {
+ filePath = "./bin/whisperx/.venv/bin/whisperx"
+ _filePath = "./bin/whisperx/.venv/bin/whisperx"
+ } else {
+ return fmt.Errorf("WhisperX不支持你当前的操作系统: %s,请选择WhisperKit", runtime.GOOS)
+ }
+
+ if _, err = os.Stat(_filePath); os.IsNotExist(err) {
+ var cmd *exec.Cmd
+ // TODO: 下载压缩包
+ // log.GetLogger().Info("没有找到WhisperX,即将开始自动下载,文件较大请耐心等待")
+ // err = os.MkdirAll("./bin", 0755)
+ // if err != nil {
+ // log.GetLogger().Error("创建./bin目录失败", zap.Error(err))
+ // return err
+ // }
+ // var downloadUrl string
+ // if runtime.GOOS == "windows" {
+ // downloadUrl = "https://modelscope.cn/models/Maranello/KrillinAI_dependency_cn/resolve/master/WhisperX_win.zip"
+ // } else if runtime.GOOS == "darwin" {
+ // downloadUrl = "https://modelscope.cn/models/Maranello/KrillinAI_dependency_cn/resolve/master/WhisperX_linux.zip"
+ // } else {
+ // downloadUrl = "https://modelscope.cn/models/Maranello/KrillinAI_dependency_cn/resolve/master/WhisperX_mac.zip"
+ // }
+ // err = util.DownloadFile(downloadUrl, "./bin/WhisperX.zip", config.Conf.App.Proxy)
+ // if err != nil {
+ // log.GetLogger().Error("下载WhisperX失败", zap.Error(err))
+ // return err
+ // }
+ log.GetLogger().Info("开始解压WhisperX")
+ err = util.Unzip("./bin/WhisperX.zip", "./bin/whisperx/")
+ if err != nil {
+ log.GetLogger().Error("解压WhisperX失败", zap.Error(err))
+ return err
+ }
+ if runtime.GOOS == "windows" {
+ cmd = exec.Command(".\\bin\\whisperx\\python\\python.exe", "-m", "venv", ".\\bin\\whisperx\\.venv")
+ output, err := cmd.CombinedOutput()
+ if err != nil {
+ log.GetLogger().Error("创建python虚拟环境失败", zap.String("info", string(output)), zap.Error(err))
+ return err
+ }
+ cmd = exec.Command(".\\bin\\whisperx\\.venv\\Scripts\\activate", "&&", "pip", "install", "-r", ".\\bin\\whisperx\\requirements_win.txt")
+ cmd.CombinedOutput()
+ } else {
+ os.Chmod("./bin/whisperx/python/bin/python3.12", 0755)
+ os.Chmod("./bin/whisperx/install.sh", 0755)
+ log.GetLogger().Info("开始安装WhisperX")
+ cmd = exec.Command("bash", "./bin/whisperx/install.sh")
+ output, err := cmd.CombinedOutput()
+ if err != nil {
+ log.GetLogger().Error("WhisperX 安装失败", zap.String("info", string(output)), zap.Error(err))
+ return err
+ }
+ }
+ log.GetLogger().Info("WhisperX 安装成功")
+ }
+
+ storage.WhisperXPath = filePath
+ log.GetLogger().Info("WhisperX检查完成", zap.String("路径", _filePath))
+ return nil
+}
+
// 检测whispercpp
func checkWhispercpp() error {
var (
@@ -414,6 +499,25 @@ func checkModel(whisperType string) error {
}
log.GetLogger().Info("模型下载完成", zap.String("路径", modelPath))
}
+ //case "whisperx":
+ // // TODO: upload models
+ // model = config.Conf.Transcribe.Whisperx.Model
+ // modelDir := fmt.Sprintf("./models/whisperx/models--Systran--faster-whisper-%s", model)
+ // if _, err = os.Stat(modelDir); os.IsNotExist(err) {
+ // log.GetLogger().Info(fmt.Sprintf("没有找到WhisperX模型%s,即将开始自动下载", modelDir))
+ // // downloadUrl := fmt.Sprintf("https://modelscope.cn/models/Maranello/KrillinAI_dependency_cn/resolve/master/WhisperX_models_%s.zip", model)
+ // // err = util.DownloadFile(downloadUrl, fmt.Sprintf("./models/WhisperX_models_%s.zip", model), config.Conf.App.Proxy)
+ // // if err != nil {
+ // // log.GetLogger().Info("下载WhisperX模型失败", zap.Error(err))
+ // // return err
+ // // }
+ // err = util.Unzip(fmt.Sprintf("./models/WhisperX_models_%s.zip", model), "./models/whisperx/")
+ // if err != nil {
+ // log.GetLogger().Error("解压模型失败", zap.Error(err))
+ // return err
+ // }
+ // log.GetLogger().Info("WhisperX模型下载完成", zap.String("路径", modelDir))
+ // }
case "whispercpp":
model = config.Conf.Transcribe.Whispercpp.Model
modelPath = fmt.Sprintf("./models/whispercpp/ggml-%s.bin", model)
diff --git a/internal/service/audio2subtitle.go b/internal/service/audio2subtitle.go
index 30fcadb5..60cfe979 100644
--- a/internal/service/audio2subtitle.go
+++ b/internal/service/audio2subtitle.go
@@ -5,8 +5,6 @@ import (
"context"
"errors"
"fmt"
- "go.uber.org/zap"
- "golang.org/x/sync/errgroup"
"krillin-ai/config"
"krillin-ai/internal/storage"
"krillin-ai/internal/types"
@@ -19,6 +17,9 @@ import (
"runtime/debug"
"strconv"
"strings"
+
+ "go.uber.org/zap"
+ "golang.org/x/sync/errgroup"
)
// 翻译结果数据结构
@@ -118,12 +119,28 @@ func (s Service) transcribeAudio(id int, audioFilePath string, language string,
func (s Service) splitTextAndTranslate(inputText string, targetLanguage string, enableModalFilter bool) ([]TranslatedItem, error) {
var prompt string
+ var promptPrefix string
+
+ promptPrefix = ""
+
+ //// 对于qwen3模型,开启非思考模式
+ //if config.Conf.Openai.NoThinkTag {
+ // promptPrefix = "\\no_think\n"
+ //}
// 选择提示词
if enableModalFilter {
- prompt = fmt.Sprintf(types.SplitTextPromptWithModalFilter, targetLanguage)
+ if config.Conf.Llm.Json {
+ prompt = promptPrefix + fmt.Sprintf(types.SplitTextPromptWithModalFilterJson, targetLanguage)
+ } else {
+ prompt = promptPrefix + fmt.Sprintf(types.SplitTextPromptWithModalFilter, targetLanguage)
+ }
} else {
- prompt = fmt.Sprintf(types.SplitTextPrompt, targetLanguage)
+ if config.Conf.Llm.Json {
+ prompt = promptPrefix + fmt.Sprintf(types.SplitTextPromptJson, targetLanguage)
+ } else {
+ prompt = promptPrefix + fmt.Sprintf(types.SplitTextPrompt, targetLanguage)
+ }
}
// 如果输入文本为空,则返回空结果
@@ -135,6 +152,7 @@ func (s Service) splitTextAndTranslate(inputText string, targetLanguage string,
if err != nil {
return nil, fmt.Errorf("audioToSubtitle splitTextAndTranslate ChatCompletion error: %w", err)
}
+
re := regexp.MustCompile(`^\s*<think>.*?</think>`)
textResult = strings.TrimSpace(re.ReplaceAllString(textResult, ""))
@@ -957,9 +975,9 @@ func parseAndCheckContent(splitContent, originalText string) ([]TranslatedItem,
if splitContent == originalText {
return result, nil
} else if splitContent == "" {
- return nil, errors.New("splitContent is empty but originalText is not")
+ return nil, fmt.Errorf("splitContent is empty but originalText is not, originalText: " + originalText)
} else {
- return nil, errors.New("originalText is empty but splitContent is not")
+ return nil, errors.New("originalText is empty but splitContent is not, splitContent: " + splitContent)
}
}
diff --git a/internal/service/link2file.go b/internal/service/link2file.go
index 30fb1d5a..40947588 100644
--- a/internal/service/link2file.go
+++ b/internal/service/link2file.go
@@ -26,7 +26,6 @@ func (s Service) linkToFile(ctx context.Context, stepParam *types.SubtitleTaskSt
if strings.Contains(link, "local:") {
// 本地文件
videoPath = strings.ReplaceAll(link, "local:", "")
- stepParam.InputVideoPath = videoPath
cmd := exec.Command(storage.FfmpegPath, "-i", videoPath, "-vn", "-ar", "44100", "-ac", "2", "-ab", "192k", "-f", "mp3", audioPath)
output, err = cmd.CombinedOutput()
if err != nil {
diff --git a/internal/storage/bin.go b/internal/storage/bin.go
index 78653531..23a8c18e 100644
--- a/internal/storage/bin.go
+++ b/internal/storage/bin.go
@@ -5,6 +5,7 @@ var (
FfprobePath string
YtdlpPath string
FasterwhisperPath string
+ WhisperXPath string
WhisperKitPath string
WhispercppPath string
)
diff --git a/internal/types/subtitle_task.go b/internal/types/subtitle_task.go
index a26c7605..95c99b5d 100644
--- a/internal/types/subtitle_task.go
+++ b/internal/types/subtitle_task.go
@@ -20,15 +20,15 @@ package types
// 内容如下:`
-var SplitTextPrompt = `你是一个语言处理专家,专注于自然语言处理和翻译任务。按照以下步骤和要求,以最大程度实现准确和高质量翻译:
+var SplitTextPrompt = `你是一个语言处理专家,专注于自然语言处理和翻译任务。按照以下步骤和要求,以最大程度实现字幕的准确和高质量翻译:
-1. 将原句翻译为%s,确保译文流畅、自然,达到专业翻译水平。
-2. 严格依据标点符号(逗号、句号、问号等)将内容拆分成单独的句子,并依据以下规则确保拆分粒度合理:
- - 每个句子在保证句意完整的情况下尽可能短,长度尽量不得超过15个字。
- - 可以根据连词(例如 "and", "but", "which", "when", "so", "所以", "但是", "因此", "考虑到" 等)进一步拆分句子,避免语句太长。
+1. 将原句翻译为%s,确保译文流畅、自然,达到专业翻译水平,保持意思相同。
+2. 严格依据标点符号(逗号: ,,、句号:。.、问号:??等)将内容拆分成单独的句子,并依据以下规则确保拆分长度较短:
+ - 每个句子在保证句意完整的情况下尽可能短,适中的字幕长短能提供舒适的观看体验。
+ - 根据连词(例如 "and", "but", "which", "when", "so", "所以", "但是", "因此", "考虑到" 等)进一步拆分句子,得到较短的结果。
3. 对每个拆分的句子分别翻译,确保不遗漏或修改任何字词。
4. 将每对翻译后的句子与原句用独立编号表示,并分别以方括号[]包裹内容。
-5. 输出的翻译与原文应保持对应,严格按照原文顺序呈现,不得有错位,且原文尽可能使用原文。
+5. 输出的翻译与原文应保持对应,严格按照原文顺序呈现,不得有错位,与原文表达的意思保持一致,且原文尽可能使用原文。
6. 不管内容是正式还是非正式,都要翻译。
翻译输出应采用如下格式:
@@ -45,18 +45,19 @@ var SplitTextPrompt = `你是一个语言处理专家,专注于自然语言处
[无文本]
确保高效、精确地完成上述翻译任务,输入内容如下:
+
`
// 带有语气词过滤的拆分Prompt
-var SplitTextPromptWithModalFilter = `你是一个语言处理专家,专注于自然语言处理和翻译任务。按照以下步骤和要求,以最大程度实现准确和高质量翻译:
+var SplitTextPromptWithModalFilter = `你是一个语言处理专家,专注于自然语言处理和翻译任务。按照以下步骤和要求,以最大程度实现字幕的准确和高质量翻译:
-1. 将原句翻译为%s,确保译文流畅、自然,达到专业翻译水平。
-2. 严格依据标点符号(逗号、句号、问号等)将内容拆分成单独的句子,并依据以下规则确保拆分粒度合理:
- - 每个句子在保证句意完整的情况下尽可能短,长度尽量不得超过15个字。
- - 可以根据连词(例如 "and", "but", "which", "when", "so", "所以", "但是", "因此", "考虑到" 等)进一步拆分句子,避免语句太长。
+1. 将原句翻译为%s,确保译文流畅、自然,达到专业翻译水平,保持意思相同。
+2. 严格依据标点符号(逗号: ,,、句号:。.、问号:??等)将内容拆分成单独的句子,并依据以下规则确保拆分长度较短:
+ - 每个句子在保证句意完整的情况下尽可能短,适中的字幕长短能提供舒适的观看体验。
+ - 根据连词(例如 "and", "but", "which", "when", "so", "所以", "但是", "因此", "考虑到" 等)进一步拆分句子,得到较短的结果。
3. 对每个拆分的句子分别翻译,确保不遗漏或修改任何字词。
4. 将每对翻译后的句子与原句用独立编号表示,并分别以方括号[]包裹内容。
-5. 输出的翻译与原文应保持对应,严格按照原文顺序呈现,不得有错位,且原文尽可能使用原文。
+5. 输出的翻译与原文应保持对应,严格按照原文顺序呈现,不得有错位,与原文表达的意思保持一致,且原文尽可能使用原文。
6. 忽略文本中的语气词,比如"Oh" "Ah" "Wow"等等。
7. 不管内容是正式还是非正式,都要翻译。
@@ -74,6 +75,40 @@ var SplitTextPromptWithModalFilter = `你是一个语言处理专家,专注于
[无文本]
确保高效、精确地完成上述翻译任务,输入内容如下:
+
+`
+
+var SplitTextPromptJson = `你是一个语言处理专家,专注于自然语言处理和翻译任务。按照以下步骤和要求,以最大程度实现字幕的准确和高质量翻译:
+
+1. 将原句翻译为%s,确保译文流畅、自然,达到专业翻译水平,保持意思相同。
+2. 严格依据标点符号(逗号: ,,、句号:。.、问号:??等)将内容拆分成单独的句子,并依据以下规则确保拆分长度较短:
+ - 每个句子在保证句意完整的情况下尽可能短,适中的字幕长短能提供舒适的观看体验。
+ - 根据连词(例如 "and", "but", "which", "when", "so", "所以", "但是", "因此", "考虑到" 等)进一步拆分句子,得到较短的结果。
+3. 对每个拆分的句子分别翻译,确保不遗漏或修改任何字词。
+4. 输出的翻译与原文确保相对应,严格按照原文顺序呈现。
+5. 输出格式必须是一个 JSON 数组,每个元素包含 'original_sentence' 和 'translated_sentence' 字段。
+6. 结果中的原句子要和原文中完全一致,包括首字母是否大小写,标点符号也要保留不修改,英文原文请使用英文标点符号,务必不要纠正任何语病和拼写错误。
+7. 每个拆分的句子只能有一个完整的语句。
+
+确保高效、精确地完成上述字幕翻译任务,输入内容如下:
+
+`
+
+var SplitTextPromptWithModalFilterJson = `你是一个语言处理专家,专注于自然语言处理和翻译任务。按照以下步骤和要求,以最大程度实现字幕的准确和高质量翻译:
+
+1. 将原句翻译为%s,确保译文流畅、自然,达到专业翻译水平,保持意思相同。
+2. 严格依据标点符号(逗号: ,,、句号:。.、问号:??等)将内容拆分成单独的句子,并依据以下规则确保拆分长度较短:
+ - 每个句子在保证句意完整的情况下尽可能短,适中的字幕长短能提供舒适的观看体验。
+ - 根据连词(例如 "and", "but", "which", "when", "so", "所以", "但是", "因此", "考虑到" 等)进一步拆分句子,得到较短的结果。
+3. 忽略文本中的语气词,比如"Oh" "Ah" "Wow"等等。
+4. 对每个拆分的句子分别翻译,确保不遗漏或修改任何字词。
+5. 输出的翻译与原文确保相对应,严格按照原文顺序呈现。
+6. 输出格式必须是一个 JSON 数组,每个元素包含 'original_sentence' 和 'translated_sentence' 字段。
+7. 结果中的原句子要和原文中完全一致,包括首字母是否大小写,标点符号也要保留不修改,英文原文请使用英文标点符号,务必不要纠正任何语病和拼写错误。
+8. 每个拆分的句子只能有一个完整的语句。
+
+确保高效、精确地完成上述字幕翻译任务,输入内容如下:
+
`
var TranslateVideoTitleAndDescriptionPrompt = `你是一个专业的翻译专家,请翻译下面给出的标题和描述信息(两者用####来分隔),要求如下:
diff --git a/internal/types/whisperx.go b/internal/types/whisperx.go
new file mode 100644
index 00000000..77896ffb
--- /dev/null
+++ b/internal/types/whisperx.go
@@ -0,0 +1,16 @@
+package types
+
+type WhisperXOutput struct {
+ Language string `json:"language"`
+ Segments []struct {
+ Start float64 `json:"start"`
+ End float64 `json:"end"`
+ Words []struct {
+ Start float64 `json:"start"`
+ End float64 `json:"end"`
+ Word string `json:"word"`
+ Probability float64 `json:"score"`
+ } `json:"words"`
+ Text string `json:"text"`
+ } `json:"segments"`
+}
diff --git a/pkg/openai/openai.go b/pkg/openai/openai.go
index c55035f6..21ddd458 100644
--- a/pkg/openai/openai.go
+++ b/pkg/openai/openai.go
@@ -2,6 +2,7 @@ package openai
import (
"context"
+ "encoding/json"
"fmt"
openai "github.com/sashabaranov/go-openai"
"go.uber.org/zap"
@@ -14,6 +15,41 @@ import (
)
func (c *Client) ChatCompletion(query string) (string, error) {
+ var responseFormat *openai.ChatCompletionResponseFormat
+
+ if config.Conf.Llm.Json {
+ responseFormat = &openai.ChatCompletionResponseFormat{
+ Type: "json_schema",
+ JSONSchema: &openai.ChatCompletionResponseFormatJSONSchema{
+ Name: "translation_response",
+ Strict: true,
+ Schema: json.RawMessage(`{
+ "type": "object",
+ "properties": {
+ "translations": {
+ "type": "array",
+ "items": {
+ "type": "object",
+ "properties": {
+ "original_sentence": {"type": "string"},
+ "translated_sentence": {"type": "string"}
+ },
+ "required": ["original_sentence", "translated_sentence"],
+ "additionalProperties": false
+ }
+ }
+ },
+ "required": ["translations"],
+ "additionalProperties": false
+ }`),
+ },
+ }
+ } else {
+ responseFormat = &openai.ChatCompletionResponseFormat{
+ Type: "text",
+ }
+ }
+
req := openai.ChatCompletionRequest{
Model: config.Conf.Llm.Model,
Messages: []openai.ChatCompletionMessage{
@@ -26,8 +62,10 @@ func (c *Client) ChatCompletion(query string) (string, error) {
Content: query,
},
},
- Stream: true,
- MaxTokens: 8192,
+ Temperature: 0.9,
+ Stream: true,
+ MaxTokens: 8192,
+ ResponseFormat: responseFormat,
}
stream, err := c.client.CreateChatCompletionStream(context.Background(), req)
@@ -55,6 +93,15 @@ func (c *Client) ChatCompletion(query string) (string, error) {
resContent += response.Choices[0].Delta.Content
}
+ if config.Conf.Llm.Json {
+ parsedContent, err := parseJSONResponse(resContent)
+ if err != nil {
+ log.GetLogger().Error("failed to parse JSON response", zap.Error(err))
+ return "", err
+ }
+ return parsedContent, nil
+ }
+
return resContent, nil
}
@@ -107,3 +154,27 @@ func (c *Client) Text2Speech(text, voice string, outputFile string) error {
return nil
}
+
+func parseJSONResponse(jsonStr string) (string, error) {
+ var response struct {
+ Translations []struct {
+ Original string `json:"original_sentence"`
+ Translated string `json:"translated_sentence"`
+ } `json:"translations"`
+ }
+
+ err := json.Unmarshal([]byte(jsonStr), &response)
+ if err != nil {
+ return "", fmt.Errorf("failed to parse JSON: %v", err)
+ }
+
+ var result strings.Builder
+ for i, item := range response.Translations {
+ result.WriteString(fmt.Sprintf("%d\n%s\n%s\n\n",
+ i+1,
+ item.Translated,
+ item.Original))
+ }
+
+ return result.String(), nil
+}
diff --git a/pkg/whisperx/init.go b/pkg/whisperx/init.go
new file mode 100644
index 00000000..2222dc08
--- /dev/null
+++ b/pkg/whisperx/init.go
@@ -0,0 +1,12 @@
+package whisperx
+
+type WhisperXProcessor struct {
+ WorkDir string // 生成中间文件的目录
+ Model string
+}
+
+func NewWhisperXProcessor(model string) *WhisperXProcessor {
+ return &WhisperXProcessor{
+ Model: model,
+ }
+}
diff --git a/pkg/whisperx/transcription.go b/pkg/whisperx/transcription.go
new file mode 100644
index 00000000..e19ad1ad
--- /dev/null
+++ b/pkg/whisperx/transcription.go
@@ -0,0 +1,119 @@
+package whisperx
+
+import (
+ "encoding/json"
+ "krillin-ai/internal/storage"
+ "krillin-ai/internal/types"
+ "krillin-ai/log"
+ "krillin-ai/pkg/util"
+ "os"
+ "os/exec"
+ "runtime"
+ "strings"
+
+ "go.uber.org/zap"
+)
+
+func (c *WhisperXProcessor) Transcription(audioFile, language, workDir string) (*types.TranscriptionData, error) {
+ var (
+ cmdArgs []string
+ envPath string
+ cmd *exec.Cmd
+ )
+ if runtime.GOOS == "windows" {
+ envPath = ".\\bin\\whisperx\\.venv\\Scripts\\activate"
+ } else {
+ envPath = storage.WhisperXPath
+ }
+ if runtime.GOOS == "windows" {
+ cmdArgs = []string{
+ "&&",
+ storage.WhisperXPath,
+ audioFile,
+ "--model_dir", "./models/whisperx",
+ "--model", c.Model,
+ "--language", language,
+ "--output_dir", workDir,
+ "--compute_type", "float16",
+ "--batch_size", "8",
+ "--model_cache_only", "True",
+ }
+ cmd = exec.Command(envPath, cmdArgs...)
+ } else {
+ cmdArgs = []string{
+ audioFile,
+ "--model_dir", "./models/whisperx",
+ "--model", c.Model,
+ "--language", language,
+ "--output_dir", workDir,
+ "--compute_type", "float16",
+ "--batch_size", "16",
+ "--model_cache_only", "True",
+ }
+ cmd = exec.Command(envPath, cmdArgs...)
+ cudaLibPath := "LD_LIBRARY_PATH=./bin/whisperx/.venv/lib/python3.12/site-packages/nvidia/cudnn/lib"
+ currentEnv := os.Environ()
+ newEnv := append(currentEnv, cudaLibPath)
+ cmd.Env = newEnv
+ }
+ log.GetLogger().Info("WhisperXProcessor转录开始", zap.String("cmd", cmd.String()))
+ output, err := cmd.CombinedOutput()
+ if err != nil {
+ log.GetLogger().Error("WhisperXProcessor cmd 执行失败", zap.String("output", string(output)), zap.Error(err))
+ return nil, err
+ }
+ log.GetLogger().Info("WhisperXProcessor转录json生成完毕", zap.String("audio file", audioFile))
+
+ var result types.WhisperXOutput
+ fileData, err := os.Open(util.ChangeFileExtension(audioFile, ".json"))
+ if err != nil {
+ log.GetLogger().Error("WhisperXProcessor 打开json文件失败", zap.Error(err))
+ return nil, err
+ }
+ defer fileData.Close()
+ decoder := json.NewDecoder(fileData)
+ if err = decoder.Decode(&result); err != nil {
+ log.GetLogger().Error("WhisperXProcessor 解析json文件失败", zap.Error(err))
+ return nil, err
+ }
+
+ var (
+ transcriptionData types.TranscriptionData
+ num int
+ )
+ for _, segment := range result.Segments {
+ transcriptionData.Text += strings.ReplaceAll(segment.Text, "—", " ") // 连字符处理,因为模型存在很多错误添加到连字符
+ for _, word := range segment.Words {
+ if strings.Contains(word.Word, "—") {
+ // 对称切分
+ mid := (word.Start + word.End) / 2
+ seperatedWords := strings.Split(word.Word, "—")
+ transcriptionData.Words = append(transcriptionData.Words, []types.Word{
+ {
+ Num: num,
+ Text: util.CleanPunction(strings.TrimSpace(seperatedWords[0])),
+ Start: word.Start,
+ End: mid,
+ },
+ {
+ Num: num + 1,
+ Text: util.CleanPunction(strings.TrimSpace(seperatedWords[1])),
+ Start: mid,
+ End: word.End,
+ },
+ }...)
+ num += 2
+ } else {
+ transcriptionData.Words = append(transcriptionData.Words, types.Word{
+ Num: num,
+ Text: util.CleanPunction(strings.TrimSpace(word.Word)),
+ Start: word.Start,
+ End: word.End,
+ })
+ num++
+ }
+ }
+ }
+ log.GetLogger().Info("WhisperXProcessor转录成功")
+ return &transcriptionData, nil
+}