Formerly KrillinAI, VideoTranslation and Dubbing Tool for 120+ Languages. Open-source AI workspace for creators, powered by Codex. Video downloader, video translation, create videos, images, audios, and edits with Agents in one place. For your Social Media like YouTube, TikTok, Instagram, etc.
TypeScript agent-skillscodex-clideskop-appdubbingimage-generationlocalizationskillsttsvideo-editingvideo-generationvideo-transcriptionvideo-translation
Feat aitool (#79)
Maranello094ddd22826e
diff --git a/README.md b/README.mdindex 8dc23016..a6672295 100644--- a/README.md+++ b/README.md@@ -4,7 +4,7 @@# AI Audio&Video Translation and Dubbing Tool- **[English](./README.md) | [简体中文](./docs/README_zh.md) |[日本語](./docs/README_jp.md)**+ **[English](./README.md) | [简体中文](./docs/README_zh.md) |[日本語](./docs/README_jp.md)|[Русский](./docs/README_rus.md)**[](https://discord.gg/7RUa4WuW)[](https://x.com/KrillinAI)@@ -15,7 +15,7 @@## Overview-Krillin AI is a one-stop solution designed for users and developers seeking high-quality video processing. It provides an end-to-end workflow, from video download to the final product, ensuring every frame of your content is extraordinary.+Krillin AI is an all-in-one solution for effortless video localization and enhancement. This minimalist yet powerful tool handles everything from translation, dubbing to voice cloning,formatting—seamlessly converting videos between landscape and portrait modes for optimal display across all content platforms(YouTube, TikTok, Bilibili, Douyin, WeChat Channel, RedNote, Kuaishou). With its end-to-end workflow, Krillin AI transforms raw footage into polished, platform-ready content in just a few clicks.## Key Features:🎯 **One-Click Start** - Launch your workflow instantlydiff --git a/docs/README_jp.md b/docs/README_jp.mdindex b601ecdc..a97faad6 100644--- a/docs/README_jp.md+++ b/docs/README_jp.md@@ -3,7 +3,7 @@# AI動画翻訳・吹き替えツール(簡単デプロイ)-**[English](../README.md) |[简体中文](../docs/README_zh.md)|[日本語](../docs/README_jp.md)**+**[English](../README.md) |[简体中文](../docs/README_zh.md)|[日本語](../docs/README_jp.md)|[Русский](../docs/README_rus.md)**[](https://discord.gg/7RUa4WuW)[](https://x.com/KrillinAI)@@ -11,9 +11,9 @@</div>-🚀 **プロジェクト概要**+## 🚀 プロジェクト概要-KrillinAIは、動画ダウンロード、音声抽出、音声文字起こし、テキスト分割、翻訳、調整から、最終的に抖音、Bilibili、小红书、WeChat動画、Kwaiなどの主要プラットフォーム形式への合成まで、オールインワンソリューションを提供します。+クリリンAIは、動画のローカライズと品質向上を簡単に実現するオールインワンソリューションです。このシンプルでありながら強力なツールは、翻訳、吹き替え、ボイスクローニングからフォーマット調整までをカバー。縦横画面のシームレスな変換により、YouTube、TikTok、Bilibili、抖音(Douyin)、微信チャンネル、RedNote、快手(Kuaishou)など、あらゆるコンテンツプラットフォームに最適化された表示を実現します。エンドツーエンドのワークフローで、わずかなクリックだけで未編集の素材から完成度の高いプラットフォーム対応コンテンツへと仕上げます。## 主な特徴と機能:🎯 **ワンクリック起動**:複雑な環境設定不要、依存関係を自動インストールdiff --git a/docs/README_rus.md b/docs/README_rus.mdnew file mode 100644index 00000000..d4448ec7--- /dev/null+++ b/docs/README_rus.md@@ -0,0 +1,114 @@+<div align="center">+ <img src="./images/logo.png" alt="KrillinAI" height="90">++ # AI инструмент для перевода и озвучки аудио и видео++ **[English](../README.md) | [简体中文](../docs/README_zh.md) | [日本語](../docs/README_jp.md)|[Русский](../docs/README_rus.md)**++ [](https://discord.gg/7RUa4WuW)+ [](https://x.com/KrillinAI)+[](https://space.bilibili.com/242124650)+ [](https://jq.qq.com/?_wv=1027&k=754069680)++</div>++## Обзор++Krillin AI — это универсальное решение для простой локализации и улучшения видео. Этот минималистичный, но мощный инструмент выполняет всё: от перевода и дубляжа до клонирования голоса и адаптации формата — легко преобразует видео между горизонтальным и вертикальным режимами для идеального отображения на любых платформах (YouTube, TikTok, Bilibili, Douyin, WeChat Channel, RedNote, Kuaishou). Благодаря сквозному рабочему процессу Krillin AI превращает исходные материалы в готовый к публикации контент всего за несколько кликов.++## Ключевые возможности:+🎯 **Запуск в один клик** - мгновенное начало работы++📥 **Загрузка видео** - поддержка yt-dlp и локальных файлов++📜 **Точные субтитры** - распознавание с высокой точностью на основе Whisper++🧠 **Умное разделение** - логическая разбивка и выравнивание субтитров с помощью LLM++🌍 **Профессиональный перевод** - согласованный перевод на уровне абзацев++🔄 **Замена терминов** - смена специализированной лексики в один клик++🎙️ **Озвучка и клонирование голоса** - выбор голосов CosyVoice или создание копий++🎬 **Видеомонтаж** - автоматическое форматирование для горизонтальных и вертикальных форматов++## Пример работы+На изображении ниже показан результат автоматической вставки субтитров в видео после однокликового запуска обработки 46-минутного локального видео. Никаких ручных корректировок не производилось.+++<table>+<tr>+<td width="50%">++### Перевод субтитров+---+https://github.com/user-attachments/assets/bba1ac0a-fe6b-4947-b58d-ba99306d0339++</td>+<td width="50%">++### Озвучка+---+https://github.com/user-attachments/assets/0b32fad3-c3ad-4b6a-abf0-0865f0dd2385++</td>+</tr>+</table>++## 🌍 Поддерживаемые языки+Входные языки: китайский, английский, японский, немецкий, турецкий (добавляются новые языки)+Языки перевода: 56 языков, включая английский, китайский, русский, испанский, французский и др.++## Предпросмотр интерфейса+++## 🚀 Быстрый старт+### Основные шаги+1. Скачайте исполняемый файл, соответствующий вашей операционной системе, из раздела релизов и поместите его в пустую папку.+2. Создайте папку config внутри этой папки, затем создайте файл config.toml в папке config. Скопируйте содержимое файла config-example.toml из директории config исходного кода в config.toml и заполните вашу конфигурационную информацию соответствующим образом.+3. Дважды щелкните на исполняемом файле, чтобы запустить сервис.+4. Откройте браузер и введите http://127.0.0.1:8888, чтобы начать использование (замените 8888 на порт, который вы указали в файле config.toml).++### Для пользователей macOS+Это программное обеспечение не подписано, поэтому после завершения настройки файлов в "Основных шагах" вам потребуется вручную подтвердить доверие к приложению в macOS. Выполните следующие действия:+1. Откройте терминал и перейдите в директорию, где находится исполняемый файл (предположим, имя файла `KrillinAI_1.0.0_macOS_arm64`).+2. Выполните следующие команды по порядку:+```+sudo xattr -rd com.apple.quarantine ./KrillinAI_1.0.0_macOS_arm64+sudo chmod +x ./KrillinAI_1.0.0_macOS_arm64+./KrillinAI_1.0.0_macOS_arm64+```+Это запустит сервис.++### Инструкции по настройке Cookie+Этот проект поддерживает развертывание через Docker. Пожалуйста, обратитесь к [Docker Deployment Instructions](./docs/docker.md).++### Cookie Configuration Instructions++Если вы столкнулись с ошибками при загрузке видео, пожалуйста, обратитесь к [Cookie Configuration Instructions](./docs/get_cookies.md) для настройки информации о ваших cookie.++### Помощь по настройке+Самый быстрый и удобный способ настройки:+* Выберите openai для transcription_provider и llm_provider. Таким образом, вам нужно будет заполнить только openai.apikey в следующих трех основных категориях конфигурации, а именно openai, local_model и aliyun, и затем вы сможете выполнять перевод субтитров. (Заполните app.proxy, model и openai.base_url в соответствии с вашей ситуацией.)++Способ настройки для использования локальной модели распознавания речи (временно не поддерживается на macOS) (выбор, учитывающий стоимость, скорость и качество):+* Заполните fasterwhisper для transcription_provider и openai для llm_provider. Таким образом, вам нужно будет заполнить только openai.apikey и local_model.faster_whisper в следующих двух основных категориях конфигурации, а именно openai и local_model, и затем вы сможете выполнять перевод субтитров. Локальная модель будет загружена автоматически. (То же самое относится к app.proxy и openai.base_url, как упоминалось выше.)++Следующие ситуации использования требуют настройки Alibaba Cloud:+* Если llm_provider заполнен как aliyun, это означает, что будет использоваться сервис больших моделей Alibaba Cloud. Следовательно, необходимо настроить параметр aliyun.bailian.+* Если transcription_provider заполнен как aliyun, или если функция "озвучки" включена при запуске задачи, будет использоваться голосовой сервис Alibaba Cloud. Поэтому необходимо заполнить параметр aliyun.speech.+* Если функция "озвучки" включена и одновременно загружаются локальные аудиофайлы для клонирования тембра голоса, также будет использоваться сервис облачного хранилища OSS от Alibaba Cloud. Следовательно, необходимо заполнить параметр aliyun.oss.+Руководство по настройке: [Alibaba Cloud Configuration Instructions](./docs/aliyun.md)++## Часто задаваемые вопросы+Пожалуйста, обратитесь к [Frequently Asked Questions](./docs/faq.md)++## Рекомендации по внесению вклада++- Не отправляйте ненужные файлы, такие как .vscode, .idea и т.д. Пожалуйста, используйте .gitignore для их фильтрации.+- Не отправляйте config.toml; вместо этого отправляйте config-example.toml.++## История звезд++[](https://star-history.com/#krillinai/KrillinAI&Date)diff --git a/docs/README_zh.md b/docs/README_zh.mdindex 46f7cc81..563810e3 100644--- a/docs/README_zh.md+++ b/docs/README_zh.md@@ -3,16 +3,16 @@# 极简部署AI视频翻译配音工具- **[English](../README.md)|[简体中文](../docs/README_zh.md)|[日本語](../docs/README_jp.md)**+ **[English](../README.md)|[简体中文](../docs/README_zh.md)|[日本語](../docs/README_jp.md)|[Русский](./docs/README_rus.md)**[](https://jq.qq.com/?_wv=1027&k=754069680)[](https://space.bilibili.com/242124650)</div>- **项目简介**+ ## 项目简介-KrillinAI提供了从视频下载,音频提取,音频转录,文本切割,翻译,对齐,到最终合成适配抖音,哔哩哔哩,小红书,视频号,快手等主流平台格式的一站式解决方案。+Krillin AI 是一款全能型音视频本地化与增强解决方案。这款简约而强大的工具,集音视频翻译、配音、语音克隆于一身,支持横竖屏格式输出,确保在所有主流平台(哔哩哔哩,小红书,抖音,视频号,快手,YouTube,TikTok等)都能完美呈现。通过端到端的工作流程,Krillin AI 仅需点击几次,就能将原始素材转化为精美即用的跨平台内容。## 主要特点与功能:🎯 **一键启动**:无需复杂的环境配置,自动安装依赖,立即投入使用diff --git a/pkg/openai/openai.go b/pkg/openai/openai.goindex c14b1fe6..29eaa224 100644--- a/pkg/openai/openai.go+++ b/pkg/openai/openai.go@@ -46,6 +46,10 @@ func (c *Client) ChatCompletion(query string) (string, error) {log.GetLogger().Error("openai stream receive failed", zap.Error(err))return "", err}+ if len(response.Choices) == 0 {+ log.GetLogger().Info("openai stream receive no choices", zap.Any("response", response))+ continue+ }resContent += response.Choices[0].Delta.Content}