An AI editor that watches its own cut: talking-head / AI-avatar video → auto-edited short video. 网感口播精剪:数字人/真人口播 → AI 自动精剪成网感动效短视频 → 可选剪映分层草稿
トーキングヘッド動画(本人出演または AI アバター)→ モーショングラフィックス入りの見応えあるショート動画に自動で仕上げる → 必要なら剪映(JianYing)のレイヤー付きドラフトに書き出して微調整。 SeeCut は Claude Code などのコーディングエージェント向けのスキルです。エージェントが素材を理解し、画面に出す「本物の証拠」を探し、ショットを組み立ててレンダリングし、さらに動画をそのまま見られる AI で自分の編集結果を見直して改善します。最後の確認はあなたの目で行います。
| AI アバターの元動画(HeyGen AV5 + Doubao 音声合成) | SeeCut で自動編集した結果 |
|---|---|
| https://github.com/user-attachments/assets/6c5c821a-bb8b-48f0-bead-5509425835ce | https://github.com/user-attachments/assets/4702dc92-8bb3-4199-acc0-31fd3d98ae96 |
どちらも音声付きで、クリックすると再生できます。右側の映像はすべてエージェントが作成しました(証拠としての実際のスクリーンショット、カード、手描き風の囲み、話し手の全画面/小窓の切り替え)。後から剪映で音量だけ調整しています。元ファイルは Releases · demo-v1 にあります。デモは中国語です。
スキル本体のドキュメント(skill/、digital-human/、jianying/)は中国語で書かれています。エージェントはそのまま読めますので、わからない点はエージェントに説明させてください。
特長
- See:AI が動画を本当に「見る」。 Claude や GPT のようなモデルは、通常は動画から抜き出した数枚の静止画を見るしかなく、動きやテンポは分かりません。SeeCut は Gemini(Antigravity CLI 経由)で動画を直接見て、素材の理解と自己レビューの両方に使います。
- 正しく見る:較正済みの審査。 同じ動画でもプロンプト次第で AI は「洗練」とも「ダサい」とも言います。答えの分かっている動画で審査役を試したところ、絶対評価の点数は当てにならず、「2 本のうちどちらが良いか」の比較は当てになりました。そのため審査はすべて一対比較で、左右を入れ替えて 2 回とも勝った場合だけ採用します。
- Loop:自分で直し、自分で選ぶ。 各バージョンはまず致命的なミスのチェックを通り、次に前のバージョンとの一対比較で勝ったときだけ採用されます。最大 3 バージョン、毎回目で見て分かる改善が必須です。目が正確だからこそ、ループは良い方向に進みます。
- 偽の画面ではなく本物の証拠。 話に出てきた Web ページや製品画面、事例を実際にキャプチャして映像の証拠にします。画面を埋めるための偽 UI は禁止。追加の B ロールがなくても中身のある映像になります。
- エフェクトの寄せ集めではなく方法論。 体系立ったスタイル規範:デザイントークン → コンポーネントライブラリ → 編集判断表(「この一文の役割は何か → 画面でどう扱うか」)→ ショットごとの施工指示書。
- AI アバターの作り方も実際の手順どおりに公開。 映像は HeyGen AV5 のデジタルツイン、音声は HeyGen 内蔵の声(不自然に聞こえる)ではなく Doubao(ByteDance)の音声合成。デモもこの方法で作りました。スクリプトと手順は digital-human/ にあります。
- 剪映で微調整できる。 完成動画に加えてレイヤー分けしたプロジェクト素材を出力します。任意のドラフトエンジンを入れれば、トラックごとに調整できる剪映ドラフトになり、効果音も自動で配置されます。
クイックスタート
- フォルダを用意し、20〜30 秒の縦長・上半身のトーキングヘッド動画(スマホ撮影で十分)と、任意で話に出てくるもののスクリーンショットを 3〜6 枚入れます。
- 下の「コア」項目を入れ、
zsh skill/seecut/scripts/preflight.shの必須チェックがすべて通るまで整えます。 skill/seecutを~/.claude/skills/(またはお使いのエージェントの skills フォルダ)にコピーし、新しい会話で実行します:
(/seecut 素材:<あなたのフォルダ>素材は「素材・フッテージ」の意味です。)- 受け取るもの:レンダリング済み動画(
~/Downloads)、レイヤー分けしたプロジェクト素材、納品レポート(各バージョンの変更点とレビュー結果)。
まずサンプル、それから全編。 長い素材はまず冒頭 20〜30 秒で試し、スタイルと方向性を確認してから全編を回してください(素材が 60 秒を超えるとスキルが先に確認します)。1 回のループで 2〜3 バージョンを作り、それぞれレンダリングと AI レビューを行うため、25 秒のサンプルで現状約 1 時間かかり、長い動画ほど時間が延びます。
3 ステップの流れ
| ステップ | 内容 | 備考 |
|---|---|---|
| 1 · AI アバター | 原稿 → 音声 → アバター → 縦長トーキングヘッド A ロール | 私たちの方法:Doubao 音声合成 + HeyGen。ツールは差し替え可能。自分で撮るなら不要 |
| 2 · SeeCut 編集 | 素材理解 → 証拠集め → 構成 → HyperFrames でレンダリング → AI レビューループ → 納品 | 中核 |
| 3 · 剪映ドラフト | レイヤー素材 → 剪映で開いてトラックごとに調整できるドラフト | 任意 |
始める前に
現時点で動作確認は macOS のみです。リポジトリをクローンしてエージェントに渡せば、この節と preflight.sh に沿ってセットアップを手伝ってくれます。
コア:編集に必須(preflight.sh が 1 つずつ確認します)
| 項目 | 説明 |
|---|---|
| コーディングエージェント | Claude Code で動作確認済み。Codex、WorkBuddy などスキルを動かせるエージェントも理論上は使えます。自己レビューのループで何度も呼び出すため、利用枠に余裕を持たせてください |
Antigravity CLI(agy) |
AI の「目」。これがないと自己レビューもループもできません。 Google アカウントがあれば使え、無料アカウントには週ごとの利用枠があります。Google AI Pro は枠が大きく 5 時間ごとに回復します(1 本の動画で何度も呼び出すため、無料枠では足りない場合があります。公式のプラン説明を参照)。注意:Google アカウントの国/地域の設定が対応地域である必要があります(IP ではなくアカウント設定)。ヘッドレス実行には --dangerously-skip-permissions が必要です |
| HyperFrames CLI | 無料のオープンソース。npx -y hyperframes@latest で使えます。プロキシ環境では大文字の HTTPS_PROXY を設定してください |
ffmpeg、Node 22 以上(HyperFrames の要件)、Python 3、pip install faster-whisper、プロジェクトフォルダで npm i playwright-core |
すべて無料。レンダリング、文字起こし、証拠キャプチャに使います |
AI アバター:アバター動画を作るときに必要(ツールは差し替え可能。以下は私たちが実際に使っているもの)
| 項目 | 説明 |
|---|---|
| 音声:Volcengine・Doubao 音声 | アバターサービス内蔵の声より自然です。新規アプリには無料枠があります(登録時のコンソール表示で約 2 万文字)。Volcengine コンソールと最新の公式ドキュメントで確認してください |
| アバター:HeyGen アカウント+ API ウォレット | AV4(写真から)約 $0.04/秒、AV5(デジタルツイン)約 $0.12/秒 |
任意の拡張
| 項目 | 用途 |
|---|---|
| Easy JianYing(同じ作者、非商用ライセンス) | 剪映のレイヤー付きドラフト生成(公開終了した jianying-headless からの移行中) |
| 手持ちの効果音ライブラリ | scripts/sfx_ledger.py で台帳を作ると効果音を自動配置 |
| 画像生成ツール | 素材が足りないときに自動で画像を補う。どの画像生成モデルでもよく、私たちは手元の Grok CLI を使っています |
既知の問題
agyが "not eligible" と出る:Google アカウントの国/地域設定が対象外です(VPN ではなくアカウント設定を変更)。npx hyperframesがタイムアウトする:プロキシが大文字のHTTPS_PROXYで設定されていません。CERTIFICATE_VERIFY_FAILED:ローカルのプロキシが HTTPS を中継しています。Python / Node にそのプロキシの CA を設定するか、curl を使ってください。- AI アバター:AV5 は HeyGen の Web サイトで手動でデジタルツインを作る必要があります。AV4 は写真 1 枚で作れ、話し手を小さく表示するなら十分です。
- 剪映:以前のエンジン jianying-headless は公開終了したため、Easy JianYing(剪映 11.7 対応)へ移行中です。なくても完成動画とレイヤー素材は受け取れます。
- 画面録画+隅のワイプ顔出しの素材は、現バージョンでは十分にテストしていません。フィードバック歓迎です。
- 1 本に数十分〜1 時間かかります。まず 20〜30 秒のサンプルで方向性を確かめてください。
作者への連絡
- フィードバック・不具合:GitHub Issues に投稿してください(テンプレートあり)。preflight の出力と、納品レポートの「skill の問題」の節を添えてください。
- その他のご相談:X @leaf_sanren までお気軽に DM をどうぞ。
- 商用ライセンス・提携のご相談:メール [email protected] までどうぞ。
謝辞
このパイプラインは次のプロジェクトに支えられています:
- HyperFrames:レンダリングエンジンと公式コンポーネントライブラリ。画面の動きの多くを支えています。
- video-talkcraft:編集パイプライン全体の組み立て方(Design Reference → コンポーネントライブラリ → SHOTBOOK)。
- hypit:ヒット動画を分解する考え方が、「ネットらしさ」と素材を理解する助けになりました。
- awesome-opus5-5-videos:キャプチャできる素材がない意見パートの描き方の参考(収録プロンプトから抽出)。
- hyperframes-student-kit:Vox Explainer スタイルのデザイントークンとカードのスタイル。
- jianying-headless(Yichen 作、公開終了):最初に使っていた剪映ドラフトエンジン。後継は Easy JianYing。
- rachel-digital-human-production:AI アバター手順の出発点。その上で AV5 デジタルツイン、Doubao 音声、縦長クロップを検証・改良しました。
これらのプロジェクトの作者に感謝します。本リポジトリに含まれるサードパーティのコンポーネントとフォント、およびそのライセンスは NOTICE を参照してください。