Skip to content

An AI editor that watches its own cut: talking-head / AI-avatar video → auto-edited short video. 网感口播精剪:数字人/真人口播 → AI 自动精剪成网感动效短视频 → 可选剪映分层草稿

12.5 KB
Raw Blame

SeeCut

An AI editor that watches its own cut — see, cut, loop.

中文 · English · 日本語

トーキングヘッド動画(本人出演または AI アバター)→ モーショングラフィックス入りの見応えあるショート動画に自動で仕上げる → 必要なら剪映(JianYing)のレイヤー付きドラフトに書き出して微調整。 SeeCut は Claude Code などのコーディングエージェント向けのスキルです。エージェントが素材を理解し、画面に出す「本物の証拠」を探し、ショットを組み立ててレンダリングし、さらに動画をそのまま見られる AI で自分の編集結果を見直して改善します。最後の確認はあなたの目で行います。

AI アバターの元動画(HeyGen AV5 + Doubao 音声合成) SeeCut で自動編集した結果
https://github.com/user-attachments/assets/6c5c821a-bb8b-48f0-bead-5509425835ce https://github.com/user-attachments/assets/4702dc92-8bb3-4199-acc0-31fd3d98ae96

どちらも音声付きで、クリックすると再生できます。右側の映像はすべてエージェントが作成しました(証拠としての実際のスクリーンショット、カード、手描き風の囲み、話し手の全画面/小窓の切り替え)。後から剪映で音量だけ調整しています。元ファイルは Releases · demo-v1 にあります。デモは中国語です。

スキル本体のドキュメント(skill/、digital-human/、jianying/)は中国語で書かれています。エージェントはそのまま読めますので、わからない点はエージェントに説明させてください。


特長

  1. See:AI が動画を本当に「見る」。 Claude や GPT のようなモデルは、通常は動画から抜き出した数枚の静止画を見るしかなく、動きやテンポは分かりません。SeeCut は Gemini(Antigravity CLI 経由)で動画を直接見て、素材の理解と自己レビューの両方に使います。
  2. 正しく見る:較正済みの審査。 同じ動画でもプロンプト次第で AI は「洗練」とも「ダサい」とも言います。答えの分かっている動画で審査役を試したところ、絶対評価の点数は当てにならず、「2 本のうちどちらが良いか」の比較は当てになりました。そのため審査はすべて一対比較で、左右を入れ替えて 2 回とも勝った場合だけ採用します。
  3. Loop:自分で直し、自分で選ぶ。 各バージョンはまず致命的なミスのチェックを通り、次に前のバージョンとの一対比較で勝ったときだけ採用されます。最大 3 バージョン、毎回目で見て分かる改善が必須です。目が正確だからこそ、ループは良い方向に進みます。
  4. 偽の画面ではなく本物の証拠。 話に出てきた Web ページや製品画面、事例を実際にキャプチャして映像の証拠にします。画面を埋めるための偽 UI は禁止。追加の B ロールがなくても中身のある映像になります。
  5. エフェクトの寄せ集めではなく方法論。 体系立ったスタイル規範:デザイントークン → コンポーネントライブラリ → 編集判断表(「この一文の役割は何か → 画面でどう扱うか」)→ ショットごとの施工指示書。
  6. AI アバターの作り方も実際の手順どおりに公開。 映像は HeyGen AV5 のデジタルツイン、音声は HeyGen 内蔵の声(不自然に聞こえる)ではなく Doubao(ByteDance)の音声合成。デモもこの方法で作りました。スクリプトと手順は digital-human/ にあります。
  7. 剪映で微調整できる。 完成動画に加えてレイヤー分けしたプロジェクト素材を出力します。任意のドラフトエンジンを入れれば、トラックごとに調整できる剪映ドラフトになり、効果音も自動で配置されます。

クイックスタート

  1. フォルダを用意し、20〜30 秒の縦長・上半身のトーキングヘッド動画(スマホ撮影で十分)と、任意で話に出てくるもののスクリーンショットを 3〜6 枚入れます。
  2. 下の「コア」項目を入れ、zsh skill/seecut/scripts/preflight.sh の必須チェックがすべて通るまで整えます。
  3. skill/seecut を ~/.claude/skills/(またはお使いのエージェントの skills フォルダ)にコピーし、新しい会話で実行します:
    /seecut 素材:<あなたのフォルダ>
    
    (素材 は「素材・フッテージ」の意味です。)
  4. 受け取るもの:レンダリング済み動画(~/Downloads)、レイヤー分けしたプロジェクト素材、納品レポート(各バージョンの変更点とレビュー結果)。

まずサンプル、それから全編。 長い素材はまず冒頭 20〜30 秒で試し、スタイルと方向性を確認してから全編を回してください(素材が 60 秒を超えるとスキルが先に確認します)。1 回のループで 2〜3 バージョンを作り、それぞれレンダリングと AI レビューを行うため、25 秒のサンプルで現状約 1 時間かかり、長い動画ほど時間が延びます。

3 ステップの流れ

ステップ 内容 備考
1 · AI アバター 原稿 → 音声 → アバター → 縦長トーキングヘッド A ロール 私たちの方法:Doubao 音声合成 + HeyGen。ツールは差し替え可能。自分で撮るなら不要
2 · SeeCut 編集 素材理解 → 証拠集め → 構成 → HyperFrames でレンダリング → AI レビューループ → 納品 中核
3 · 剪映ドラフト レイヤー素材 → 剪映で開いてトラックごとに調整できるドラフト 任意

始める前に

現時点で動作確認は macOS のみです。リポジトリをクローンしてエージェントに渡せば、この節と preflight.sh に沿ってセットアップを手伝ってくれます。

コア:編集に必須(preflight.sh が 1 つずつ確認します)

項目 説明
コーディングエージェント Claude Code で動作確認済み。Codex、WorkBuddy などスキルを動かせるエージェントも理論上は使えます。自己レビューのループで何度も呼び出すため、利用枠に余裕を持たせてください
Antigravity CLI(agy) AI の「目」。これがないと自己レビューもループもできません。 Google アカウントがあれば使え、無料アカウントには週ごとの利用枠があります。Google AI Pro は枠が大きく 5 時間ごとに回復します(1 本の動画で何度も呼び出すため、無料枠では足りない場合があります。公式のプラン説明を参照)。注意:Google アカウントの国/地域の設定が対応地域である必要があります(IP ではなくアカウント設定)。ヘッドレス実行には --dangerously-skip-permissions が必要です
HyperFrames CLI 無料のオープンソース。npx -y hyperframes@latest で使えます。プロキシ環境では大文字の HTTPS_PROXY を設定してください
ffmpeg、Node 22 以上(HyperFrames の要件)、Python 3、pip install faster-whisper、プロジェクトフォルダで npm i playwright-core すべて無料。レンダリング、文字起こし、証拠キャプチャに使います

AI アバター:アバター動画を作るときに必要(ツールは差し替え可能。以下は私たちが実際に使っているもの)

項目 説明
音声:Volcengine・Doubao 音声 アバターサービス内蔵の声より自然です。新規アプリには無料枠があります(登録時のコンソール表示で約 2 万文字)。Volcengine コンソールと最新の公式ドキュメントで確認してください
アバター:HeyGen アカウント+ API ウォレット AV4(写真から)約 $0.04/秒、AV5(デジタルツイン)約 $0.12/秒

任意の拡張

項目 用途
Easy JianYing(同じ作者、非商用ライセンス) 剪映のレイヤー付きドラフト生成(公開終了した jianying-headless からの移行中)
手持ちの効果音ライブラリ scripts/sfx_ledger.py で台帳を作ると効果音を自動配置
画像生成ツール 素材が足りないときに自動で画像を補う。どの画像生成モデルでもよく、私たちは手元の Grok CLI を使っています

既知の問題

  • agy が "not eligible" と出る:Google アカウントの国/地域設定が対象外です(VPN ではなくアカウント設定を変更)。
  • npx hyperframes がタイムアウトする:プロキシが大文字の HTTPS_PROXY で設定されていません。
  • CERTIFICATE_VERIFY_FAILED:ローカルのプロキシが HTTPS を中継しています。Python / Node にそのプロキシの CA を設定するか、curl を使ってください。
  • AI アバター:AV5 は HeyGen の Web サイトで手動でデジタルツインを作る必要があります。AV4 は写真 1 枚で作れ、話し手を小さく表示するなら十分です。
  • 剪映:以前のエンジン jianying-headless は公開終了したため、Easy JianYing(剪映 11.7 対応)へ移行中です。なくても完成動画とレイヤー素材は受け取れます。
  • 画面録画+隅のワイプ顔出しの素材は、現バージョンでは十分にテストしていません。フィードバック歓迎です。
  • 1 本に数十分〜1 時間かかります。まず 20〜30 秒のサンプルで方向性を確かめてください。

作者への連絡

  • フィードバック・不具合:GitHub Issues に投稿してください(テンプレートあり)。preflight の出力と、納品レポートの「skill の問題」の節を添えてください。
  • その他のご相談:X @leaf_sanren までお気軽に DM をどうぞ。
  • 商用ライセンス・提携のご相談:メール [email protected] までどうぞ。

謝辞

このパイプラインは次のプロジェクトに支えられています:

  • HyperFrames:レンダリングエンジンと公式コンポーネントライブラリ。画面の動きの多くを支えています。
  • video-talkcraft:編集パイプライン全体の組み立て方(Design Reference → コンポーネントライブラリ → SHOTBOOK)。
  • hypit:ヒット動画を分解する考え方が、「ネットらしさ」と素材を理解する助けになりました。
  • awesome-opus5-5-videos:キャプチャできる素材がない意見パートの描き方の参考(収録プロンプトから抽出)。
  • hyperframes-student-kit:Vox Explainer スタイルのデザイントークンとカードのスタイル。
  • jianying-headless(Yichen 作、公開終了):最初に使っていた剪映ドラフトエンジン。後継は Easy JianYing。
  • rachel-digital-human-production:AI アバター手順の出発点。その上で AV5 デジタルツイン、Doubao 音声、縦長クロップを検証・改良しました。

これらのプロジェクトの作者に感謝します。本リポジトリに含まれるサードパーティのコンポーネントとフォント、およびそのライセンスは NOTICE を参照してください。

ライセンス

PolyForm Noncommercial 1.0.0