Skip to content
TypeScript
11.5 KB
Raw Blame
theseus — モデル × エージェント × ハーネスを比較し、トレードオフを判断

theseus

自分のタスクで モデル × エージェント × ハーネス を比較し — トレードオフは自分で判断する。

CI Pages node

🌐 English · 한국어 · 日本語 · 中文


何をするか

theseus は 同じタスク集合 を モデル(L0) × エージェント(L1) × ハーネス(L2) の組み合わせごとに 実行し、各組み合わせの 正確性 · コスト · 時間 · ツール呼び出し · サブエージェント呼び出しフロー を 横並びで示す。だからフローを理解し、自分に合うトレードオフ を自分で選べる。リーダーボードでは なく、既定では 単一スコアを出さない。代わりに観点ごとの最良とコスト/正確性の パレートフロンティア を示す。

flowchart LR
  S(["<b>選択</b><br/>モデル × エージェント × ハーネス"]):::pick
  S --> SUB["<b>サブセット</b><br/>決定的 · seed"]:::step
  SUB --> J["<b>ジョブ実行</b><br/>組合せ × タスク · fail-soft"]:::step
  J --> RM["<b>結果 + メトリクス</b><br/>正確性 · コスト · 時間 · フロー"]:::step
  RM --> V(["<b>可視化</b><br/>report · graph · TUI · view"]):::out
  V -. "選択を見直して再実行" .-> S

  classDef pick fill:#cdd2d8,stroke:#0a0b0d,color:#0a0b0d;
  classDef step fill:#15171b,stroke:#8b929b,color:#eef0f2;
  classDef out fill:#1d2b33,stroke:#cdd2d8,color:#eef0f2;

実行ごとの成果物: 構造化データ(results.jsonl + 任意の theseus.sqlite)、自己完結型 の report.html(外部 JS/CDN なし)、サブエージェント フローグラフ graph.html。

名前 — 船、そして判断

theseus は テセウスの船。板を一枚ずつ取り替えても 船は船のまま。あなたのワークフローが船であり、モデル・エージェント・ハーネスは取り替える板 だ。 theseus は、どの板が航海を実際に変えるのかを示す。

その目的は 判断(judgment)。勝者を決めず、根拠(正確性・コスト・時間・フロー)を渡して、あなたが トレードオフを比べ、自ら判定する。この精神は正義と判断の体現である ディケー(Δίκη, Díkē) に由来する — theseus は道具であり、判断はあなたの役目だ。

ライブデモ ギャラリー

自己完結型のサンプルレポート + フローグラフ。main への push ごとに CI が再生成する。

  • ホスティング: https://olympusresearch.github.io/theseus/ (メンテナが Pages を有効化した後 — 下記)
  • ローカルで開く(ネットワーク不要):
    npm run build:site            # ./site を生成 (index.html + report.html + graph.html)
    open site/index.html          # macOS · Linux: xdg-open · Windows: start
    
  • 自分の実行結果から:
    # run を記録し、そのレポートをブラウザで開く
    theseus --model opus4.8 --agent cc --harness none,omc --bench subagent --runner mock --view open
    # run を記録し、全 run を http://localhost:7777 で配信
    theseus --model opus4.8 --agent cc --harness none,omc --bench subagent --runner mock --view serve --port 7777
    
  • 記録済みの全トレースを見る(新規実行なし・パイプラインの全履歴):
    theseus view --open            # 記録済みの全 run を localhost で配信しギャラリーを開く
    

ホストページの有効化: リポジトリ Settings → Pages → Source: GitHub Actions(Pages ワークフローが処理)。

インストール

pnpm install        # または npm install
pnpm build          # → dist/cli.js
npm link            # `theseus` を公開  (または: node dist/cli.js …)

Node ≥ 20, ESM。better-sqlite3・ink・react は 任意 依存 — ネイティブビルドや TUI 依存が無くても theseus は優雅にフォールバックする(JSONL が一次ソース、TUI は表にフォールバック)。

クイックスタート(オフライン・決定的)

theseus --model opus4.8,gpt5.5 --agent cc,opencode,codex \
        --harness none,omc,omo,ponytail --bench subagent --tasks 4 --runner mock -L en

マトリクス

L0 モデル

  • claude 系 — opus4.8 / 4.7 / 4.6, sonnet4.6 / 4.5, haiku4.5, fable5
  • gpt 系 — gpt5-codex(アカウント既定), gpt5.5, gpt5.1-codex
  • open 系(OpenRouter) — qwen3-coder, qwen3-coder-free(無料枠), glm4.6, kimi-k2, deepseek-v3.2 … モデル非依存エージェントが openrouter/<vendor>/<model> として渡す。src/config.ts に OpenRouter id を足せば増える。:free は $0。

L1 エージェント

エージェント バイナリ モデル系 ハーネス
cc claude claude none, superpowers, omc, ecc, ponytail, mattpocock
codex codex gpt none, superpowers, omx, lazycodex, omo, ponytail
opencode opencode claude + gpt none, omo, ponytail, mattpocock
openclaw openclaw claude + gpt none, ponytail
hermes hermes claude + gpt none, ponytail

opencode/openclaw/hermes はモデル非依存 — どの family も受け、theseus が provider/id 形式で渡す: anthropic/…, openai/…, または openrouter/<vendor>/<model>(例: 無料の Qwen)。default は省略。 (cc は claude 専用、codex は gpt 専用。)

L2 ハーネス

ハーネス 種別 エージェント
none ベースライン 全部
superpowers 共用 cc, codex
omc / ecc オーケストレーション cc
omx / lazycodex オーケストレーション codex
omo (oh‑my‑openagent) オーケストレーション opencode, codex
ponytail ミニマリズム規則 全部
mattpocock スキル集 cc, codex, opencode

非互換の組み合わせは 理由付きで除外 される(黙って捨てない)。

インタラクティブセッション

引数なしで theseus を実行するとセッションが開く — claude/codex のように。目標を自由に入力し、 機能ごとに統一されたスラッシュコマンドで設定して /run:

$ theseus
theseus [1m×1a×1h] ▸ cc と opencode をフレーキーなバグで比較
theseus [1m×1a×1h] ▸ /agents cc,opencode
theseus [2m×2a×1h] ▸ /models opus4.8,gpt5.5
theseus [2m×2a×1h] ▸ /run               # → 決定テーブル + report.html
theseus [2m×2a×1h] ▸ /view              # → 記録された全トレースを localhost で配信
theseus [2m×2a×1h] ▸ /exit
コマンド 説明
自由入力 · /goal <text> 達成したい目標 — 自由入力が蓄積され、run meta に記録されレポートに表示
/models /agents /harness /bench L0×L1×L2 — 引数なしで一覧、引数ありで選択
/runs /tasks /seed /runner /judge /score /lang スイープのパラメータ
/run · /view [open] · /config /clear /help /exit 実行 · 可視化 · 確認/リセット/ヘルプ/終了

明示的には theseus session(別名:chat, repl)。同じ操作はスクリプト用のワンショットフラグでも使える(下記)。

コマンド

theseus                                              # インタラクティブセッション(スラッシュ)
theseus session | chat | repl                        # 同上(明示的)
theseus [compare] --model … --agent … --harness …   # 既定コマンド
theseus verify  --model … --agent … --harness …     # 組合せごとのサブエージェント呼び出し捕捉チェック
theseus results [--run <id>]                         # 記録済み run を表示
theseus view [--open] [--port 7777]                  # 記録済みの全トレースを配信・可視化
theseus tui [--out runs] [--open] [--rich]           # 対話型 ink UI(表フォールバック)
theseus install <cc|codex|opencode|openclaw|hermes|tb|<harness>|all>
theseus install --check                              # ステータス表
theseus doctor                                       # 実行環境の自己診断

可視化モード — --view

モード 動作
inline(既定) 自己完結型 report.html + graph.html を書き出し、パスを表示
open 上記 + ブラウザでレポートを開く
serve localhost サーバ(--port, 既定 7777)で全 run のライブインデックス
term 棒グラフ(正確性/トークン/コスト/サブエージェント)+ ANSI フローツリー を端末に — ブラウザ不要

主なフラグ

--bench(既定 terminal-bench-v2)· --tasks(20) · --runs(1) · --seed · --runner (auto|mock|cc|codex|opencode|openclaw|hermes|tb) · --concurrency(4) · --timeout(600) · --out(runs) · --goal · --judge(none|heuristic|cc) · --score · --balanced · --dry-run · --yes/-y · --view · --port · --no-logo · --language/-L(既定 kr; en|ja|zh).

ベンチ

  • terminal-bench-v2 — 外部 Terminal‑Bench(Docker; 委譲実行)。tb が無ければ mock にフォールバック。
  • local — 内蔵の happy‑path タスク(ファイル検証、Docker 不要)。
  • subagent — 内蔵の高難度タスク(subagent-101…106)。検証器は 入力 fixture から答えを再計算 (ハードコードされた golden なし → drift なし)。各タスクにエージェント非依存の委譲ヒントを1文含む。

サブエージェントフロー捕捉チェック

theseus verify は委譲を促すタスクで各有効組合せを実行し、サブエージェント呼び出しが実際に捕捉されるかを 表で報告する。ツリー型(cc + オーケストレーション, opencode + omo)は fan‑out が必要、単一ループ (codex・none・hermes)は flat (expected)。既定はオフライン mock、real ランナーは --yes が必要。

不変条件 (PRD §20)

ソート基準キー subagentCount → totalTokens → wallTimeMs · 単一スコアなし(観点別 + パレート) · 決定性(sha256 サブセット、Math.random 禁止) · fail‑soft(黙ったドロップなし、success ≠ resolved) · null = 未収集 · ランナー非再実装(mock フォールバック + バナー) · 自己完結型 HTML · ハーネス per‑run(グローバル汚染なし) · recompute‑in‑verify · i18n。

開発

pnpm typecheck && pnpm lint && pnpm test && pnpm build

詳細は docs/(アーキテクチャ · レジストリ · トランスクリプト · 可視化 · ブランド · 受け入れ基準)。