何をするか
theseus は 同じタスク集合 を モデル(L0) × エージェント(L1) × ハーネス(L2) の組み合わせごとに 実行し、各組み合わせの 正確性 · コスト · 時間 · ツール呼び出し · サブエージェント呼び出しフロー を 横並びで示す。だからフローを理解し、自分に合うトレードオフ を自分で選べる。リーダーボードでは なく、既定では 単一スコアを出さない。代わりに観点ごとの最良とコスト/正確性の パレートフロンティア を示す。
flowchart LR
S(["<b>選択</b><br/>モデル × エージェント × ハーネス"]):::pick
S --> SUB["<b>サブセット</b><br/>決定的 · seed"]:::step
SUB --> J["<b>ジョブ実行</b><br/>組合せ × タスク · fail-soft"]:::step
J --> RM["<b>結果 + メトリクス</b><br/>正確性 · コスト · 時間 · フロー"]:::step
RM --> V(["<b>可視化</b><br/>report · graph · TUI · view"]):::out
V -. "選択を見直して再実行" .-> S
classDef pick fill:#cdd2d8,stroke:#0a0b0d,color:#0a0b0d;
classDef step fill:#15171b,stroke:#8b929b,color:#eef0f2;
classDef out fill:#1d2b33,stroke:#cdd2d8,color:#eef0f2;
実行ごとの成果物: 構造化データ(results.jsonl + 任意の theseus.sqlite)、自己完結型 の
report.html(外部 JS/CDN なし)、サブエージェント フローグラフ graph.html。
名前 — 船、そして判断
theseus は テセウスの船。板を一枚ずつ取り替えても 船は船のまま。あなたのワークフローが船であり、モデル・エージェント・ハーネスは取り替える板 だ。 theseus は、どの板が航海を実際に変えるのかを示す。
その目的は 判断(judgment)。勝者を決めず、根拠(正確性・コスト・時間・フロー)を渡して、あなたが トレードオフを比べ、自ら判定する。この精神は正義と判断の体現である ディケー(Δίκη, Díkē) に由来する — theseus は道具であり、判断はあなたの役目だ。
ライブデモ ギャラリー
自己完結型のサンプルレポート + フローグラフ。main への push ごとに CI が再生成する。
- ホスティング: https://olympusresearch.github.io/theseus/ (メンテナが Pages を有効化した後 — 下記)
- ローカルで開く(ネットワーク不要):
npm run build:site # ./site を生成 (index.html + report.html + graph.html) open site/index.html # macOS · Linux: xdg-open · Windows: start - 自分の実行結果から:
# run を記録し、そのレポートをブラウザで開く theseus --model opus4.8 --agent cc --harness none,omc --bench subagent --runner mock --view open # run を記録し、全 run を http://localhost:7777 で配信 theseus --model opus4.8 --agent cc --harness none,omc --bench subagent --runner mock --view serve --port 7777 - 記録済みの全トレースを見る(新規実行なし・パイプラインの全履歴):
theseus view --open # 記録済みの全 run を localhost で配信しギャラリーを開く
ホストページの有効化: リポジトリ Settings → Pages → Source: GitHub Actions(
Pagesワークフローが処理)。
インストール
pnpm install # または npm install
pnpm build # → dist/cli.js
npm link # `theseus` を公開 (または: node dist/cli.js …)
Node ≥ 20, ESM。better-sqlite3・ink・react は 任意 依存 — ネイティブビルドや TUI 依存が無くても
theseus は優雅にフォールバックする(JSONL が一次ソース、TUI は表にフォールバック)。
クイックスタート(オフライン・決定的)
theseus --model opus4.8,gpt5.5 --agent cc,opencode,codex \
--harness none,omc,omo,ponytail --bench subagent --tasks 4 --runner mock -L en
マトリクス
L0 モデル
- claude 系 —
opus4.8 / 4.7 / 4.6,sonnet4.6 / 4.5,haiku4.5,fable5 - gpt 系 —
gpt5-codex(アカウント既定),gpt5.5,gpt5.1-codex - open 系(OpenRouter) —
qwen3-coder,qwen3-coder-free(無料枠),glm4.6,kimi-k2,deepseek-v3.2… モデル非依存エージェントがopenrouter/<vendor>/<model>として渡す。src/config.tsに OpenRouter id を足せば増える。:freeは $0。
L1 エージェント
| エージェント | バイナリ | モデル系 | ハーネス |
|---|---|---|---|
cc |
claude | claude | none, superpowers, omc, ecc, ponytail, mattpocock |
codex |
codex | gpt | none, superpowers, omx, lazycodex, omo, ponytail |
opencode |
opencode | claude + gpt | none, omo, ponytail, mattpocock |
openclaw |
openclaw | claude + gpt | none, ponytail |
hermes |
hermes | claude + gpt | none, ponytail |
opencode/openclaw/hermes はモデル非依存 — どの family も受け、theseus が provider/id 形式で渡す:
anthropic/…, openai/…, または openrouter/<vendor>/<model>(例: 無料の Qwen)。default は省略。
(cc は claude 専用、codex は gpt 専用。)
L2 ハーネス
| ハーネス | 種別 | エージェント |
|---|---|---|
none |
ベースライン | 全部 |
superpowers |
共用 | cc, codex |
omc / ecc |
オーケストレーション | cc |
omx / lazycodex |
オーケストレーション | codex |
omo (oh‑my‑openagent) |
オーケストレーション | opencode, codex |
ponytail |
ミニマリズム規則 | 全部 |
mattpocock |
スキル集 | cc, codex, opencode |
非互換の組み合わせは 理由付きで除外 される(黙って捨てない)。
インタラクティブセッション
引数なしで theseus を実行するとセッションが開く — claude/codex のように。目標を自由に入力し、
機能ごとに統一されたスラッシュコマンドで設定して /run:
$ theseus
theseus [1m×1a×1h] ▸ cc と opencode をフレーキーなバグで比較
theseus [1m×1a×1h] ▸ /agents cc,opencode
theseus [2m×2a×1h] ▸ /models opus4.8,gpt5.5
theseus [2m×2a×1h] ▸ /run # → 決定テーブル + report.html
theseus [2m×2a×1h] ▸ /view # → 記録された全トレースを localhost で配信
theseus [2m×2a×1h] ▸ /exit
| コマンド | 説明 |
|---|---|
自由入力 · /goal <text> |
達成したい目標 — 自由入力が蓄積され、run meta に記録されレポートに表示 |
/models /agents /harness /bench |
L0×L1×L2 — 引数なしで一覧、引数ありで選択 |
/runs /tasks /seed /runner /judge /score /lang |
スイープのパラメータ |
/run · /view [open] · /config /clear /help /exit |
実行 · 可視化 · 確認/リセット/ヘルプ/終了 |
明示的には theseus session(別名:chat, repl)。同じ操作はスクリプト用のワンショットフラグでも使える(下記)。
コマンド
theseus # インタラクティブセッション(スラッシュ)
theseus session | chat | repl # 同上(明示的)
theseus [compare] --model … --agent … --harness … # 既定コマンド
theseus verify --model … --agent … --harness … # 組合せごとのサブエージェント呼び出し捕捉チェック
theseus results [--run <id>] # 記録済み run を表示
theseus view [--open] [--port 7777] # 記録済みの全トレースを配信・可視化
theseus tui [--out runs] [--open] [--rich] # 対話型 ink UI(表フォールバック)
theseus install <cc|codex|opencode|openclaw|hermes|tb|<harness>|all>
theseus install --check # ステータス表
theseus doctor # 実行環境の自己診断
可視化モード — --view
| モード | 動作 |
|---|---|
inline(既定) |
自己完結型 report.html + graph.html を書き出し、パスを表示 |
open |
上記 + ブラウザでレポートを開く |
serve |
localhost サーバ(--port, 既定 7777)で全 run のライブインデックス |
term |
棒グラフ(正確性/トークン/コスト/サブエージェント)+ ANSI フローツリー を端末に — ブラウザ不要 |
主なフラグ
--bench(既定 terminal-bench-v2)· --tasks(20) · --runs(1) · --seed · --runner
(auto|mock|cc|codex|opencode|openclaw|hermes|tb) · --concurrency(4) · --timeout(600) · --out(runs)
· --goal · --judge(none|heuristic|cc) · --score · --balanced · --dry-run · --yes/-y · --view
· --port · --no-logo · --language/-L(既定 kr; en|ja|zh).
ベンチ
- terminal-bench-v2 — 外部 Terminal‑Bench(Docker; 委譲実行)。
tbが無ければ mock にフォールバック。 - local — 内蔵の happy‑path タスク(ファイル検証、Docker 不要)。
- subagent — 内蔵の高難度タスク(
subagent-101…106)。検証器は 入力 fixture から答えを再計算 (ハードコードされた golden なし → drift なし)。各タスクにエージェント非依存の委譲ヒントを1文含む。
サブエージェントフロー捕捉チェック
theseus verify は委譲を促すタスクで各有効組合せを実行し、サブエージェント呼び出しが実際に捕捉されるかを
表で報告する。ツリー型(cc + オーケストレーション, opencode + omo)は fan‑out が必要、単一ループ
(codex・none・hermes)は flat (expected)。既定はオフライン mock、real ランナーは --yes が必要。
不変条件 (PRD §20)
ソート基準キー subagentCount → totalTokens → wallTimeMs · 単一スコアなし(観点別 + パレート) ·
決定性(sha256 サブセット、Math.random 禁止) · fail‑soft(黙ったドロップなし、success ≠ resolved) ·
null = 未収集 · ランナー非再実装(mock フォールバック + バナー) · 自己完結型 HTML ·
ハーネス per‑run(グローバル汚染なし) · recompute‑in‑verify · i18n。
開発
pnpm typecheck && pnpm lint && pnpm test && pnpm build
詳細は docs/(アーキテクチャ · レジストリ · トランスクリプト · 可視化 · ブランド · 受け入れ基準)。