Skip to content
TypeScript
11.4 KB
Raw Blame

NOTES

비전문 감시자용 기록. 용어 최소화, AS-IS → TO-BE.

2026-07-01 — 전 저장소 감사 → 4단계 개선

3개 병렬 감사(코어 소스 · 테스트/CI/패키징 · 제품/문서) + PR/CI 라이브 점검으로 결함을 찾아 4단계로 수정.

  • 1단계(정합성): 리포트 best 하이라이트 복구(--best CSS 변수 누락) · REPL 이 /run·/view 실패에도 생존(try/catch) · 미지 벤치 → 대안 나열하는 명확한 에러 · codex+룰 하네스가 조용히 baseline 으로 돌던 버그(AGENTS.md work_dir materialize 로 실제 적용) · DefensiveParser 툴콜 이중집계(2×) 수정 · Pages 워크플로 이중 트리거로 PR 이 unstable 되던 것 수정.
  • 2단계(정직성): 목표(goal)가 실제로 기록됨(RunOptions→meta.json→리포트 헤더, --goal 플래그) · 제품 i18n 을 README 와 같은 4개 언어로(ja/zh 전체 번역) · makeRunId 밀리초 충돌 방지 · costSource 를 보고값에서 도출 · preflight 게이트를 실제 subset 크기로 클램프.
  • 3단계(정리): 결과 표 렌더러 3벌 → 1벌(viz/table.ts, 결정지표 우선 컬럼 통일) · 세션에 /concurrency·/timeout 추가 · README mermaid 4개 알파인 색으로 · --view term 무지개 제거 · 갤러리 원칙 스트립+파비콘 · dead export 4개 제거 · npm publish 가 빈 패키지를 배포하던 문제 (prepublishOnly + license/repository 메타).
  • 4단계(내구성): 감사 결함 회귀 테스트 9개(파서·벤치 에러·preflight·extractScore·runId·costSource· codex 룰 적용) · verify 임시폴더 정리 · CONTRIBUTING/SECURITY · 번역 README 에 주요 플래그·벤치 섹션 백포트. 총 78 테스트.

2026-06-30 (4) — Olympus Research 브랜드 적용(알파인 모노크롬)

AS-IS: 비주얼이 "테세우스의 배"(항해/바다 블루·로프 골드) 테마였다.

TO-BE: 모회사 Olympus Research 의 아이덴티티(브랜드 보드 레퍼런스)를 적용 — 근-검정 배경, 실버/설원, 기하학적 설봉(雪峰) 마크, 와이드 트래킹 지오메트릭 워드마크. 네 원칙(Alpine Inspiration · Focus & Purpose · Technical Edge · Versatility).

  • brand.ts: THEME 팔레트를 알파인 모노크롬으로 재배정(키 호환 유지) · SVG 워드마크 = 설봉 + THESEUS + OLYMPUS RESEARCH · CLI ASCII 로고 = 알파인 봉우리 · PRINCIPLES/principles() 추가.
  • report.html: 라이트 → 다크 모노크롬(이전에 제안했던 다크 모드 동시 충족). 표·차트·탭·카드 전부 THEME 토큰화. 조합 색은 절제된(desaturated) 알파인 categorical 팔레트로 다크 위 가독.
  • flow.ts: 흐름 그래프/graph.html 도 다크. 하네스 색은 알파인 톤, main 루프 = 실버.
  • 배너: scripts/design-olympus.mjs → assets/theseus-banner.svg(설봉 + 별필드 + OLYMPUS RESEARCH + THESEUS + 태그라인 + 원칙 스트립). README <img> 경로 그대로라 자동 반영.
  • theseus 의 의미("테세우스의 배") 문구는 유지 — 의미는 배, 비주얼은 Olympus 알파인. 69 테스트 통과, report 는 여전히 self-contained(script/src 0).

2026-06-30 (3) — 인터랙티브 세션(통일된 슬래시 인터페이스)

AS-IS: 매번 긴 플래그를 외워 한 줄로 쳐야 했다. theseus 만 치면 "모델 미지정" 에러.

TO-BE: theseus 를 인자 없이 치면 세션(REPL) 이 열린다 — claude/codex 처럼.

  • 목표 우선: 자유 입력은 목표(goal)에 누적, /goal 로 명시 설정.
  • 기능마다 슬래시 하나로 통일: /models /agents /harness /bench(인자 없으면 목록·있으면 선택), /runs /tasks /seed /runner /judge /score /lang, 실행 /run, 시각화 /view, 점검 /config /clear /help /exit. 프롬프트에 현재 [m×a×h] 표시.
  • /run → 결정지표 표(정확도·일관성·$/solved·시간) + 관점별 승자 + report 경로. /view → 갤러리 서버.
  • 구현: 순수 reduce()(동기 명령) + readline 라인-큐 루프(TTY·파이프 모두 안정). theseus session(별칭 chat/repl) 으로 명시 실행도. 비대화형(CI/파이프 무인자)은 기존 도움말로 폴백.
  • 테스트 10개 추가(reduce 검증), 총 69 통과.

2026-06-30 (2) — 사용자 관점 지표(일관성·해결당 비용)

AS-IS: 모든 지표를 동급으로 나열 — 서브에이전트·툴콜·토큰 같은 진단 지표가 헤드라인을 차지하고, 정작 사용자가 고를 때 보는 "매번 되는가(일관성)"와 "해결 하나당 실제 얼마(=비용÷성공률)"는 없었다.

TO-BE: 지표를 결정(headline) vs 진단(drill-down) 으로 분리.

  • 신규 ① 일관성(k/n) — 다수결 정확도가 가리는 플레이키니스. 런 단위 통과율 %. (예: 정확도 100% 인데 일관성 89% → 사실은 9번 중 1번 실패하는 조합.) 기존 per-run 데이터에서 파생(신규 수집 0).
  • 신규 ② 해결당 기대비용 $/solved = 실행당 비용 ÷ 실행당 통과율 — 재시도까지 감안한 정직한 단가.
  • 관점에 tier 부여: 결정(정확도·일관성·$/solved·시간·품질)만 승자 스트립/평행좌표/순위막대에 노출. 진단(원가·토큰·툴콜·서브에이전트)은 Detail 표로 강등. (정렬 불변키 subagentCount→… 는 보존.)
  • Detail: 정확도 표에 일관성 열, 효율 표에 $/solved 열 추가.

2026-06-30 — report.html 전면 재설계(결정 대시보드)

AS-IS: 리포트가 사실상 "표 8개 + 작은 산점도 1개"의 스크롤 더미였다 — 한눈에 답이 안 보이고, 조합을 나란히 비교하기 어렵고, 5개 축(정확도·비용·시간·토큰·서브에이전트)이 2D 점 하나로 뭉개졌다.

TO-BE: report.html 을 단일 화면 결정 대시보드로 재설계(여전히 외부 JS/CDN/script 0 — 인터랙션은 전부 CSS: 라디오 :checked 탭 · :hover ·

).

  • 3개 탭 — Decide(한눈에 보는 답) · Detail(표 드릴다운) · Flow(흐름 그래프).
  • Decide 신규 4종: ① 관점별 승자 스트립(카드), ② 강화된 파레토 평면(격자·눈금·지배점 회색·경계 로프선·hover 확대), ③ 평행좌표(조합당 한 선, 전 축 트레이드오프, hover 로 한 조합만 강조 — 빠져 있던 다차원 비교 뷰), ④ 축별 순위막대(스몰 멀티플).
  • 디자인 시스템 실제 적용 — THEME 토큰, 조합별 고정 색 정체성을 모든 차트에서 공유, 위계/여백 정리.
  • 테스트가 요구하는 제목/클래스 모두 유지(59 테스트 그대로 통과).

2026-06-29 — 배너·다이어그램·OpenRouter·view

  • 배너: 레퍼런스(ASCII-pixel 영웅 / HERMES 3B 듀오톤 카드)에 맞춰 assets/theseus-banner.svg 를 ASCII-하프톤 영웅 흉상(번개·디졸브·"OLYMPUS RESEARCH PRESENTS — theseus")으로 교체. 생성기: scripts/design-hero.mjs(+ design-banners.mjs 탐색용, 출력은 gitignore).
  • README 다이어그램: 파이프라인 루프(선택 → subset → 잡 실행 → 결과·메트릭 → 시각화 → 선택으로 환류).
  • OpenRouter('open' family): qwen3-coder/(:free)·glm4.6·kimi-k2·deepseek-v3.2 추가 — 멀티모델 에이전트가 openrouter/<vendor>/<model> 로 사용. :free 는 비용 $0.
  • theseus view: 기록된 모든 트레이스를 localhost 갤러리로 시각화(파이프라인 이력 전체).
  • README 4개 언어 + 데모 명령 전체 표기(축약 … 제거).

2026-06-24 (2) — TUI·시각화·브랜딩·하네스 확장 (PRD v2)

AS-IS: 비교는 되지만 결과를 보는 길이 좁았다 — HTML 파일 경로만 출력, TUI 는 정적 표, 하네스는 5종, 브랜드/철학 없음, "각 조합이 서브에이전트를 실제로 부르는지" 확인할 방법 없음.

TO-BE:

  • 보는 방법 4가지 (--view): 파일(inline) · 브라우저 팝업(open) · 로컬 서버(serve, 모든 run 목록을 localhost 에서) · 터미널 그림(term, 막대 차트 + 서브에이전트 트리, 브라우저 불필요).
  • 인터랙티브 TUI: 방향키로 run → 조합 → 상세(흐름 트리) 탐색. ink 없으면 표로 자동 폴백.
  • 각 조합 점검 (theseus verify): 조합마다 위임 과제를 한 번 돌려 서브에이전트 호출이 실제로 잡히는지 표로 보여준다(트리형은 fan-out 필요, 단일 루프는 flat 정상).
  • 하네스 3종 추가: oh-my-openagent(omo), ponytail(코드 최소화), mattpocock(스킬팩). 각자 맞는 에이전트에만 적용되고, 멀티모델 에이전트는 룰을 작업 폴더에 per-run 으로 깔아 전역 오염이 없다.
  • 브랜드 "테세우스의 배": CLI 아스키 로고, 리포트 SVG 워드마크 + 항해 테마 + 철학 푸터, 산점도에 파레토 경계 표시. 철학: 부품(모델·에이전트·하네스)을 갈아끼워도 배는 당신 것 — 어떤 교체가 항해를 실제로 바꾸는지 보여준다(리더보드 아님).
  • 설치 정리: install --check(상태표) · install all · 설치 후 자동 검증.

검증: 타입체크·린트·테스트·빌드 통과(테스트 60+개). report.html 은 여전히 외부 JS/CDN 0(self-contained). 신규 하네스/뷰/verify/브랜딩 모두 오프라인 mock 으로 end-to-end 확인.


2026-06-24 (1) — theseus 초기 구현 (TypeScript)

2026-06-24 — theseus 초기 구현 (TypeScript)

AS-IS: 빈 저장소(LICENSE 만). 비교 도구가 없어, 어떤 모델·도구 조합이 내 과제에 맞는지 직접 돌려보고 나란히 비교할 방법이 없었다.

TO-BE: PRD 사양대로 비교 CLI theseus 를 처음부터 만들었다. 이제 한 줄 명령으로 여러 조합을 같은 과제에 돌려, 정확도·비용·시간·도구 호출·서브에이전트 흐름을 표와 그림으로 한눈에 비교한다. 인터넷 없이도(오프라인 가짜 실행기) 전체 흐름을 확인할 수 있다.

무엇이 되는가:

  • theseus --model … --agent … --harness … 한 줄로 N개 조합 비교.
  • 결과는 자동으로 표(터미널) + report.html(가성비 산점도·통과/실패표·실패 원인) + graph.html(서브에이전트 호출 그림, 클릭하면 세부 펼침) 으로 나온다.
  • 순위를 한 줄로 정해주지 않는다. 대신 "정확도 최고는 X, 가장 싼 건 Y" 처럼 관점별 추천을 보여줘 사용자가 직접 trade-off 를 판단한다.
  • 모르는 값(예: 단가 미상)은 0 으로 채우지 않고 "미수집" 으로 정직하게 표시한다.
  • 같은 조건이면 항상 같은 과제 묶음을 고른다(재현 가능).

검증: 타입체크·린트·테스트(32개, BR/CO/UX 20지표 매핑)·빌드 모두 통과. 가짜 실행기로 end-to-end 실제 실행까지 확인. 실모델(cc/codex) 호출 경로는 어댑터로 구현돼 있으나, 비용·인증 영향을 피하기 위해 이 환경에서 실과금 호출은 돌리지 않았다(코드 경로는 구현/타입 검증 완료).

한계(정직히): headless 모드에서 강한 모델은 경계가 뚜렷한 과제를 직접 풀어 자율 fan-out 이 잘 안 일어난다. 그래서 subagent 벤치는 지시문에 명시적 위임 한 문장을 동일하게 붙여 측정 가능한 멀티레벨 트리를 유도한다(모든 조합에 byte-identical, 제품명 미포함 — 공정성 유지).