Skip to content

Stop paying the multimodal tax. Your AI agent keeps every image it has seen but only sends the ones it needs: lighter chats, no endless reconnecting, no starting over. Works with Codex, Claude Code, Cline, Gemini CLI, OpenCode, WorkBuddy and more. Install once, forget it.

30.9 KB
Raw Blame

v0.10 方案:压缩和续接之后,照样拿回之前的图

状态:用户 2026-10-31 确认方案,让 Claude 按自己的安排做完(第 8 节)。代码和单元测试已完成,spec 和 design 已改;关卡 1–4 用本机回放验证通过,关卡 6 的大会话只有估算(系数按桌面实测校准过),小会话的实测见公开评测;关卡 5、7 的 Codex 自测 2026-11-01 跑完,10 组里 3 组有检查没过,原因都查清了、不是这个版本改出来的,用户定记为已知问题(第 8 节第 9 条);Claude 桌面实测(压缩、重启、改消息分叉)和长会话回放(关卡 8)已通过,回放发现的三处(第 2 节第 9 到 11 条)已修。公开评测(第 6 节)2026-11-01 跑完,评测里发现并修了三处(第 2 节第 12 到 14 条),报告在 eval/long-task/。2026-11-01 发布 0.10.0。起因是用 5 个真实会话评估图片检索(会话内容只在本机,不进仓库)。规格以 spec.md 为准,实现见 design.md。

1. 背景与目标

评估的结论:模型按编号选图很准,约 55 次取图只错 1 次,还是错在版本判断上。问题出在底层,压缩和续接让图和特征行丢了或挂错了:

  • Claude,压缩当场。 Claude Code 2.1.304 起,压缩时会原样保留最后几条消息(压缩记录的 compactMetadata.preservedSegment,也可能是 preservedMessages)。它读记录时,把保留的消息改接到摘要后面,再删掉压缩点之前的记录;文件里存的却是改接之前的样子。插件照文件里的父子关系连对话链:
    • 新消息接在保留的消息上时,对话链绕过了压缩点,插件认不出压缩,压缩前的图一张都没放回(一次真实压缩:94 张);
    • 新消息接在摘要上时,插件能认出压缩,但把保留的消息算在了压缩点之前。
  • Claude,续接。 在 Claude 桌面版里改一条之前的消息再发送(回退)时,桌面版从那里分叉出一个新会话、新开一个记录文件(日志里是 resumeSessionAt 加 forkSession),Claude Code 只把压缩点之后的记录写进去。只是重启进程(归档再恢复、内存紧张时被暂停)用的还是原来的会话和记录文件(2026-10-31 查桌面版日志:21 次分叉都换了会话 id,只重启的没换;实测也是这样。原来写成“每次重启进程都续接成新会话”,不对)。插件只读当前文件,于是:
    • 压缩前的图放不回;
    • 编号从头重排,对话里按旧编号写的特征行和评价挂到了别的图上(一个真实进程里,带特征行的占位 30 个全部挂错);
    • 旧的取回副本对不上新编号,被当成新图另编了号。
  • Claude 的勾选不沿用。 勾选、每轮都发和自动选图开关按会话 id 存,续接和分叉之后都失效。
  • Codex。 编号是稳定的。但 Codex 压缩时只留下系统和开发者消息、全部用户消息和一段插件读不了的加密摘要,生成的图、查看的图、工具返回的图连占位一起从请求里消失(一个真实任务压缩时 43 张图只剩用户上传的 10 张)。模型凭编号仍能取到它们,只是看不到。

目标:

  1. 两个平台压缩之后(Claude 还包括续接之后),之前的每张图都带着编号、特征行和评价留在请求里,模型能照样拿对;勾了每轮都发的(手动模式下是勾着的)照发原图。
  2. 编号在压缩、续接、分叉前后都不变。老会话里按重排编号写下的记录行换算回来,落到对的图上(用户 2026-10-31 要求老会话也精确找回)。
  3. 代价可以接受:引擎内存和每条请求多出的 token 都有上限,见第 3 节。

不做(用户 2026-10-31 定):

  • 生成时交给生图工具哪些参考图:不归插件管。
  • 改检索算法:先修底层,修完以后小规模回放,哪里错了再针对那一处改。
  • 截图(浏览器、电脑操作)的专门规则:另议。

2. 规则

Claude

  1. 对话链照 Claude Code 的规则连。 对最后一个带保留信息的压缩点:保留的消息接在摘要后面;原来接在摘要上的、接在被删记录上的消息,都接到最后一条保留消息后面。和 Claude Code 不同的是,压缩前的历史不删:压缩点往前接到第一条保留消息原来的前一条,压缩前的图照 v0.5 的做法放回摘要后面。没有保留信息的旧格式不变。
  2. 续接的记录文件往回接。 记录文件从压缩点开始、前面没有历史时,找到原来的记录文件,把压缩点之前的历史接上:
    • 先看摘要里 Claude Code 写的那句 “read the full transcript at: …”(取最后一处),只认 Claude 的 projects 目录里、含同一个压缩点的文件;
    • 不行再在同一个项目文件夹里按压缩点找;
    • 原来的文件也可能是续接来的,就一层层往回接;
    • 只读;找到的记下来,不反复找;
    • 找不到时照现在的做法,但对不上的记录行不认(见第 3 条),宁缺不错。
  3. 老记录行换算回来。 修复之前写下的特征行、评价,以及取回副本前面那行字,用的是写它们的那个进程当时的编号,也就是从那个进程所在记录文件的起点数起的编号。插件找出同一会话的全部记录文件(同一项目文件夹里,第一条对话记录是会话起点或某个压缩点的那些),按创建时间判断每条记录行是哪个进程写的,再经图片本身换算到恢复后的编号。这个版本第一次运行以后写下的不用换算:和 v0.6 的 auto-default.json 一样,记下这个版本第一次运行的时间。
  4. 勾选沿用。 续接和分叉出来的会话还没有自己的勾选时,沿用上一个会话的勾选、每轮都发和自动选图开关;分叉照 Codex 的规则,只沿用分叉那一刻之前的。之后各管各的。

Codex

  1. 压缩后放回被丢掉的图。 请求里有 Codex 的压缩项时,把压缩之前、请求里已经没有的图按编号放在压缩项后面:没勾每轮都发的写成一行(见第 6 条),勾了的发原图,带“已提供”标签;后面跟一条说明。手动模式同理:勾着的发原图,没勾的放一行。没有被丢掉的图时,请求不变。

两边

  1. 紧凑写法(只用于压缩后放回的那一段):一张图一行,写编号、名称、来源、轮次、特征行和最近 3 条评价,例如“IMG-041|exec-….png|查看|第 28 轮|海边栈道|半身中景,白衬衫,回头|评价:第 29 轮“光太硬了””,没有名字的写“-”,清单第一行说明各列;怎么取图在说明里讲一次,说明里不再把图列第二遍。
    • 原因:原来每个占位都重复一句“需要原图时调用 cam_view_image…”,说明里又把全部图列一遍。一个有 127 张压缩前图片的真实会话,照原写法每条请求要多约 1.7–2.0 万 token(压缩后第一条请求的约 16%–18%);紧凑写法加说明约 0.7–0.9 万(按桌面实测校准的系数估,见关卡 6)。
    • 别处的占位(图在原位被省略的)不变。
  2. 补写和更正特征行(用户 2026-10-31 采纳了方向,做法见第 8 节):
    • 补写:被打断的那一轮,新图没写上特征行。被打断那一轮里还没有特征行的图,下一轮再发一次,标签写“已提供,还没有特征行”。
    • 更正:模型发现特征行写错了(比如用户指出),写一行 [//]: # (cam IMG-005 更正:…),替换原来的特征行。
    • 这一条改的是特征行说明,按 AGENTS.md 跑自测。
  3. 截断按宽度算(做的时候回放发现,Claude 定):特征行和评价超长时,原来按界面语言数字符截断(中文 30、英文 100),中文界面里模型写的英文特征行被截到只剩地点。第 6 条那个会话的 180 条特征行里 91 条是英文,全被截成“cafe storefront morning |…”这样,51 条截完和别的行一模一样;压缩之后清单是模型看到这些特征的唯一地方,它就分不清这些图。改成按宽度算,和界面语言无关:中日韩文字一个算 1,其他字符算 0.3,特征 30,也就是 30 个汉字或 100 个字母(评价见第 10 条)。截完相同的从 51 条降到 6 条(127 张里能分开的特征行从 76 条升到 105 条),放回的一段多约 0.2–0.28 万 token(按校准后的系数)。原位的占位用的是同一个截断,也跟着变。

下面三条是长会话回放测试发现的(2026-10-31,用户定三个都修;测试做法和结果只在本机,见第 3 节第 8 条):

  1. 并行读图乱序时照样编号(插件 bug,v0.4 起就有):模型同时读几张图、结果回来的顺序乱了时,对话会从前面某个调用的结果接着走,后面的调用记录不在对话链上,插件认不出它们的图。这些图没有编号,每轮照发原图,压缩后丢失,也取不回。改成:同一次回复的几次调用带同一个消息 id,不在链上的也接回来,图按调用顺序编号。补上编号后,排在它后面的图编号后移,修复之前写下的记录行按当时的编号换算(第 3 条的做法,旧编号跳过这些图);编号规则的版本记在 stable-ids.json 里,规则变了,第一次运行的时间重新记。
  2. 评价和特征行一样长:评价原来截到 15 个汉字,长会话测试里一条 18 个字的评价在清单里只剩前半句,压缩后模型看不到后半句说的问题。评价是用户的原话,一个会话没几条,上限改成和特征行一样,30 个汉字或 100 个字母。
  3. 清单里标出同一张图:用户重发同一张图时,插件已经认得出是同一张,但清单列成两行、各写各的特征。改成后面那行写“同 IMG-108”,不再重复特征。
  4. 等记录文件写完再改写(公开评测试跑时发现):Claude Code 有时在把这一轮刚读的图写进记录文件之前就发出请求,插件认不出这几张图,原样发出、不带编号,模型这一轮没法给它们写特征行(试跑里一轮 3 张;用户本机日志 8904 次请求里有 119 次,下一次请求才认出)。改成:请求里模型最近一次回复之后有认不出的图时,引擎每 100 毫秒重读一次记录文件,最多 1.5 秒;认出了就照常改写。一张一直认不出的图只让一次请求多等这一下。
  5. 压缩后照常看新图(公开评测发现):说明里“不要用其他工具去读取图片文件”本意是被省略的图要用 cam_view_image 取。评测第一次跑 0.10 时(Haiku 5.5,推理强度 low),压缩后模型把它当成所有图,用户后面 5 轮让它看的图一张都没读。改成只说被省略的(Codex 的压缩说明里是清单里的)图,并写明用户新让它看的图照常去看;重跑后每轮都照常读图。这是发给模型的措辞,按 AGENTS.md 要跑 Codex 的 v01-placeholder、v01-needs、v03-auto 自测;改的也有压缩后放回的说明,还要跑 v10-compaction(结果见关卡 5、7)。
  6. Claude 的提示缓存接得上(公开评测发现,用户 2026-11-01 定先修再发 0.10):装插件的 Claude 会话按 API 价格折算约是不装的两倍($0.069 对 $0.036),多在写缓存上:每组 7 到 9 次请求只命中系统提示,整段对话重写。用评测留下的请求逐个对比查到两个原因:
    • 断点位置:Claude Code 只在最后两条消息上放断点,插件换掉上一轮的图后,这两个断点都在改动之后;Anthropic 往回找之前的缓存,评测里往回 6 个位置的也没找到。改成引擎自己放消息里的断点(claude-cache.ts,design.md 的“提示缓存”):在之前请求放过断点、又在这次第一处改动之前的最后一个位置放一个(读),在第一张以后会换掉的原图前面放一个(备),Claude Code 最末那个尽量留着。
    • 占位符和清单后来又变:用户隔几轮才评价一张图时,那张图的占位符(或压缩后的清单)里多出这条评价,从它起整段缓存重写。改成占位符只带这张图出现那一轮及以前记下的评价,清单用压缩那一刻的特征和评价;之后记下的在模型自己的回复里,下一次压缩再进清单(spec 的占位符和清单两条)。
    • 结果(Haiku 5.5,推理强度 low,每组一次):只改第一条的第一版 $0.047、从缓存读 86%;改成记最近 4 次请求后 $0.065、78%,那一组模型每轮都晚一轮才写特征行,图在下一轮中间才换掉,之前的断点都用不上,于是加了“备”。最后这一版第一次跑时,在 5 小时额度暂停之后上游连不上,36 步都是 502(评测脚本已改成连着两次出错就停);2026-11-01 晚换了一个账号再跑一次(用户为省额度定只跑这一次,第 8 节第 8 条):58 次请求全部正常返回,新的断点放法没被 API 拒;$0.047、从缓存读 87%,只命中系统提示的请求 1 次(不装插件 $0.036、91%、1 次)。没走缓存的输入比其他组多约 2.4 万 token,原因还没查。按评测留下的请求离线模拟(断点处的缓存才算读到,往回找 20 个位置),这一版从缓存读的比例比只用 Claude Code 的断点高十几个百分点,读不到几乎任何东西的请求从 14–17 次降到 3–5 次。

3. 要先验证的事(关卡)

每个关卡通过了,才做对应的部分;没通过,就回来和用户商量。

  1. 改接覆盖到的格式:preservedSegment 和 preservedMessages,新消息接在保留消息上、接在摘要上两种形状。用合成记录,再加真实记录回放(本机,结果只放 local/):压缩前的图都认出来,编号和原始文件一致。
    • 原型(2026-10-31,没改插件,只在内存里改接后交给现有的索引代码):一次真实压缩从认出 0 张变成 94 张。
    • 结果(最终代码,2026-10-31 回放):通过。那次压缩认出 94 张;两个真实会话(6 个、3 个记录文件)里,同一张图在每个文件里的编号都一样(0 处不同)。
  2. 往回接:摘要里的路径、按压缩点找、往回两层、分叉、原文件不在。真实回放:编号和原始文件一致,特征行一条不挂错。
    • 原型:续接一层和两层都接上了,压缩前的图编号、特征行和原始文件里一样。
    • 结果:通过。最长的会话 210 张图,压缩前的 127 张都接回来了,编号和原始文件一致;抽查原来挂错的特征行,都回到了对的图;17 个取回副本都认回原图(原型里有 9 张被当成新图)。
  3. 换算:真实回放里,换算过的特征行中“写下的轮次等于图出现的轮次”的比例,不低于从没被打乱过的那段,并且抽查无误。
    • 原型:换算的 80 条里 73 条一致;从没被打乱过的那段是 103 条里 71 条,不一致的都是晚了 1–4 轮才写(后台任务完成算新的一轮)。约 3 条(2%)明显不对,要查清。
    • 结果:通过。换算过的 77 条里 73 条写在图出现的那一轮,4 条晚 1–4 轮;从没被打乱过的 103 条里 71 条、晚的 32 条;没有挂错的。原型里那 3 条“明显不对”的,是同一个文件前后看了两次、模型两次写了一样的特征行,统计时按文字找到了前一次,不是换算错。
  4. 内存和时间:最长的真实会话(9 个记录文件、219 张图),引擎的堆内存比现在多不超过 80 MB;第一次建索引不超过 2 秒;之后每条请求的改写,耗时不超过现在的两倍。
    • 原型照原样读:堆内存从 83 MB 到 268 MB,多出的几乎都是旧文件里的图片数据,所以要改成用到时再从文件读(发原图、取图、面板缩略图时)。第一次建索引 1.7 秒,之后每条请求 9–12 毫秒(现在 6 毫秒)。
    • 结果:通过。旧文件只留压缩点之前带 uuid 的记录,图片数据留在磁盘上、用到时再读:堆内存 83 → 145 MB(多 62 MB),第一次建索引 1.8 秒;每条请求重建约 10 毫秒,同一请求里再读走缓存,约 0.5 毫秒(现在是每次都建,3 次共约 6 毫秒)。
  5. Codex 放回的位置:压缩项后面能不能插;插成开发者消息还是用户消息,模型才把它当真;连续两次请求里这一段逐字节相同,缓存接得上。用 app-server 的 thread/compact/start 做探针验证。
    • 结果:通过。按真实压缩记录重建的请求(本机回放)和单元测试里,放回的一段在压缩项后面(说明是开发者消息,原图在后面一条用户消息里),两次请求逐字节相同。探针(spike/src/v10-compaction-selftest.ts,2026-11-01,gpt-6-sol,推理强度 low):中英文都压缩成功,两张查看的图都放回在压缩项后面,带着特征行和评价;模型照清单答对了用户说好的是哪一张,没调用工具。英文那次按名字的检查没过,原因见关卡 7。
  6. token:实测压缩后的请求,按 API 返回的用量算,不按估算。130 张图的 Claude 会话、33 张图的 Codex 任务,多出的不超过请求的约 7%,Claude 压缩后的头几条请求可到约 9%(原定 6% 和 3%;用户看了估算后放宽,准确度和信息别丢太多更要紧,见第 8 节)。
    • 结果:大的会话只有估算,系数用 Claude 桌面实测校准过:拿模型回复的长度对照 API 报的 output token,汉字一个约 1.25–1.35 token,其他字符约 0.36–0.5(原来按 1.0–1.5、0.25–0.3 估,非汉字偏低;整条请求按原系数估 5.4–6.5 万,API 报 7.5 万)。Claude 那个 127 张的会话,放回的一段约 7.3–9.1 千 token(清单 6.0–7.7 千、说明 1.3–1.4 千),原写法约 1.7–2.0 万;这个会话续接后第一条请求是 9.1 万 token,这时约占 7%–9%,对话变长后下降,请求到 15 万时约 5%–6%,到中位数 31 万时约 2%–3%。比原定 6% 多出的部分主要来自第 2 节第 8 条(英文特征行不再截短)。Codex 那个 33 张的任务约 1.2–1.7 千(说明 0.24–0.34 千、清单 0.98–1.33 千),压缩后第一条真实请求是 44,893 token,约占 2.7%–3.7%,其中编号式的文件名约 0.2–0.3 千(第 8 节第 5 条);Codex 的分词不同,没有校准,按偏高的系数算也不到 4.5%。桌面实测的小会话(4 张图):压缩后第一条请求 75,099 token,放回的一段约 1.2–1.8 千。公开评测(第 6 节,Claude Code,按 API 实测的请求):放回的清单 33 张约 1.6 千、51 张约 2.4 千 token,占压缩后第一条请求的 10.3% 和 13.2%,因为对话短、请求只有 1.5–1.8 万 token。大会话没有实测,按估算和第 8 节第 4 到 6 条的决定算通过(第 8 节第 9 条)。
  7. 模型照样会取、取对:改成紧凑写法、放回之后,Codex 自测(gpt-6-sol,推理强度 low),Claude 桌面测试会话(Haiku 5.5),中英文都测。
    • 结果:Codex 部分 2026-11-01 跑完(gpt-6-sol,推理强度 low,5 个自测各中英文;2026-10-31 那批因用量上限全部失败)。v03-auto 中英文 20/20,v08-features 中英文 18/18,v01-needs 中英文都按编号要对了图,v01-placeholder 中文 8/8;测试任务都已归档。3 组有检查没过,原因都查清了,不是这个版本改出来的,用户定记为已知问题(第 8 节第 9 条):
      • v10-compaction 中文:问角落数字时,模型照自己的特征行答“是问号,不是数字”,没去取原图。它第一次看图时就把淡淡的 7 认成了问号。
      • v10-compaction 英文:模型用代码模式看图(tools.view_image({path: p + "a.png"})),路径是拼出来的,插件只认得写死的路径,两张图没有名字,按名字的检查都没过;模型其实按清单挑对了图、取了原图、答对了数字。这个限制在这个版本之前就有。
      • v01-placeholder 英文:重新勾上的图已经发了原图,模型还说看不到。这个测试关着自动选图;这个版本改的措辞只在自动选图的说明和压缩后的说明里,关着时的说明没动。和 2026-09-28 GPT-6 Luna 的情况一样。
    • Claude 部分通过(2026-10-31,桌面测试会话,Haiku 5.5,推理强度 low,用户手打 /compact、手动回退)。第一次桌面实测发现,v0.9.0 起 Claude Code 2.1.309 不加载插件的 mod(它用变量传环境变量的名字),Claude 会话的请求根本不经过插件;修好后重测:
      • 压缩当场:摘要后面放回了 4 张图的清单,特征行都在;模型按编号取回 IMG-002,答对细节。
      • 归档再恢复(只重启进程,还是原来的记录文件):请求照样经过插件,清单和编号不变,这一段走缓存。
      • 改一条之前的消息再发送:分叉出新记录文件,里面只有压缩之后的记录;插件接回原文件,编号仍是 IMG-001 到 IMG-004,清单逐字不变;新进程里按编号取回 IMG-003,答对。
  8. 长会话回放(用户 2026-10-31 提议):把用户一个真实的长会话照原话和原图逐轮重放给新的测试会话(Sonnet 5.5,推理强度 medium),在真实会话压缩的位置手打 /compact,每次压缩后照用户的问法问几张旧图。会话内容只在本机。
    • 结果:回放到第 50 轮(152 张图,用户叫停),压缩两次(94 张、127 张时),压缩后 12 道题编号全对,没有一次取错图;清单够用时不取图,要比较时一次取几张候选。压缩后第一条请求里放回的一段约占 7.8%–8.8% 和 9.7%–10.9%(测试的文件名比真实的长)。发现第 2 节第 9 到 11 条的问题。
    • 修复后的验证不重跑对话:插件读记录是确定的,用修好的代码重读这次测试留下的记录文件。152 张图都有编号、和读图顺序一致;模型修复前按旧编号写的特征行都换算到了对的图上;清单里那条评价是完整的,重发的图写着“同 IMG-108”。再用修复前和修复后的代码读本机全部 266 个 Claude 记录文件:28 个漏过图,合计 69 张(同一组会话的文件共享历史,有重复计;回放用的那一组是 4 张,另一组 5 张,其中有角色设定图和首帧)。抽 6 个漏过图的会话核对,修复前认得的图,修复后挂的特征行和评价完全一样(0 处不同)。

4. 做法

  • 认记录(claude-index.ts):
    • activeChain 照第 2 节第 1 条改接;
    • 往回接:找原记录文件、逐层接、记住找到的文件;
    • 旧文件里的图片数据不常驻内存:记下位置,用到时再读;
    • 换算:找出同一会话的记录文件、判断每条记录行是哪个进程写的,换算记录行和取回副本前面那行字。
  • 勾选(selection.ts):Claude 会话没有自己的勾选时,找到上一个会话沿用。续接的,上一个会话是同一会话里的上一个记录文件;分叉的,Claude Code 在复制过来的记录里留着原会话的 id。
  • Claude 的请求(proxy.ts、claude-rewrite.ts):压缩后放回的那一段改成紧凑写法,说明里不再列全部图。
  • Codex 的请求(proxy.ts、rewrite.ts):认出请求里的压缩项,找出压缩之前、请求里已经没有的图,放回压缩项后面。
  • 措辞(rewrite.ts):新增中英文的紧凑行和两条说明;按第 2 节第 7 条改特征行说明。
  • 面板不用改:它读同一个索引,续接后的会话会重新列出压缩前的图,编号和原来一样。做完截图看一下。
  • 更新时的过渡:更新插件后,开着的 Claude 会话要重开一次,因为旧进程里的取图工具还按旧编号找图。写进 CHANGELOG。
  • 文档:发布时一起改 spec(核心概念、选择规则、占位符、Claude 一节的“压缩之后”、非目标)、design(第 3、4、12 节)、CHANGELOG,以及 AGENTS.md 的入口。

5. 测试

  • 单元测试:Claude Code 新格式的合成记录(关卡 1、2 的各种情况)、换算、勾选沿用、Codex 压缩后的请求(放回、位置、逐字节相同)、紧凑写法的中英文。原有测试不退化。
  • 本机回放:用户的真实会话,只读,结果只放 local/。
  • 自测:按 AGENTS.md,改了占位和说明,跑 v01-placeholder、v01-needs、v03-auto;改了特征行说明,跑 v08-features。新加 spike/src/v10-compaction-selftest.ts(Codex):查看几张合成图,压缩一次,再问压缩前的某一张,看模型取的是不是它。gpt-6-sol,推理强度 low(Claude 跑自测时只用 sol)。
  • 桌面实测:
    • Claude:新开一个测试会话,放几张图,/compact,再改一条之前的消息重新发送,让它分叉到新记录文件,看请求里压缩前的图、编号和特征行;然后用用户的一个真实会话确认一次(插件只改发出去的请求,不碰记录文件)。
    • Codex:测试任务里压缩一次。

6. 公开评测(用户 2026-10-31 提议)

修完以后,在 eval/ 加一个长任务的评测。现有的关键帧评测只有 9 张图、Codex 一个平台,它的“局限”一节里写着长任务没测,这次补上。用合成的会话和图片,谁都能复现,不用用户的真实会话。这一轮只测 Claude Code(用户 2026-11-01 定);Codex 由用户自己上手体验,评测里只写测了什么。

  • 怎么跑:命令行版 Claude Code,脚本驱动,一个会话一个进程,像桌面版那样一条条发消息。用评测自己的配置文件夹(CLAUDE_CONFIG_DIR),用户的技能、设置、记录都不混进来;插件用 --plugin-dir 加载,各组各用自己的引擎端口和数据文件夹。自动压缩关掉,脚本在两个固定位置发 /compact(和用户手打一样),三组都在同一处压缩;每次压缩后接着问题。
  • 三组:不装插件、0.9.1、0.10(报告里另列缓存修复之前的 0.10,见第 2 节第 14 条)。0.9.1 的 mod 在 Claude Code 2.1.309 起不加载,对照组用只换上修好的 register.js 的 0.9.1(两个版本的 mod 只差这一处),比出来的才是压缩修复本身的效果。
  • 模型:Haiku 5.5,推理强度 low,每组跑一次。原来打算再加 Sonnet,以及 300 张、600 张两档看全量清单从多大规模开始不准;试跑算下来要用掉测试账号一周额度的大半,用户定先做简单的一版(2026-11-01),规模的问题以后需要时再测。
  • 场景:在关键帧评测的基础上加长。51 张合成图、16 轮,有用户直接发的(简笔画、重发的同一张),也有工具查看的(代替生成的,省掉生图费用);有同一镜头的几个版本、几乎一样的抽帧、三视图、一批设置页截图、一次并行读的一批;中间评价几张,有说好的、说差的、改主意的、只说局部的。
  • 题目照真实会话里用户的说法设计:一批里的哪一张、按版本、按内容、按评价(含改了主意的)、按文件名;另有只看原图才答得出的细节题(角落里的数字)、不需要看图的题。压缩后在原会话里接着问,最后再分叉一次问几题。
  • 记录:答对几题、取了哪几张、取错几次、每条请求的 token、放回的清单占多少。脚本看着账号的用量,一周额度到 90% 就停。
  • 真实会话:关卡 8 的长会话回放只写数字(图数、压缩次数、题数和对错、发现并修好的问题),注明素材不公开、不能复现;题目不写,题目本身带着用户项目的内容。
  • 脚本放在 spike/src/eval-*.ts,报告放在 eval/,英文和中文各一份,写明测试日期、插件版本、Claude Code 版本、模型和推理强度、系统;README 底部的评测一节加一句链接。

7. 验收

  1. Claude:压缩当场和续接之后(包括多次续接、分叉),压缩前的图都放回在摘要后面,编号和续接前一样;老会话的特征行和评价落在对的图上。
  2. Claude:续接和分叉后沿用勾选。
  3. Codex:压缩之后,生成的图、查看的图带着编号、特征行和评价回到请求里,模型能取对。
  4. 关卡 4、6 的代价上限都达到。
  5. 自测和桌面实测通过,原有测试不退化。
  6. 公开评测发布到 eval/。

8. 用户的决定

用户 2026-10-31 让 Claude 按自己的建议定了前三条,第 4、5 条是用户看了估算后定的:

  1. 第 2 节第 7 条的补写:被打断那一轮的新图,下一轮再发一次,让模型补写特征行(多花一轮这几张图的 token)。
  2. 第 2 节第 6 条:别处原位的占位不改短,这次只改压缩后放回的那一段。
  3. 截图的规则:另议。
  4. 关卡 6 的 Claude 部分:英文特征行不再截短以后,估算是 6%–8%,超过原定的 6%。用户接受:多出的约 0.15 万 token 换来 29 张图能互相分开。
  5. 关卡 6 的 Codex 部分:估算 2.7%–3.7%,超过原定的约 3%。多出的主要是 15 行里 exec-<uuid>.png 这样由一串编号组成的文件名(9 个不同的名字),约 0.17–0.34 千 token;压缩后保留的对话里这些名字一个都没再出现。用户选了名字照留;另一个办法是清单里把这类名字写成“-”(约 2.3%–3.3%),没有采用。

随后用户补充(同一天):两边放回的一段占请求约 7% 以内都能接受,更要紧的是准确度和信息别丢太多。关卡 6 的上限照此定为约 7%。

  1. 按桌面实测校准系数以后,Claude 那个 127 张的会话在压缩后的头几条请求里约占 7%–9%,超过 7%;对话变长后降到 7% 以下。要一直压在 7% 以下,就得截短特征行或去掉文件名。用户选择保持现状。

2026-11-01:

  1. 公开评测按简单的一版跑(Haiku,一个场景,第 6 节)。跑完后发现装插件的 Claude 会话提示缓存命中有问题,用户定:报告先存在本机的 local/,不进 git;等缓存的问题改好、重跑以后再发布。评测脚本留在仓库里,改完用它重跑。
  2. 同一天晚上,为省额度:评测只给缓存修复的最终版补跑一次(Haiku 5.5,推理强度 low);不装插件、0.9.1、修复前的 0.10 用同一天跑过的结果(同一场景、同一模型、同一版 Claude Code 2.1.314);不加 Sonnet,也不重复跑。报告写明每组只跑了一次。
  3. 同一天:关卡 7 里 Codex 自测没过的 3 组不重跑,记为已知问题,照样发布;关卡 6 的大会话按估算、小会话按评测实测,算通过。
  4. 同一天:第 5 节的 Codex 桌面实测不做,自测也不补跑 gpt-6-luna、gpt-6-astra;Codex 这次只有 sol 的自测。