Skip to content

A local plugin for image-heavy chats in Codex, Claude Code and other agents: earlier images stop going out with every message, and the model fetches the one it needs by its ID, also after compaction.

15.2 KB
Raw Blame

评测:Claude Code 里一段长任务,压缩两次再分叉

English · 简体中文

2026-11-01 测试。插件 0.10.0(发布前的分支,提交 b16d202),对照 0.9.1、缓存修复之前的 0.10(提交 b5e986c)和不装插件。Claude Code 命令行 2.1.314,模型 claude-haiku-5-5,推理强度 low,系统 Windows 11。每组正式跑一次;正式之前用 3 轮的短流程试跑过三次,场景里的几处问题就是那时改的(见试跑学到的)。

结论

  • 压缩两次、分叉一次之后,三组插件都答对 19/20,不装插件 20/20。 各组错的不是同一题:
    • 0.9.1 错在分叉出的新会话里:那里看不到压缩前的图,它去取的三张图都“查不到”。0.10 修的就是这个,它在分叉后的请求里放回了全部 51 张图的清单,两次分叉后的两题都答对了。
    • 缓存修复前的 0.10 错在 Q7:给了两个数(90 和 61),又在 Q9 里自己撤回了这个回答。给出不止一个答案的按“含糊”算,不算对。
    • 0.10 错在 M1:问第 2 镜偏暗的那一版,它答了雨夜街道偏暗的那一版 s04_v2.png。压缩后放回的清单里,s02_v1.png 那一行写着“暗色调”,信息在,是模型挑错了行。
  • 不装插件也答对 20/20。 Claude Code 压缩时会去掉图,但摘要里留着文件名;模型需要看时,用 Read 把磁盘上的文件再读一遍(问题阶段读了 13 次)。这个场景里的图,除了两张简笔画,都是磁盘上的文件,所以测不出插件在准确度上的差别。
  • 花费:修好缓存后,0.10 约是不装插件的 1.3 倍,修之前约 1.9 倍。 按 Claude Code 报的 API 价格折算,不装插件 $0.036,0.10 $0.047;修之前的 0.10 是 $0.069,0.9.1 是 $0.065。
    • 原来贵在哪: 插件每轮把上一轮的图换成占位,改动了历史里的内容。Claude Code 只在最后两条消息上放缓存断点,改动之后这两个断点都读不到之前存的缓存,于是每组有 7 到 9 次请求只命中开头系统提示那一段,后面整段对话要重新写一遍缓存。
    • 怎么修的: 引擎自己放断点:一个放在之前存过缓存、又在改动之前的位置,用来读;一个放在下一张会被换掉的原图前面,给下一次请求读。占位里的评价和压缩后的清单也不再跟着后来的回复变。修好后只命中系统提示的请求从 7 到 9 次降到 1 次,和不装插件一样;从缓存读的比例从 77% 升到 87%(不装插件 91%)。
    • 剩下的差距: 输出多了约 4,700 token,是模型给每张图写的特征行;写缓存多约 2.5 万 token;没走缓存的输入多约 2.4 万 token,原因还没细查。
    • 插件把最大一次请求从 3.3 万 token 降到了 2.6 万。这次规模小,Claude Code 的 Read 又已经把图压成了小 JPEG,省下的 token 还抵不过多出来的这些。
  • 评测中发现并修好两个问题,都在 0.10 里。
    • 新图有时不带编号:Claude Code 有时在把这一轮刚读的图写进记录文件之前就发出请求,插件认不出这几张图,它们就不带编号发出去,模型没法给它们写特征行。0.9.1 第 2 轮有三张图的编号错了一位,就是这么来的。开发机日志里,8904 次请求中有 119 次属于这种情况。现在引擎遇到这种情况会重读记录文件,最多等 1.5 秒。
    • 压缩后不看新图:说明里那句“不要用其他工具去读取图片文件”,本意是被省略的旧图要用 cam_view_image 取。第一次跑 0.10 时,压缩后模型把它理解成连新图也不能看,后面 5 轮用户让它看的图一张都没读,答对 18/20(Q9、K1 错)。现在这句只说被省略的图,并写明新图照常去看;之后两次 0.10 每轮都照常读图。
  • 压缩后放回的清单很短:33 张约 1.6K token,51 张约 2.4K token,平均每张不到 50 token;这次对话短,它占压缩后第一条请求的 10% 到 13%。

测试场景

一部短片的关键帧和分镜,中文对话,模仿用户平时的用法。51 张合成图,由脚本绘制:

  • 关键帧:10 个镜头,每镜 2 到 3 版,一共 26 张。用户只说每一镜在哪、有谁、出了几版和文件名,从不说各版有什么不同(偏暗、站位、戴帽子、打伞):这些只在模型自己看到的东西里。
  • 抽帧:两段视频,一段 8 帧、一段 6 帧,相邻两帧几乎一样,只有车或人的位置挪了一点。
  • 其他:4 张设置页截图,每张三行数字;4 张三视图(女主一版、男主两版、配角一版);用户直接发的两张简笔画;用户重发的一张之前的图。
  • 评价:说好的(“v2 女主的脸最好,先定它”)、说差的(“太暗,不要了”)、只说一部分的(“衣服和光都对了,但表情不对”)、改主意的(“v2 光太硬,最后用 v3”)。
  • 只有原图才答得出的细节:每张关键帧和三视图的角落里有一个淡淡的两位数。

一共 16 轮,每轮用户说让模型看哪些图,模型用 Read 看(代替生成的图,省掉生图的费用)。第 11 轮后(33 张)和第 16 轮后(51 张)各压缩一次,用 /compact,和用户手打一样;自动压缩关掉,各组都在同一处压缩。每次压缩后接着问题。最后用 --resume … --fork-session 分叉出一个新会话再问两题,Claude 桌面版在用户改了之前的某条消息时就是这样分叉的。

题目和结果

答案按文件名、数字或关键词自动判分,判得严:回答里只能有一个答案,而且是对的;给出不止一个的算“含糊”,不算对。✓ 是答对,✗ 后面是答错时的回答,~ 是含糊。

问题 答案 不装插件 0.9.1 0.10(缓存修复前) 0.10
第一次压缩之后
M1 第 2 镜里偏暗的那一版是哪个文件? s02_v1.png ✓ ✓ ✓ ✗ s04_v2.png
M2 第 6 镜女主戴着帽子的那一版是哪个文件? s06_v1.png ✓ ✓ ✓ ✓
M3 第 2 镜男主戴帽子的那一版,角落里的数字是多少? 93 ✓ ✓ ✓ ✓
M4 设置页截图里,第 3 张的种子(蓝色那一行)是多少? 28 ✓ ✓ ✓ ✓
第二次压缩之后
Q1 雨夜街道的空镜(不是抽帧)里,整体更暗的那一版是哪个文件? s04_v2.png ✓ ✓ ✓ ✓
Q2 第 3 镜里女主没打伞的那一版是哪个文件? s03_v1.png ✓ ✓ ✓ ✓
Q3 第 3 镜最后定的是哪一版? s03_v3.png ✓ ✓ ✓ ✓
Q4 我说衣服和光都对了、但表情不对的那张是哪个文件? s06_v3.png ✓ ✓ ✓ ✓
Q5 我说太暗、不要了的那张是哪个文件? s09_v1.png ✓ ✓ ✓ ✓
Q6 第 5 镜里男主站在画面右边的那一版是哪个文件? s05_v3.png ✓ ✓ ✓ ✓
Q7 第 1 镜女主站在画面左边的那一版,角落里的数字是多少? 90 ✓ ✓ ~ 90 和 61 ✓
Q8 第 1 段抽帧里,车正好开到路灯底下的那一帧是哪个文件? clip1_06.png ✓ ✓ ✓ ✓
Q9 海边那段抽帧里,女主走到正好挡住太阳的那一帧是哪个文件? clip2_04.png ✓ ✓ ✓ ✓
Q10 设置页截图里,步数(橙色那一行)填成 50 的是哪个文件? set_1105_4.png ✓ ✓ ✓ ✓
Q11 我直接发给你的第二张简笔画,画的是什么姿势? 坐 ✓ ✓ ✓ ✓
Q12 我后来直接发给你、说想在它基础上改表情的那张图,其实是之前哪个文件? s05_v2.png ✓ ✓ ✓ ✓
Q13 男主的三视图里,我说比例更好的那一版是哪个文件? sheet_03.png ✓ ✓ ✓ ✓
Q14 第 2 镜一共出了几版? 3 ✓ ✓ ✓ ✓
分叉出的新会话里
K1 第 8 镜女主戴帽子的那一版是哪个文件? s08_v2.png ✓ ✓ ✓ ✓
K2 第 5 镜男主站在画面中间的那一版,角落里的数字是多少? 49 ✓ ✗ 图“查不到” ✓ ✓
合计 20/20 19/20 19/20 19/20

四道细节题(M3、M4、Q7、K2)是怎么答出来的:

M3 M4 Q7 K2
不装插件 重读文件 重读文件 重读文件 重读文件
0.9.1 取回原图 凭特征行 取回原图 ✗
0.10(缓存修复前) 取回原图 凭特征行 ~ 取回了两张 凭特征行
0.10 取回原图 凭特征行 取回原图 取回原图

“凭特征行”是模型看图时在特征行里顺手记下了这个数,压缩后照着清单答;这说明记下的信息保住了,但不算测到了取原图。这次能说明取原图好用的样本只有这几道题,不多。

各组和怎么跑

是什么
不装插件 Claude Code 原样。
0.9.1 上一个发布版本,用 git archive v0.9.1 取出。0.9.1 的 mod 在 Claude Code 2.1.309 起不加载,所以换上了 0.10 的 hooks/register.js;两个版本的 mod 只差这一处,比出来的是压缩和续接的修复本身。
0.10(缓存修复前) 这个分支修缓存之前的提交 b5e986c。
0.10 这个分支:自动选图(默认开启)、特征行、压缩后放回的清单、cam_view_image,以及缓存修复。

脚本用命令行版 Claude Code,一个会话一个进程,像桌面版那样一条条发消息(--input-format stream-json)。评测用自己的 Claude Code 配置文件夹(CLAUDE_CONFIG_DIR),不带任何人的技能、设置和记录;插件用 --plugin-dir 加载,每组各用自己的引擎端口和数据文件夹。模型只能用 Read 和 cam_view_image;它工作的文件夹在仓库外面,读不到仓库的 CLAUDE.md。

花费和 token

一组从第一轮到最后一题的整段会话,含两次压缩和分叉。token 和费用都取 Claude Code 自己报的会话总计(modelUsage、total_cost_usd)。

请求数 没走缓存的输入 读缓存 写缓存 输出 从缓存读的比例 只命中系统提示的请求 最大一次请求 费用
不装插件 56 5,946 975,343 85,827 19,801 91.4% 1 33,156 $0.036
0.9.1 56 6,103 1,026,427 198,760 29,442 83.4% 7 29,309 $0.065
0.10(缓存修复前) 52 6,089 817,710 236,367 29,016 77.1% 9 26,524 $0.069
0.10 56 30,130 958,904 111,336 24,508 87.1% 1 25,940 $0.047

“从缓存读的比例”是读缓存占全部输入(没走缓存的、读缓存的、写缓存的)的比例。第一次跑 0.10(改措辞前)有 5 轮没看图,请求少,不放进比较($0.0365)。修缓存的过程中,前两版各跑过一次,分别是 $0.047 和 $0.065,单跑一次的波动不小。

压缩后放回的清单(0.10):

放回 清单约多少 token 压缩后第一条请求 占比
第一次压缩 33 张 1,563 15,182 10.3%
第二次压缩 51 张 2,357 17,909 13.2%

清单的 token 按 Claude 自己输出的校准系数估算(一个汉字约 1.3 token,其他字符约 0.45),请求的 token 是 API 报的。

试跑学到的

  • 角落数字太显眼:一开始数字是深色底板上的白字,模型直接把它写进特征行,细节题不用取原图就能答。改成淡淡的小字后,还是有一些特征行写了数字,这几道题就不一定要取图(上面细节题那张表里的“凭特征行”)。
  • 只靠色调分不清:有一题问“暖色调的那一版”,可书房的背景本来就偏暖,模型选了另一版。改成了一眼看得出的区别:偏暗、站位、戴帽子、打伞。
  • 新图不带编号:试跑里有一轮三张图都没带编号,查下来是上面说的写记录文件的时间问题,修在 0.10 里。

局限

  • 每组只跑了一次,谈不上统计意义:费用单跑一次的波动就有上面那么大,三组插件各错一题、错的又不是同一题,也说明不了谁更准。只测了一个小模型(Haiku 5.5,推理强度 low),只测了 Claude Code;Codex 上的同类检查在仓库的自测里,不在这份评测里。
  • 规模小:51 张图,压缩两次。用户的真实会话一个可能有两百多张图,那时不装插件的请求会大得多,Claude Code 也会更早自动压缩;全量清单从多大规模开始不够用,这次也没测。
  • 图都是合成的,又小(512×768),Claude Code 读图时还会压成 JPEG,所以图本身占的 token 不多。生成的大图、截图多的会话,结果可能不同。
  • 不装插件能答对,是因为图都在磁盘上、文件名留在摘要里。直接贴进对话、磁盘上没有文件的图,压缩后只有插件能找回原图;这次关于简笔画的题,模型靠它之前说过的话就答对了,没测到这种情况。

另一次测试:真实会话回放

发布前还用一个真实的长会话做过一次回放(2026-10-31,Claude 桌面版,Sonnet 5.5,推理强度 medium)。素材是用户自己的项目,不公开,也就没法复现,这里只写数字:照用户原来的话和原来的图一轮轮重放,读了 152 张图,在真实会话压缩的两个位置各压缩一次(94 张、127 张时),压缩后问了 12 题,编号全对,没有取错一张图。这次回放找出了三个问题,都已修好:并行读图乱序时有的图没有编号(0.4 起就有)、评价被截成半句、重发的同一张图在清单里列成两行。

自己跑一遍

需要命令行版 Claude Code(claude 在 PATH 上)、能用 Haiku 5.5 的 Claude 账号、Node 24 和这个仓库的 git 历史(0.9.1 那组从标签 v0.9.1 取出)。图片由脚本现画,不用下载。先给评测自己的配置文件夹登录一次:

CLAUDE_CONFIG_DIR=local/eval-long/claude claude auth login
node spike/src/eval-long.ts --label run1
node spike/src/eval-long-summary.ts --label run1 --out eval/long-task/results/<日期>

Windows PowerShell 不认第一行的写法,登录那一步改成这样(最后一句清掉变量,免得这个终端里之后的 claude 也用评测的配置;跑评测的脚本自己会设好它):

$env:CLAUDE_CONFIG_DIR = "local/eval-long/claude"; claude auth login; Remove-Item Env:CLAUDE_CONFIG_DIR
  • --runs off/haiku,v0.9.1/haiku,v0.10/haiku 选组(模型也可以是 sonnet);--effort 选推理强度(默认 low);--quick 只跑 3 轮、压缩一次、问 5 题,用来检查环境。
  • 脚本看着账号的用量,一周额度用到 90% 就停(--stop-at 可改);5 小时额度快满时,等它重置再接着跑。
  • 三组默认同时跑,一组约 3 到 5 分钟。

results/2026-11-01 里是正式运行的汇总:每题的回答、取回了哪些图、每组的 token 和费用;缓存修复后的 0.10 在 results/2026-11-01-final。回复保留原文,去掉了本机路径。