A local plugin for image-heavy chats in Codex, Claude Code and other agents: earlier images stop going out with every message, and the model fetches the one it needs by its ID, also after compaction.
评测:Claude Code 里一段长任务,压缩两次再分叉
English · 简体中文
2026-11-01 测试。插件 0.10.0(发布前的分支,提交 b16d202),对照 0.9.1、缓存修复之前的 0.10(提交 b5e986c)和不装插件。Claude Code 命令行 2.1.314,模型 claude-haiku-5-5,推理强度 low,系统 Windows 11。每组正式跑一次;正式之前用 3 轮的短流程试跑过三次,场景里的几处问题就是那时改的(见试跑学到的)。
结论
- 压缩两次、分叉一次之后,三组插件都答对 19/20,不装插件 20/20。 各组错的不是同一题:
- 0.9.1 错在分叉出的新会话里:那里看不到压缩前的图,它去取的三张图都“查不到”。0.10 修的就是这个,它在分叉后的请求里放回了全部 51 张图的清单,两次分叉后的两题都答对了。
- 缓存修复前的 0.10 错在 Q7:给了两个数(90 和 61),又在 Q9 里自己撤回了这个回答。给出不止一个答案的按“含糊”算,不算对。
- 0.10 错在 M1:问第 2 镜偏暗的那一版,它答了雨夜街道偏暗的那一版
s04_v2.png。压缩后放回的清单里,s02_v1.png那一行写着“暗色调”,信息在,是模型挑错了行。
- 不装插件也答对 20/20。 Claude Code 压缩时会去掉图,但摘要里留着文件名;模型需要看时,用 Read 把磁盘上的文件再读一遍(问题阶段读了 13 次)。这个场景里的图,除了两张简笔画,都是磁盘上的文件,所以测不出插件在准确度上的差别。
- 花费:修好缓存后,0.10 约是不装插件的 1.3 倍,修之前约 1.9 倍。 按 Claude Code 报的 API 价格折算,不装插件 $0.036,0.10 $0.047;修之前的 0.10 是 $0.069,0.9.1 是 $0.065。
- 原来贵在哪: 插件每轮把上一轮的图换成占位,改动了历史里的内容。Claude Code 只在最后两条消息上放缓存断点,改动之后这两个断点都读不到之前存的缓存,于是每组有 7 到 9 次请求只命中开头系统提示那一段,后面整段对话要重新写一遍缓存。
- 怎么修的: 引擎自己放断点:一个放在之前存过缓存、又在改动之前的位置,用来读;一个放在下一张会被换掉的原图前面,给下一次请求读。占位里的评价和压缩后的清单也不再跟着后来的回复变。修好后只命中系统提示的请求从 7 到 9 次降到 1 次,和不装插件一样;从缓存读的比例从 77% 升到 87%(不装插件 91%)。
- 剩下的差距: 输出多了约 4,700 token,是模型给每张图写的特征行;写缓存多约 2.5 万 token;没走缓存的输入多约 2.4 万 token,原因还没细查。
- 插件把最大一次请求从 3.3 万 token 降到了 2.6 万。这次规模小,Claude Code 的 Read 又已经把图压成了小 JPEG,省下的 token 还抵不过多出来的这些。
- 评测中发现并修好两个问题,都在 0.10 里。
- 新图有时不带编号:Claude Code 有时在把这一轮刚读的图写进记录文件之前就发出请求,插件认不出这几张图,它们就不带编号发出去,模型没法给它们写特征行。0.9.1 第 2 轮有三张图的编号错了一位,就是这么来的。开发机日志里,8904 次请求中有 119 次属于这种情况。现在引擎遇到这种情况会重读记录文件,最多等 1.5 秒。
- 压缩后不看新图:说明里那句“不要用其他工具去读取图片文件”,本意是被省略的旧图要用
cam_view_image取。第一次跑 0.10 时,压缩后模型把它理解成连新图也不能看,后面 5 轮用户让它看的图一张都没读,答对 18/20(Q9、K1 错)。现在这句只说被省略的图,并写明新图照常去看;之后两次 0.10 每轮都照常读图。
- 压缩后放回的清单很短:33 张约 1.6K token,51 张约 2.4K token,平均每张不到 50 token;这次对话短,它占压缩后第一条请求的 10% 到 13%。
测试场景
一部短片的关键帧和分镜,中文对话,模仿用户平时的用法。51 张合成图,由脚本绘制:
- 关键帧:10 个镜头,每镜 2 到 3 版,一共 26 张。用户只说每一镜在哪、有谁、出了几版和文件名,从不说各版有什么不同(偏暗、站位、戴帽子、打伞):这些只在模型自己看到的东西里。
- 抽帧:两段视频,一段 8 帧、一段 6 帧,相邻两帧几乎一样,只有车或人的位置挪了一点。
- 其他:4 张设置页截图,每张三行数字;4 张三视图(女主一版、男主两版、配角一版);用户直接发的两张简笔画;用户重发的一张之前的图。
- 评价:说好的(“v2 女主的脸最好,先定它”)、说差的(“太暗,不要了”)、只说一部分的(“衣服和光都对了,但表情不对”)、改主意的(“v2 光太硬,最后用 v3”)。
- 只有原图才答得出的细节:每张关键帧和三视图的角落里有一个淡淡的两位数。
一共 16 轮,每轮用户说让模型看哪些图,模型用 Read 看(代替生成的图,省掉生图的费用)。第 11 轮后(33 张)和第 16 轮后(51 张)各压缩一次,用 /compact,和用户手打一样;自动压缩关掉,各组都在同一处压缩。每次压缩后接着问题。最后用 --resume … --fork-session 分叉出一个新会话再问两题,Claude 桌面版在用户改了之前的某条消息时就是这样分叉的。
题目和结果
答案按文件名、数字或关键词自动判分,判得严:回答里只能有一个答案,而且是对的;给出不止一个的算“含糊”,不算对。✓ 是答对,✗ 后面是答错时的回答,~ 是含糊。
| 问题 | 答案 | 不装插件 | 0.9.1 | 0.10(缓存修复前) | 0.10 | |
|---|---|---|---|---|---|---|
| 第一次压缩之后 | ||||||
| M1 | 第 2 镜里偏暗的那一版是哪个文件? | s02_v1.png | ✓ | ✓ | ✓ | ✗ s04_v2.png |
| M2 | 第 6 镜女主戴着帽子的那一版是哪个文件? | s06_v1.png | ✓ | ✓ | ✓ | ✓ |
| M3 | 第 2 镜男主戴帽子的那一版,角落里的数字是多少? | 93 | ✓ | ✓ | ✓ | ✓ |
| M4 | 设置页截图里,第 3 张的种子(蓝色那一行)是多少? | 28 | ✓ | ✓ | ✓ | ✓ |
| 第二次压缩之后 | ||||||
| Q1 | 雨夜街道的空镜(不是抽帧)里,整体更暗的那一版是哪个文件? | s04_v2.png | ✓ | ✓ | ✓ | ✓ |
| Q2 | 第 3 镜里女主没打伞的那一版是哪个文件? | s03_v1.png | ✓ | ✓ | ✓ | ✓ |
| Q3 | 第 3 镜最后定的是哪一版? | s03_v3.png | ✓ | ✓ | ✓ | ✓ |
| Q4 | 我说衣服和光都对了、但表情不对的那张是哪个文件? | s06_v3.png | ✓ | ✓ | ✓ | ✓ |
| Q5 | 我说太暗、不要了的那张是哪个文件? | s09_v1.png | ✓ | ✓ | ✓ | ✓ |
| Q6 | 第 5 镜里男主站在画面右边的那一版是哪个文件? | s05_v3.png | ✓ | ✓ | ✓ | ✓ |
| Q7 | 第 1 镜女主站在画面左边的那一版,角落里的数字是多少? | 90 | ✓ | ✓ | ~ 90 和 61 | ✓ |
| Q8 | 第 1 段抽帧里,车正好开到路灯底下的那一帧是哪个文件? | clip1_06.png | ✓ | ✓ | ✓ | ✓ |
| Q9 | 海边那段抽帧里,女主走到正好挡住太阳的那一帧是哪个文件? | clip2_04.png | ✓ | ✓ | ✓ | ✓ |
| Q10 | 设置页截图里,步数(橙色那一行)填成 50 的是哪个文件? | set_1105_4.png | ✓ | ✓ | ✓ | ✓ |
| Q11 | 我直接发给你的第二张简笔画,画的是什么姿势? | 坐 | ✓ | ✓ | ✓ | ✓ |
| Q12 | 我后来直接发给你、说想在它基础上改表情的那张图,其实是之前哪个文件? | s05_v2.png | ✓ | ✓ | ✓ | ✓ |
| Q13 | 男主的三视图里,我说比例更好的那一版是哪个文件? | sheet_03.png | ✓ | ✓ | ✓ | ✓ |
| Q14 | 第 2 镜一共出了几版? | 3 | ✓ | ✓ | ✓ | ✓ |
| 分叉出的新会话里 | ||||||
| K1 | 第 8 镜女主戴帽子的那一版是哪个文件? | s08_v2.png | ✓ | ✓ | ✓ | ✓ |
| K2 | 第 5 镜男主站在画面中间的那一版,角落里的数字是多少? | 49 | ✓ | ✗ 图“查不到” | ✓ | ✓ |
| 合计 | 20/20 | 19/20 | 19/20 | 19/20 |
四道细节题(M3、M4、Q7、K2)是怎么答出来的:
| M3 | M4 | Q7 | K2 | |
|---|---|---|---|---|
| 不装插件 | 重读文件 | 重读文件 | 重读文件 | 重读文件 |
| 0.9.1 | 取回原图 | 凭特征行 | 取回原图 | ✗ |
| 0.10(缓存修复前) | 取回原图 | 凭特征行 | ~ 取回了两张 | 凭特征行 |
| 0.10 | 取回原图 | 凭特征行 | 取回原图 | 取回原图 |
“凭特征行”是模型看图时在特征行里顺手记下了这个数,压缩后照着清单答;这说明记下的信息保住了,但不算测到了取原图。这次能说明取原图好用的样本只有这几道题,不多。
各组和怎么跑
| 是什么 | |
|---|---|
| 不装插件 | Claude Code 原样。 |
| 0.9.1 | 上一个发布版本,用 git archive v0.9.1 取出。0.9.1 的 mod 在 Claude Code 2.1.309 起不加载,所以换上了 0.10 的 hooks/register.js;两个版本的 mod 只差这一处,比出来的是压缩和续接的修复本身。 |
| 0.10(缓存修复前) | 这个分支修缓存之前的提交 b5e986c。 |
| 0.10 | 这个分支:自动选图(默认开启)、特征行、压缩后放回的清单、cam_view_image,以及缓存修复。 |
脚本用命令行版 Claude Code,一个会话一个进程,像桌面版那样一条条发消息(--input-format stream-json)。评测用自己的 Claude Code 配置文件夹(CLAUDE_CONFIG_DIR),不带任何人的技能、设置和记录;插件用 --plugin-dir 加载,每组各用自己的引擎端口和数据文件夹。模型只能用 Read 和 cam_view_image;它工作的文件夹在仓库外面,读不到仓库的 CLAUDE.md。
花费和 token
一组从第一轮到最后一题的整段会话,含两次压缩和分叉。token 和费用都取 Claude Code 自己报的会话总计(modelUsage、total_cost_usd)。
| 请求数 | 没走缓存的输入 | 读缓存 | 写缓存 | 输出 | 从缓存读的比例 | 只命中系统提示的请求 | 最大一次请求 | 费用 | |
|---|---|---|---|---|---|---|---|---|---|
| 不装插件 | 56 | 5,946 | 975,343 | 85,827 | 19,801 | 91.4% | 1 | 33,156 | $0.036 |
| 0.9.1 | 56 | 6,103 | 1,026,427 | 198,760 | 29,442 | 83.4% | 7 | 29,309 | $0.065 |
| 0.10(缓存修复前) | 52 | 6,089 | 817,710 | 236,367 | 29,016 | 77.1% | 9 | 26,524 | $0.069 |
| 0.10 | 56 | 30,130 | 958,904 | 111,336 | 24,508 | 87.1% | 1 | 25,940 | $0.047 |
“从缓存读的比例”是读缓存占全部输入(没走缓存的、读缓存的、写缓存的)的比例。第一次跑 0.10(改措辞前)有 5 轮没看图,请求少,不放进比较($0.0365)。修缓存的过程中,前两版各跑过一次,分别是 $0.047 和 $0.065,单跑一次的波动不小。
压缩后放回的清单(0.10):
| 放回 | 清单约多少 token | 压缩后第一条请求 | 占比 | |
|---|---|---|---|---|
| 第一次压缩 | 33 张 | 1,563 | 15,182 | 10.3% |
| 第二次压缩 | 51 张 | 2,357 | 17,909 | 13.2% |
清单的 token 按 Claude 自己输出的校准系数估算(一个汉字约 1.3 token,其他字符约 0.45),请求的 token 是 API 报的。
试跑学到的
- 角落数字太显眼:一开始数字是深色底板上的白字,模型直接把它写进特征行,细节题不用取原图就能答。改成淡淡的小字后,还是有一些特征行写了数字,这几道题就不一定要取图(上面细节题那张表里的“凭特征行”)。
- 只靠色调分不清:有一题问“暖色调的那一版”,可书房的背景本来就偏暖,模型选了另一版。改成了一眼看得出的区别:偏暗、站位、戴帽子、打伞。
- 新图不带编号:试跑里有一轮三张图都没带编号,查下来是上面说的写记录文件的时间问题,修在 0.10 里。
局限
- 每组只跑了一次,谈不上统计意义:费用单跑一次的波动就有上面那么大,三组插件各错一题、错的又不是同一题,也说明不了谁更准。只测了一个小模型(Haiku 5.5,推理强度 low),只测了 Claude Code;Codex 上的同类检查在仓库的自测里,不在这份评测里。
- 规模小:51 张图,压缩两次。用户的真实会话一个可能有两百多张图,那时不装插件的请求会大得多,Claude Code 也会更早自动压缩;全量清单从多大规模开始不够用,这次也没测。
- 图都是合成的,又小(512×768),Claude Code 读图时还会压成 JPEG,所以图本身占的 token 不多。生成的大图、截图多的会话,结果可能不同。
- 不装插件能答对,是因为图都在磁盘上、文件名留在摘要里。直接贴进对话、磁盘上没有文件的图,压缩后只有插件能找回原图;这次关于简笔画的题,模型靠它之前说过的话就答对了,没测到这种情况。
另一次测试:真实会话回放
发布前还用一个真实的长会话做过一次回放(2026-10-31,Claude 桌面版,Sonnet 5.5,推理强度 medium)。素材是用户自己的项目,不公开,也就没法复现,这里只写数字:照用户原来的话和原来的图一轮轮重放,读了 152 张图,在真实会话压缩的两个位置各压缩一次(94 张、127 张时),压缩后问了 12 题,编号全对,没有取错一张图。这次回放找出了三个问题,都已修好:并行读图乱序时有的图没有编号(0.4 起就有)、评价被截成半句、重发的同一张图在清单里列成两行。
自己跑一遍
需要命令行版 Claude Code(claude 在 PATH 上)、能用 Haiku 5.5 的 Claude 账号、Node 24 和这个仓库的 git 历史(0.9.1 那组从标签 v0.9.1 取出)。图片由脚本现画,不用下载。先给评测自己的配置文件夹登录一次:
CLAUDE_CONFIG_DIR=local/eval-long/claude claude auth login
node spike/src/eval-long.ts --label run1
node spike/src/eval-long-summary.ts --label run1 --out eval/long-task/results/<日期>
Windows PowerShell 不认第一行的写法,登录那一步改成这样(最后一句清掉变量,免得这个终端里之后的 claude 也用评测的配置;跑评测的脚本自己会设好它):
$env:CLAUDE_CONFIG_DIR = "local/eval-long/claude"; claude auth login; Remove-Item Env:CLAUDE_CONFIG_DIR
--runs off/haiku,v0.9.1/haiku,v0.10/haiku选组(模型也可以是sonnet);--effort选推理强度(默认 low);--quick只跑 3 轮、压缩一次、问 5 题,用来检查环境。- 脚本看着账号的用量,一周额度用到 90% 就停(
--stop-at可改);5 小时额度快满时,等它重置再接着跑。 - 三组默认同时跑,一组约 3 到 5 分钟。
results/2026-11-01 里是正式运行的汇总:每题的回答、取回了哪些图、每组的 token 和费用;缓存修复后的 0.10 在 results/2026-11-01-final。回复保留原文,去掉了本机路径。