Skip to content

A local plugin for image-heavy chats in Codex, Claude Code and other agents: earlier images stop going out with every message, and the model fetches the one it needs by its ID, also after compaction.

10.7 KB
Raw Blame

评测:Codex 里一段关键帧对话,装插件和不装插件

English · 简体中文

另见:Claude Code 里一段长任务,压缩两次再分叉(2026-11-01)。

2026-10-24 测试。插件 0.9.0,另拿 0.7.1 作对照。Codex 用的是 Codex 桌面版自带的 app-server(codex-cli 0.163.0-alpha.11),模型 gpt-6-sol,推理强度 low,系统 Windows 11。这是一次小测试:只有一个场景,每组正式跑了一次,前面另有两次试跑,场景就是靠它们改出来的。

结论

  • 不装插件时,只要 Codex 需要把整段对话重新发一遍,就发不出去。 9 张关键帧让整段对话达到 42.4 MB(压缩后上传 31.8 MB)。这种情况出现在重启之后,以及压缩之后紧接着的那一问。三次运行里一共遇到 6 次,一次也没发出去。Codex 先显示 Reconnecting... 1/5 到 5/5,之后改走 HTTP,一直重试到我们停下来。
  • 装了插件,同样的请求只有 0.12 MB,都发出去了。 有新图的那一轮仍然要发新图,插件省掉的是之前各轮的图。
  • 找图: 0.9.0 在压缩前 6 题全对,压缩后 6 题也全对。两道细节题只有看原图才答得出,模型每次都只取回了要看的那一张。
  • token 不是主要的收益。 输入 token 总量少了 16%,最后一次请求的上下文小了 37%。但没命中提示缓存的 token 多了 36%,所以费用怎么比,要看缓存打几折:缓存按一折计算的话,两边差不多。
  • 在这么短的任务里,特征行(0.8 加的)没有显出差别。 没有特征行的 0.7.1,压缩后也是 6 题全对。最可能的原因是 Codex 自己压缩时写的摘要还记得这 9 张图。当初加特征行,是为了长得多的任务,这次没有测,见局限。

测试场景

一段中文的短剧关键帧对话,模仿用户平时的用法。9 张合成关键帧,1024×1536 的 PNG,每张 3.2–3.9 MB,由脚本绘制并加了噪点,体积和真实生图差不多。每张图的一个角落里藏着一个数字。用户每一场都说明是在哪里,但从不说哪张是哪张;评价图时按位置说:

轮次 用户说 图片
1 这部短剧的女主穿红衣、黑色长发,男主穿蓝衣、棕色短发。第一场在书房,这是两张关键帧,先简单看一下。 S1 女主中景 · S2 男主中景
2 第二场在雨夜的街上,两张,简单看一下。 R1 女主近景(偏暗) · R2 街道空镜
3 上一轮第一张太暗了,这是重出的一版。 R3 女主近景
4 第三场在黄昏的海边,两张。 B1 男主中景 · B2 女主近景
5 上一轮第二张,脸是目前最好的。 –
6 第四场在竹林,两张。 Z1 女主中景 · Z2 男主近景

之后提问,答案事先都定好了。每道题问的是不同的图,前一题的答案不会帮到后一题:

问题 答案
F1 雨夜街上、画面里没有人的那张空镜,是哪个文件? R2
F2 我说过脸最好的是哪张? B2
F3 雨夜里女主的近景有两版,我要用重出的那一版,是哪个文件? R3
F4 书房里男主的中景是哪个文件? S2
F5 海边男主的中景是哪个文件? B1
F6 竹林里女主的中景是哪个文件? Z1
D1 竹林里男主的近景,角落里有一个数字,是几? 7
D2 书房里女主的中景,角落里有一个数字,是几? 4
N1 把“今天天气很好”翻译成英文。 (不需要看图)

每组用各自的 Codex app-server 跑两个任务:

  • 任务一: 先跑 6 轮,再问 F1–F5、D1、D2、N1。然后重启 app-server、恢复这个任务,这时 Codex 必须把整段对话重新发一遍,再问 F6。
  • 任务二: 先跑 6 轮,再压缩一次(thread/compact/start),然后问全部 9 题。

答案按文件名或数字自动判分。某一步失败,或者 3 分钟内没有回答(传图那几轮是 10 分钟),这个任务就到此结束。

三组

怎么跑
不装插件 Codex 原样。中间串着插件的引擎,只用来统计字节数,什么都不改写,Codex 照常用 WebSocket。
0.9.0 本仓库现在的插件:自动选图(默认开启)、特征行、cam_view_image。
0.7.1 加特征行之前的最后一个版本,用 git archive v0.7.1 取出:有自动选图,但占位里只有编号、名称、来源、轮次和尺寸。

三组都关掉了会操作电脑的工具,沙箱只读,测完把测试任务归档。

结果

请求发不发得出去

重启后(任务一) 压缩后(任务二)
不装插件 发不出去:42.4 MB 压缩本身成功,紧接着的那一问发不出去:42.4 MB
0.9.0 发出去了:0.13 MB 发出去了:0.12 MB

不装插件时,只要 WebSocket 连接一直开着,Codex 每轮只发新增的内容,所以 6 轮传图本身都能过。一旦要整段重发,两条路都走不通:

  • WebSocket: 31.9 MB 的消息每次都在 6–11 秒内被拒。这么短的时间根本传不完,看起来是消息大小有上限。
  • HTTP(Codex 的退路):每次传约 61 秒后被挂断。

压缩也帮不上忙。Codex 压缩时,用户的消息连同里面的图都原样保留,只把模型的回复换成一段加密的摘要,所以压缩之后的请求里仍然是 9 张图。压缩这一步本身能完成,是因为 WebSocket 连接还开着,Codex 几乎只需要发一个“开始压缩”的标记。

任务二每一步最大的那次请求:完整对话涨到 42.4 MB;插件只发这一轮的新图,其余时候约 0.1 MB

压缩前后找图准不准

压缩前(任务一) 压缩后(任务二) 角落数字 取回的图
不装插件 5/5;重启后的 F6 没发出去 第一问就没发出去 2/2 –(每张原图都看得到)
0.9.0 6/6 6/6 4/4 4 张:每道数字题一张,找图题一张没取
0.7.1 第 5 轮网络卡住* 6/6 2/2 2 张:每道数字题一张

* 引擎经本机代理连接上游时,连接一直没建立起来,请求根本没发出去。这一项不计入结果。

不装插件时模型每张原图都看得到,它在压缩前的成绩相当于上限。装了插件,之前的图都换成了占位:找图题模型靠自己记下的内容回答,只有数字题需要的原图才取回来。

token

任务一里同样的 14 步,从第一次传图到 N1:

输入 token 命中缓存 没命中缓存 输出 最后一次请求的上下文
不装插件 501,803 471,680 30,123 326 38,786
0.9.0 421,870 380,928 40,942 766 24,421

省掉之前的图,上下文少了约 1.4 万 token。但每当某一轮的图换成占位,缓存的前缀就从那里断开,没命中缓存的 token 因此变多。输出多出来的是特征行。

试跑学到的

  • 试跑一: 用户每次都说清楚哪张是什么(“第一张是女主中景”)。Codex 压缩时会保留用户的消息,所以压缩后的找图题,读用户自己的原话就能答,根本没测到模型记不记得图。于是改了场景:用户不再说哪张是哪张。
  • 试跑二: 用户也不说场景在哪里。合成的“海边”只是橙色天空加几道蓝线,“竹林”只是绿色竖条,模型没认出来,特征行写成了“街头”“绿墙前”。问“海边男主的中景”时,0.9.0 有两次回答“没有这张”,没有去取原图核对;那一次 0.7.1 倒是答对了。可见特征行的质量取决于模型当时看图看出了什么;对不上时,模型可能直接说没有,而不是再看一眼。正式场景按用户平时的说法,说明了每一场在哪里。

局限

  • 每组只正式跑了一次,谈不上统计意义。
  • 用的是合成图。真实关键帧更容易认出画的是什么,但彼此之间也更像。
  • 只测了一个模型(gpt-6-sol,推理强度 low),只测了 Codex,没测 Claude Code。
  • 任务很短:9 张图,压缩一次。当初加特征行,是因为一个长任务压缩后,模型拿了开头的人物中景,而不是用户说最好的那张近景。要复现那种情况,需要几十张图、压缩好几次。后来在 Claude Code 里测了一段更长的任务(51 张图,压缩两次再分叉),见 long-task。
  • 只在一台机器上测,上传经过本机代理:7.8 MB 的 HTTP 请求要 25–65 秒。WebSocket 不管网速,几秒内就被拒。网速更快时 HTTP 能不能传完 42 MB,这次没有测。

自己跑一遍

需要 Windows 和 Codex 桌面版(脚本用它自带的 app-server)、能用 gpt-6-sol 的 ChatGPT 登录,以及 Node 24。脚本会在你的 Codex 里建名为 [CAM测试] 评测 … 的测试任务,测完自动归档。图片由脚本现画,不用下载。

mkdir -p local/eval/v0.7.1 && git archive v0.7.1 plugin | tar -x -C local/eval/v0.7.1
node spike/src/eval-keyframes.ts --label run1
node spike/src/eval-summary.ts --runs run1 --out eval/results/<日期>

--arms off,on,v07 和 --threads X,Y 用来选组和任务,--draw 只画图不跑。中途停掉的运行会留下没归档的任务,用 node spike/scripts/archive-test-threads.ts 归档。

results/2026-10-24 里是正式运行的每一步:回答、取回了哪张图、请求大小和 token 数。回复保留原文,去掉了任务编号和本机路径。

之前做过的检查

在这次评测之前,每个版本都用合成图跑自测。中英文、每个模型都跑,但各只跑一次,所以只能算判断通过与否的检查,不算测量:

自测 检查什么 结果
spike/src/v01-placeholder-selftest.ts、v01-needs-selftest.ts 图换成占位后,模型不收回之前说过的话;需要时按编号要图 v0.1 报告
spike/src/v03-auto-selftest.ts 自动选图时,回答需要原图就取,不需要就不取 design.md 第 10 节
spike/src/v07-children-selftest.ts 子代理和旁聊也会省略图片、按需取回 v0.7 方案第 5 节
spike/src/v08-features-selftest.ts 模型会写特征行、把评价记到对的图上;压缩后选的是用户说最好的那张近景 v0.8 方案第 3、5 节

单元测试(cd spike && node --test),以及安装、升级的冒烟测试,在 CI 里的 Windows、macOS、Linux 上运行。