Stop paying the multimodal tax. Your AI agent keeps every image it has seen but only sends the ones it needs: lighter chats, no endless reconnecting, no starting over. Works with Codex, Claude Code, Cline, Gemini CLI, OpenCode, WorkBuddy and more. Install once, forget it.
TypeScript ai-agentsai-imageclaude-codeclaude-code-pluginclinecodexcodex-plugincomputer-usecontext-engineeringcontext-managementdeveloper-toolsgemini-cliimage-generationmcpmultimodalmultimodal-aiopencodeqwen-codetoken-optimizationvision-language-model
v0.8 方案:压缩后找对图,面板里凭印象找图
状态:用户 2026-10-18、19 定,已开发完,随 0.8.0 发布。规格以 spec.md 为准,实现见 design.md。
1. 背景与目标
- 用户自己遇到的情况(Codex):会话中间有一张人物近景效果很好,压缩一次后,模型拿五官参考时却去取了对话开头那张人物中景;问它压缩前中间的某张图,它也记不清了。原因:
- 压缩后,占位里只有编号、名称、来源、轮次和尺寸,看不出是什么图;
- 图周围的对话也被压成了摘要;
- 模型不知道自己记不清,很确定地拿错了。
- 大多数用户一直开着自动选图,偶尔想从几十张图里凭印象找出某一张(包括当时的废片)看一眼,再决定要不要带给模型。他们不想为此去问模型:问它要花 token,压缩后它也记不清。
- 现在的面板信息太多;用户让 GPT 做的原型分成两个标签页,显得乱。
- 目标:
- 压缩之后,模型仍然能拿对之前的图。
- 用户在面板里能凭印象找回图片,面板变简单,用起来让人觉得本来就该这样。
2. 规则(用户 2026-10-18、19 定)
特征行
- 模型第一次看到一张新图时(用户上传的、它生成的、查看的、工具返回的),写下一行特征:先写场景,再写看得见的特征,30 字以内,例如“深蓝雨夜|近景,正脸,霓虹反光”。
- 同一个场景沿用之前用过的叫法。
- 不写“好看”“像谁”这类判断。
- 写一次就不再改。
- 用户评价某张图时,模型照用户的原话记一条:带上轮次,15 字以内,按时间累积,每张图显示最近 3 条。
- 不排序,也不替用户判断褒贬,模型像看笔记一样自己读。
- 拿不准是哪张时,说出自己选了哪张,或者问用户。
- 记录过程不让用户看到:模型在回复里不提这件事,面板也不展示这些文字,只拿它们来搜索和分组。
- 特征行和评价写在这张图的占位里,索引里记什么,占位里就显示什么。照常发送的图只带编号标题,不带特征行:模型看得到原图;不带也免得每轮去改前面的标题,弄断缓存。模型那边先不做搜索工具。
- 每个占位第二行那句每张都一样的说明要缩短,抵掉新增的字数。
- 长度靠模型自己写短。超长时,引擎在上限以内最后一个标点处截断,加上“…”;原话全文留在本机,面板搜索用全文。
- 什么时候写:
- 开着自动选图:从第一张图开始写。
- Claude:自动和手动模式都从第一张图开始写,因为 Claude Code 本来每次都发完整的历史。
- Codex 的手动模式:从用户第一次取消勾选开始写。在那之前,插件不碰这个任务的请求,请求走 WebSocket;要写特征行,就得让这个任务改走 HTTP,每次请求都重新上传全部图片,得不偿失。
- 升级之前已有的图不补写。
- 子代理和旁聊不写:它们的图不在主任务的面板里,而且存在的时间短。旁聊的占位照样显示原任务里的特征行。
- 新图在它出现的那一轮就标上编号,模型才能当场对上号。现在开着自动选图时,只有之前各轮固定发送的图带编号标题。
面板(用户 2026-10-19 看过可点击的原型后定)
- 一屏:
- 最上面是任务名和刷新按钮。
- Codex 里,右上角另有“停用插件”按钮,点了变成“启用插件”,两个颜色不同;停用后提示重启 Codex 才生效,随时可以撤回。这和现在一样。
- 请求占用卡片,样式借鉴现在的面板,默认收起,底下有“展开详情”:
- 收起时也显示预计请求、全部发送要多大、省了多少、占用条,以及“下一条消息:每轮都发 N 张 · 占位 M 张”。手动模式下这一行是“照常发送 N 张 · 占位 M 张”。
- 展开后多出三项:上一次请求;最近一轮模型取回了哪几张(编号按钮,只在自动模式下有);子代理和旁聊省了多少(只在 Codex 里有)。
- 搜索框,占位文字是“画面,或你当时说过的话”。能匹配的内容:特征行、评价、场景、编号、来源(上传、生成、PDF、网页),以及那一轮里的对话文字。
- 筛选按钮一排:
- 依次是“全部”“上传”“生成”,一条竖线,再接各个场景标签。场景就是特征行的第一段,没有特征行的图归到“其他”。
- 一次只能选一个,和搜索同时生效。
- “上传”包括 PDF 页面和网页截图。
- 缩略图按轮分组,最新一轮在最上面,列数跟着面板宽度变。
- 缩略图上不写字,只挂小标记:每轮都发;刚取回(自动模式);不发送(手动模式);无法取消;已不在上下文;压缩前(Claude)。
- 右下角的角标:PDF 第 N 页、网页(Codex)。
- 没发送的图是灰色,勾上以后恢复彩色,和 0.7 一样(用户 2026-10-19 看过截图后改)。
- 每一轮标题线的末尾有一个小方框,点一下整轮勾选或取消,两种模式都有,和 0.7 一样(用户 2026-10-19 看过截图后改,原来是手动模式下的“整轮不发”“整轮发送”文字按钮)。
- 点缩略图打开预览:和 0.7.1 一样占满面板,点图片以外的地方就退出(用户 2026-10-19 补充)。右下角是一个方框勾选,方框在文字左边(用户 2026-10-19 看过截图后改,原来是滑块开关):
- 自动模式下叫“每轮都发”,就是现在的固定发送:之后每条消息都带上这张图,直到关掉,其余的图照常由模型按需取回。
- 手动模式下叫“发送”。
- 手动模式下,模型要了没发送的图时,顶上出现“模型需要 N 张没发送的图”,后面跟着编号按钮。勾上那张图的“发送”后,它的编号就从提示条里消失。
- 点编号按钮(“模型需要”和“最近一轮模型取回”里的都一样):
- 列表滚到那张缩略图,让它停在正中,闪两下,键盘焦点落在它上面;
- 预览开着时,先回到列表;
- 那张图被搜索或筛选挡住时,先清掉搜索和筛选。
- 引擎没在运行、请求没能改写之类的提示,有事才出现。
- 底栏是一句说明和“自动选图”开关。面板上一直显示的开关只剩这一个。
- 去掉两样东西:
- 按来源筛选的按钮(v0.2);
- 子代理和旁聊的“也自动选图”开关(v0.7)。以后子代理和旁聊一律按自动选图管,0.7 里关掉过的,升级后也会打开。
- Claude 桌面版用同一个面板,有几处不同:没有停用/启用按钮,没有子代理和旁聊那一行,没有 PDF 和网页的角标;压缩前的图照样标“压缩前”。
不做
- 跨任务、跨会话搜索;
- 用户从没提过的主观标准:等有人提,或者用户自己遇到再说;
- 给模型用的搜索工具;
- 让用户填写或修改特征行和评价,或者在面板里显示这些文字;
- 给升级前已有的图补写特征行;
- Codex 手动模式下,第一次取消勾选之前写特征行。以后可以研究直接在 WebSocket 上加说明和编号;
- 子代理和旁聊写特征行;
- 其他 agent 平台(见 spec 第 2 节)。
3. 要先验证的事(关卡)
每个关卡通过了,才做对应的部分;没通过,就回来和用户商量。
- 记录看不见(2026-10-19 通过):让模型原样回复几种写法(Codex 里是 gpt-6-sol,Claude 里是 Haiku 5.5),本机记录里都核对过原文,再由用户在两个桌面版里看:
- HTML 注释
<!-- … -->:两边都原样显示,不能用。 - 链接定义
[//]: # "…":Codex 能藏住。Claude 桌面版会把直引号换成弯引号,这一行就不算链接定义了,整行显示出来。 - 链接定义
[//]: # (…):两边都藏住了。就用这种。 - 文字放在方括号里的
[…]: #:Codex 能藏住,Claude 显示出来。 - 所以每条记录单独写成一行
[//]: # (cam …);括号里不能有半角括号。终端版还没看。 - 补测(2026-10-19,用户在两个桌面版里看):好几行连在一起也藏得住;放在回复开头、两段之间也藏得住。但 Claude 桌面版会把最新那条回复最后一行的链接定义原样显示出来,等后面有了新消息又藏住了;Codex 放在哪儿都藏得住。所以记录行写在最后那条回复的开头,空一行再写正文。
- HTML 注释
- 模型会写:三个 GPT-6 模型和 Claude Haiku 5.5 都能按说明给新图写特征行、记评价:格式对,编号对,正文里不提;用户在两个桌面版里看不到这些行。
- Codex(2026-10-19,
local/v08/gate23-codex.ts,推理强度 low):sol、luna、astra 中英文 6 组全部通过。四轮里,两张上传的图和一张看图工具打开的图都写了特征行;"第一张太暗、第二张构图不错"记到了对的图上;正文没提这些行。最后一轮三张图都成了占位,模型不调用工具,靠特征和评价答对了。- 第一版说明下,sol 在评价那一轮说了"记下了"(用户觉得奇怪)。说明改成"不用回应记录这件事"之后不再说,但偶尔还会说"我会留意……""I'll use those preferences……"。
- luna 碰到只有评价、没有问题的那一轮,两次没写正文:一次是整条空消息(中文),一次只写了记录行(英文,界面上看是空回复)。用户定:luna 用的人少,措辞不为它改。
- Claude(Haiku 5.5,2026-10-19,桌面版测试会话,
local/v04/desktop):- 第一张图是 Read 读出来的时候,说明紧跟在工具结果后面,Haiku 把它当成工具返回里夹带的指令,不照做,还告诉了用户。Anthropic 关于对话中途系统消息的文档也写明,Sonnet 5.5 和 Haiku 5.5 可能不信任紧跟工具结果的系统消息。另外,说明里写的"用户不知道有这些记录"读起来像在瞒着用户。
- 改法(用户定):说明放在这一轮用户那条消息后面;措辞改成讲清楚用户装这个工具是为了什么,不再说"不知道"。改完中英文都照做了:三张图各写一行,编号对,写在开头。
- 评价:从别的会话转过来的消息,Haiku 不当成用户本人的评价,不记,这是对的。注明"这是用户本人的原话,由我代发"之后,中英文都记到了对的图上,但正文提到了记录("按原话对应到 a-red.png 和 b-blue.png"、"Noted: …")。用户亲手打的评价,在改成"不认同也照记"之前测过一次:Haiku 觉得"并不暗",问是哪一张,还说"确认后我再记下"。改完之后,用户亲手打的评价还没测。
- 最后一轮三张图都成了占位,中英文都没调工具,靠特征和评价答对了。中文那次开头多写了一行空记录
[//]: # ()。
- 再改两处(用户定):只有评价、没有要求时,正文简短回应评价本身,不说明记了什么、对应到哪张图;这一轮没有新图、也没有评价时不写记录行。改完重测:
- Codex:6 组里 5 组通过,评价那一轮的正文都很自然,例如"明白,第一张的颜色偏暗;第二张的构图你觉得不错。""Got it. The first feels too dark to you…"。luna 英文连着两轮各漏记一条评价(这次的正文里还按用户 Codex 全局 AGENTS.md 的要求给了英文表达建议,和插件无关)。
- Claude:中文回的是"收到。第一张(a-red.png)颜色太暗,第二张(b-blue.png)构图不错。",没有空记录行。英文还是以"Noted:"开头,其余都对。评价仍是由我代发的。
- 还没验证:Claude 里用户亲手打的评价;记录行写在开头时,生成过程中会不会闪一下。这两项放到发布后的实测里(见第 5 节)。
- Codex(2026-10-19,
- 新图当轮就有编号:Codex 和 Claude 每一轮发出第一个请求时,看本机记录里有没有这一轮的新图。
- 没有时,按出现的顺序推出它们将来的编号。编号只看出现顺序,推出来的应该和之后记录里的一致,要验证。
- Codex(2026-10-19):通过,6 组都是。新上传的图在它那一轮的第一个请求里就已经在本机记录里(Codex 先写记录再发请求),不用推编号;看图工具打开的图,在紧接着的下一个请求里也认得。
- Claude(2026-10-19):通过。Read 读出的图在工具结果之后的那个请求里就认得;用户上传的图在它那一轮的请求里就认得。也不用推编号。
- 压缩之后:
- Codex 用 app-server 的
thread/compact/start压缩,压缩后之前的图还在请求里,以占位的形式出现; - Claude 按 v0.5 的做法补在摘要后面;
- 两边的占位里都带着特征行。
- Codex(2026-10-19,
local/v08/gate4-codex.ts,推理强度 low):用户的案例,6 组全部选对。开头上传同一个角色的半身中景,中间两张无关的色块图,再上传脸部近景并说"这张最好";用thread/compact/start压缩一次,再问"做五官参考用哪张"。- 压缩后的请求里 4 张图都还在,都是带特征行的占位,近景那张还带着"评价:第 3 轮'这张最好'"。
- 6 组都答近景那张,都没调工具,理由是"正面脸部特写"和"你说过这张最好"。再问压缩前那两张色块图,也都靠特征答对了。
- luna 英文没记下"this one is the best"(第三次漏记评价),但靠特征行里的"脸部近景"照样选对了。
- 跑第一次时,经本机代理去上游的一个请求 20 分钟没有回应,同一时间 app-server 自己连 chatgpt.com 也失败了。这是网络的问题,重跑通过。
- Claude 还没测:要有人在测试会话里打
/compact,放到发布后的实测里(见第 5 节)。
- Codex 用 app-server 的
4. 做法
- 认记录(
thread-index.ts、claude-index.ts):- 只从模型的回复(assistant 消息)里认
[//]: # (cam …)这种记录行。用户消息和工具结果里出现同样的字不算,防止网页内容里藏着指令。 - 每条特征行和评价归到对应的编号下,评价记下它所在的轮次。
- 引擎和插件服务各自从记录里算,不共享状态,也不另存文件,和编号的做法一样。
- 只从模型的回复(assistant 消息)里认
- 搜索用的文字:每张图那一轮里用户说的话、生图提示词或工具调用的参数、模型的回复(截取一段),再加上特征行和评价。这些只给面板用;每张图截一个长度上限,免得图多时面板数据太大。
- 发给模型的内容(
rewrite.ts、claude-rewrite.ts):- 另加一条“特征行说明”,告诉模型怎么写特征行、怎么记评价(写在最后那条回复的开头)、不要在正文里提。它从第一张图所在的那一轮起插入,只给主任务:Codex 里放在那一轮之前;Claude 里放在那一轮用户那条消息后面,不紧跟工具结果(见关卡 2)。原来的“上下文管理说明”不变,照旧在有图被省略时才插入。
- 每张图都带编号标题,这一轮的新图也带;“重复”占位只指向之前各轮的规则不变。
- 占位里加上特征行和评价;第二行改短。
- 缓存:勾选和记录都不变时,改写的结果逐字节相同;这一轮新图的编号标题,只影响请求的末尾。后来加的评价会让那张图的占位变一次,缓存从那里往后断一次,和改一次勾选一样。在 Claude 新账号上,照现有的做法,去掉之后对不上的思考记录。
- 什么时候改写(
proxy.ts的needsRewrite、claudeNeedsRewrite):- Codex 不变:有取消的图,或者用过自动选图,才改写。
- Claude 改成:会话里有图就改写。
- 子代理和旁聊:去掉开关。
selection.ts不再读childrenAuto,cam_set_selection也不再收这个参数,它们一律按自动选图管。 - 面板(
panel.html、panel-state.ts):- 按第 2 节重做。面板数据里加上特征行、评价、场景和搜索用的文字,这些只用于搜索和分组。
- 定位沿用现在的滚动和闪烁,对象从一行换成一格。
- 中英文两份文字表一起改。
- 开发页(
spike/scripts/panel-dev.ts)的合成任务加上特征行、场景、PDF 页面和网页截图。 - 界面做到关键节点就截图给用户看,等反馈再继续;Claude 那一版在 Claude 桌面版自带的浏览器里截图。
- 顺带修的引擎问题(随 v0.8.0 一起发,不单独发 0.7.x,用户 2026-10-19 定):引擎回 426 拒掉 Codex 的 WebSocket 之后,Codex 如果直接重置连接,引擎进程会整个退出,0.7.1 里就有。跑关卡 2、3 的探针时,6 个测试引擎里有 4 个这样退出。现在升级连接一进来就挂上错误监听(
proxy.ts,回归测试在proxy-http.test.ts)。 - 文档:发布时一起改 spec、design、README(功能、用法、演示图)和 CHANGELOG。spec 要改的地方有:核心概念、选择规则、占位符、界面、Claude 一节、非目标,以及硬约束里“请求里的其他内容原样转发”那一条。
5. 测试
- 单元测试:
- 认记录:记录行只认模型的回复;各种写法;超长时截断;评价最多显示 3 条;推出来的编号。
- 发给模型的内容:占位、标题、两条说明(中英文);说明插入的位置;缓存(两次请求逐字节相同,变化只出现在末尾)。
- 改写时机:Codex 手动模式在第一次取消勾选之前,请求不变;子代理和旁聊不再看开关。
- 面板:面板数据里的场景和搜索文字;面板文字中英文一一对应。
- 重跑自测(按 AGENTS.md):
v01-placeholder-selftest、v01-needs-selftest、v03-auto-selftest、v07-children-selftest,三个 GPT-6 模型,中文和英文各跑一遍。 - 发布前的结果(2026-10-19、20,五个自测 × 三个模型 × 中英文,各 6 组):
- sol、astra 全部通过。
v01-needs:6 组全过。v08-features:5 组通过,luna 英文漏记了“近景最好”这条评价。v01-placeholder:第一遍 luna 的两组没过,是测试的问题:v0.6 起新任务默认开着自动选图,描述那一轮图已经被省略;Codex 把任务改走 HTTP 时的重连也被算成了错误。改成从第一轮就是手动模式、重连不算错之后重跑,5 组通过,luna 英文说看不到图,但没有写“need IMG-001”。v03-auto:第一遍 3 组卡在同一时刻:发往上游的请求 20 分钟没有回应,app-server 自己连 chatgpt.com 也失败,是网络问题。跑完的 3 组都是该取图时没取、却答对了:模型在上传那一轮的特征行里写下了角落的数字。测试改成“取了图,或者特征行里有这个数字”都算对(见 design.md 第 10 节),重跑 4 组通过;luna 两组取回了图,却把 5 读成 3(和 0.3、0.6 一样),英文那组还有一问没取图,让用户把图附上。v07-children:5 组通过;luna 英文的子代理第二轮正确省略了第一轮的图,但没有取回,说看不到,重跑一次还是这样(0.7.0 也记过 luna 的子代理这类情况)。- luna 的问题都是模型本身的,用户 2026-10-19 定 luna 用的人少,措辞不为它改。
- 新加自测
spike/src/v08-features-selftest.ts:测试引擎加测试 app-server,推理强度 low,三个 GPT-6 模型,中英文。- 新图:模型写了特征行,格式对,编号对,正文里没提。
- 评价:隔几轮说“之前那张……不行”,记到了对的那张上,带着轮次。
- 用户的案例:开头放一张人物中景,中间放一张人物近景并说“这张最好”。压缩一次后要五官参考,看模型拿的是不是近景那张。
- 压缩后问中间某张图:模型靠特征行答出来,或者取回了对的那张。
- Claude:用 Claude 桌面版的真实会话,Haiku 5.5,中英文,
/compact之后跑同样几组。 - 实测(用户 2026-10-19 定):放在发布以后。用户和 GPT 安排一个具体的真实任务,直接用插件,再把体验反馈回来。Claude 里亲手打的评价、开头的记录行在生成时闪不闪、
/compact之后的关卡 4,也到那时一起看。 - 面板:开发页和 Claude 桌面版都截图,给用户看过。
6. 验收
- 新图的特征行由模型写下,用户看不到记录的过程。
- 压缩之后,模型按特征行拿对了图(用户的案例通过);问压缩前的图,它能答出特征。
- 面板的搜索、筛选、场景、按轮浏览、预览开关、定位闪烁和占用卡片,都按第 2 节工作,Codex 和 Claude 两边都行。
- Codex 手动模式在第一次取消勾选之前,请求和现在一样原样转发。
- 原有的测试和自测不退化。