A local plugin for image-heavy chats in Codex, Claude Code and other agents: earlier images stop going out with every message, and the model fetches the one it needs by its ID, also after compaction.
TypeScript ai-agentsclaude-codeclaude-code-plugincodexcodex-plugincontext-managementdeveloper-toolsimage-generationmcpmultimodal
docs(p2): 记录真实样本的耗时、分叉任务的修复和占位符措辞的确认
chipfighterf94c86470e1f
diff --git a/docs/p2-report.md b/docs/p2-report.mdindex d5b935d..762c22c 100644--- a/docs/p2-report.md+++ b/docs/p2-report.md@@ -17,7 +17,7 @@|---|---|| 1. 取消的图不再发送,请求变小 | 通过:a.png、b-copy.png、noise.png 的内容都没有出现在请求里(按内容哈希核对)。请求从 3,205,210 字节降到 37,382 字节(压缩后),解压后是 4,312,287 → 105,242 字节 || 2. 占位符种类正确 | 通过:a.png、noise.png 是普通占位符;b-copy.png 是指向 b.png(IMG-002)的重复占位符 |-| 3. 模型不编造,并按约定索要 | 通过(调整措辞之后,见第 3 节):模型回答“需要 IMG-001,才能回答。”;对 b-copy.png 则按 IMG-002 正确说出“黄色背景……蓝色圆形,左上角有一个绿色小方块” |+| 3. 模型不编造,并按约定索要 | 通过(调整措辞之后,见第 4 节):模型回答“需要 IMG-001,才能回答。”;对 b-copy.png 则按 IMG-002 正确说出“黄色背景……蓝色圆形,左上角有一个绿色小方块” || 4. 重新勾选后能正确使用 | 通过:模型回答“白色背景,主要形状是红色正方形,右下角有一个黑色小方块标记。” || 5. 同一个任务,不报错、不重连 | 通过:4 轮都在同一个任务里,没有报错和重试 || 6. 全部勾选时原样转发 | 通过:最后一轮没有改写,请求带着全部 4 张图 |@@ -30,13 +30,30 @@- **重新序列化没有副作用**:真实请求体经 `JSON.parse` 再 `JSON.stringify` 能逐字节还原,改写只改变被替换的部分。- **小图不一定省字节**:只取消几 KB 的小图时,占位符文字可能比图还大,压缩后的请求甚至略大一点(第一次自测:37,037 → 37,140 字节)。省字节主要靠大图,这符合预期。-## 3. 占位符措辞的调整+## 3. 耗时(真实样本实测)++用阶段 0 的真实样本测(只读)。原任务一共 14 次图片出现,其中 10 张内容不同,完整请求解压后 43.9 MB、压缩后 32.7 MB。++| 步骤 | 耗时 |+|---|---|+| 字节指纹(SHA-256),每张大图 | 1–5 毫秒;14 张合计 48 毫秒 |+| 像素指纹(解码 PNG),每张大图 | 40–110 毫秒 |+| 第一次建立任务索引(含全部指纹) | 约 1.2 秒;每个任务只算一次 |+| 之后再读索引(记录没变) | 约 8 毫秒 |+| 代理改写一次完整请求(43.9 MB) | 约 0.6 秒;其中解压 0.09、解析 0.09、找图 0.05、替换不到 0.001、序列化 0.21、压缩 0.12 秒 |++- 对照:Codex 自己压缩同一个请求约 0.18 秒。+- 没有取消项的任务,代理原样转发,不做这些处理。+- 这两个样本里,字节指纹已经找出全部重复,像素指纹没有找出新的。+- 测量中发现并修好了一个问题:分叉任务的前半段历史在父任务的记录文件里,原来读不到;现在沿 `history_base` 跨任务读取,并加了单元测试。++## 4. 占位符措辞的调整- **第一次自测**:原措辞是“需要查看时,请在回复里写‘需要 IMG-001’”。问题里带着“看不到的就直说”这句话时,模型只回答“看不到,无法判断”,没有索要。- **调整**:措辞改成“如果回答需要看这张图,请在回复里写出‘需要 IMG-001’,用户可以在下一轮重新勾选提供”,问题里也去掉了那句引导。-- **第二次自测**:模型按约定索要了。+- **第二次自测**:模型按约定索要了。用户 2026-09-24 认可现在的措辞。-## 4. 待办和限制+## 5. 待办和限制- **P2-6 桌面版验证**:需要用户配合,步骤见 tasks.md。- **生图和改图**:桌面版目前带的是 `0.155.0-alpha.16.4`,环境变量里有代理、又没有 `NO_PROXY` 的用户,开着代理时不能生图和改图。上游从 `0.158.0-alpha.8` 起已修复,要等桌面版跟进。diff --git a/docs/plan.md b/docs/plan.mdindex 2eac9c2..8218c2e 100644--- a/docs/plan.md+++ b/docs/plan.md@@ -183,6 +183,8 @@ P1 通过后,再按用户的节奏一步步探索改写。- **编号**:从任务的本地记录(rollout,只读)里按顺序找出所有图片出现记录,依次编号 IMG-001、IMG-002……- 编号只由记录内容决定,命令行(以后是面板)和代理各自读取,结果一致。- 记录只会追加,所以已有的编号不变。代理按文件增量读取,只解析新增的行。+ - 分叉任务的前半段历史在父任务的记录文件里,要沿 `history_base` 跨任务读取。+ - 工具查看的图,如果路径是经变量传进去的,就取不到文件名;这时借用内容相同、有名字的那一张的名字。- **识别键**:条目 `id` 加图片在条目里的序号;没有 `id` 时用 `call_id`;两者都没有时,用类型、轮次和内容哈希。- **内容相同**:先比较 base64 内容的哈希,再比较 PNG 解码后的像素哈希。- **勾选状态**:每个任务一个文件,只记被取消的识别键。验证阶段放在 `local/selection/`;产品里放在工具自己的数据目录,不写进 `~/.codex`。diff --git a/docs/spec.md b/docs/spec.mdindex b7d7b56..e6a1a00 100644--- a/docs/spec.md+++ b/docs/spec.md@@ -38,6 +38,7 @@- **重复占位符**:包含编号、名称、来源、所在轮次和尺寸,说明它和哪一条(编号、名称、轮次)内容完全相同,那一条照常提供,请参考那一条。- 占位符里不写本地路径。Codex 附在上传图片前后的路径标签,也一起换掉。- 勾选状态不变时,占位符的文字每次都一样,不影响缓存。+- 现行措辞见 `spike/src/rewrite.ts`,用户 2026-09-24 认可;以后改措辞要重新做 P2 自测里的索要检查。### 界面diff --git a/docs/tasks.md b/docs/tasks.mdindex b010393..94b3e0c 100644--- a/docs/tasks.md+++ b/docs/tasks.md@@ -19,6 +19,7 @@- 不能安全改写时原样转发,并记下原因。- [x] **P2-5 自测**(证据:`local/p2/selftest-run2.json`;10 项检查全部通过,见 `docs/p2-report.md`)- 我们自己启动的 app-server,环境和桌面版一致,在同一个任务里走完上传、取消、询问、重新勾选、再询问、全部勾选。+ - 另外用阶段 0 的真实样本(原任务和 fork,只读)测了耗时,并修好了读不到分叉任务的问题(证据:`local/p2/bench-*.json`;`spike/src/p2-bench.ts`)。- [ ] **P2-6 桌面版验证**【需用户】- 打开配置、启动代理,用户重启桌面版。- 在一个测试任务里上传几张图并发一轮;用命令行取消其中一张和一个副本;用户询问这两张图,确认模型索要原图、按副本指向的那一张回答,而且对话照常显示;重新勾选后再问一次。