Skip to content

Stop paying the multimodal tax. Your AI agent keeps every image it has seen but only sends the ones it needs: lighter chats, no endless reconnecting, no starting over. Works with Codex, Claude Code, Cline, Gemini CLI, OpenCode, WorkBuddy and more. Install once, forget it.

9.4 KB
Raw Blame

v0.6 方案:默认开启自动选图;Claude 桌面版自动打开面板

状态:用户 2026-10-13 定;开发和实测完成(第 5 节),2026-10-13 发布 v0.6.0(用户同意直接发布)。规格以 spec.md 为准,实现见 design.md。

1. 背景与目标

  • 有些用户连侧边栏都不会打开(用户 2026-10-13)。默认开着自动选图,不打开面板也能省下之前各轮的图。
  • Claude 桌面版里,用 /cam 打开的面板有时会自己关掉;用户希望不用输入 /cam,面板自己打开并保持打开,除非用户自己关掉。
  • 用户还问:自动选图时模型需要多张图,会不会都取回?

2. 规则(用户 2026-10-13 定)

  1. 默认开启自动选图:所有新任务、新会话,Codex 和 Claude 桌面版都一样。用户电脑上已有的任务和会话保持原样。用户在面板里改过的,以用户的为准。
  2. 面板自动打开(Claude 桌面版):只在有图的会话里打开。桌面版自己关掉的,会话再用时重新打开;用户自己关掉的,这个会话里不再自动打开,直到用户输入 /cam。

3. 事实与依据

  • 面板为什么会自己关(2026-10-13,Claude 桌面版的日志 %LOCALAPPDATA%\Claude\Logs\main.log):一轮结束时、或者用户离开这个会话(切到别的会话)时开始计时([WarmLifecycle:preview] Starting idle timeout … 1800s),用户回来看时计时停下;用户不在、30 分钟里又没有新的一轮,就断开这个会话的自带浏览器(Idle timeout reached, disconnecting、[Preview] Stopped servers for worktree),面板的标签页跟着关掉。Claude Code 进程照常运行,之后的请求照样经过引擎,Mod 的 session.start 不会再运行。没有设置项能改这个时间,插件也不该让会话一直醒着。
  • 另一种情况:内存紧张时,桌面版会停掉闲置很久的会话的进程([CliGovernor] pressure evicting … (idle 36301s)),会话再被使用时重新启动进程(Resuming session、spawn),这时 session.start 会再运行。
  • 自带浏览器的工具(Claude_Browser,桌面版给每个 Code 会话的,不是公开给插件的接口;终端和 VS Code 里没有):tabs_context 返回 JSON 加一行文字,列出这个会话的标签页和各自的来源(面板是 http://localhost:<引擎端口>);preview_start 每调用一次就多开一个标签页,所以打开前要先看有没有。
  • 会话的开始时间:Codex 任务的会话记录第一条(session_meta)带时间,分叉的任务记着来源;Claude Code 的会话记录每条都有时间。
  • 多张图:cam_view_image 一次可以取多张(ids 是一组编号,没有张数上限),说明里写着“几张就一次传几个”。

4. 做法

  • 默认开启自动选图(selection.ts、thread-index.ts、claude-index.ts):
    • 引擎和插件服务启动时,在选择目录里写下这个版本第一次运行的时间(auto-default.json,只写一次,Codex 和 Claude 各一份)。没有这个文件时没有默认值(测试和旧版本都是这样)。
    • 任务或会话没有自己的开关时:开始时间不早于那个时间,就当作开着,从开始时算起(autoSince);还没有会话记录的算新的。Codex 的分叉任务按它来源的任务算。默认值不写进文件,用户在面板里一改就写下来。
    • 读选择的地方都经过它:引擎改写、是否走改写(Codex 的 WebSocket 改走 HTTP)、面板、取图工具。
  • 面板自动打开(hooks/register.js):
    • 只在桌面版(自带浏览器的工具能用)、请求经过引擎时。进程启动时、每轮开始和结束时检查:这个会话有图、面板没开、用户没在这个会话里关过,就用 preview_start 打开。所以模型读了图,那一轮结束时打开;用户贴了图,那一轮开始时打开。
    • 谁关的,按时间分:桌面版最早在一轮结束 30 分钟后才关(用户一直看着这个会话时更晚)。面板在这之前没了,是用户关的:记下来(插件自己的存储,按会话记,留最近 200 个),之后不再自动打开。停了 30 分钟以上,下一轮开始时面板不在,算桌面版关的,重新打开。为了认出用户在停顿里关掉的,一轮结束 25 分钟后再看一次。剩下认不出的只有停顿的第 25 到 30 分钟之间被用户关掉的,按桌面版关的算。
    • 进程被桌面版停掉又重启的,从头算:用户关过的照样不开,其余的有图就打开。
    • /cam:清掉这个记录,打开新标签页并关掉旧的,只留一个。/clear、/resume 后,开着的面板换到新会话。
  • 多张图:不用改;补测(下面)。

5. 测试

  • 单元测试:默认值的起始时间只写一次;新任务开、旧任务关、自己的开关优先、没有记录的算新的、分叉按来源算;Claude 会话同样(面板、改写、取图工具、改成关之后保持关);引擎启动写下起始时间。
  • Mod 测试(claude plugin test,用测试时钟):有图才打开、开着就不重开、贴图的那一轮开始就打开;停顿 30 分钟以上被桌面版关掉的,下一轮重新打开;用户关掉的(停顿前 25 分钟里关的也算)不再打开,进程重启后也是,/cam 重新打开并只留一个标签页;进程重启后有图就打开;不在桌面版或请求不经过引擎时不打开。
  • Codex 自测(v03-auto-selftest.ts 新加任务 D):不设开关,看新任务是否默认开着;一个问题同时需要两张没取过的图,看模型是否都取回、答对。
  • Claude 桌面版实测:新会话默认开着、多张图一起取回、面板自动打开和关掉后不再打开。

结果(2026-10-13,开发引擎):

  1. 单元测试 196 个、Mod 测试 16 个全部通过;Mod 测试在上一版代码上跑,新加的 6 个都失败,确认测得到改动。Claude Code 的插件检查(claude plugin validate)通过。
  2. Codex 任务 D(不设开关):gpt-6-sol 中英文、gpt-6-luna 和 gpt-6-astra 中文,新任务都默认开着(之前各轮的三张图都换成了占位文字),都一次取回了两张图。sol 和 astra 答对(7 + 5 = 12);luna 把紫色图的 5 读成了 3,和 v0.3 记下的一样(小模型读取回的图会读错小细节)。
  3. Claude 桌面版(Haiku 5.5,推理强度 low):新会话的面板接口返回自动选图开着。三张图只描述了背景和形状之后,问 a-red.png 和 c-tri.png 角落小方块的位置和颜色,模型一次 cam_view_image 取回 IMG-001 和 IMG-003,答对(右下角黑色、右上角橙色)。这个会话的插件服务是旧的测试副本,所以开关是在面板接口里写下的,默认值由引擎给出。
  4. 面板自动打开,桌面版实测(测试副本按版本缓存,改完要重新安装才会被新会话用上;早上的测试会话一直用着 v0.4 时的副本,所以“没打开”):
    • 第一次实测发现:浏览器还没打开时,tabs_context 的回答在 JSON 后面多一行说明,里面也有花括号(“… navigate with {"url": …} to open it.”),按最后一个右花括号截取就解析失败,面板不开。Mod 测试的假浏览器原来没有这一行,所以没测出来;改成和真实回答一样后先失败,按括号配对取开头的 JSON 后通过。
    • 复测两个新会话(新会话都默认开着自动选图,默认值没有写进勾选文件):模型读了三张图,那一轮结束时面板自己打开(一个 3 秒、一个 34 秒)。
    • 用户关掉:让会话的模型用浏览器工具关掉面板标签页(和用户点关掉一样)。那一轮开始时面板还在,结束时不在了,插件记下“用户关的”(插件存储 closedPanels);下一轮开始和结束都没有再打开。
    • 停顿时的检查:一轮结束 25 分钟后检查了一次,面板还在,没有误记。
    • 发现桌面版的闲置计时只在用户不看这个会话时走:用户离开会话时重新开始计时,看着时不关。所以桌面版最早在一轮结束 30 分钟后关,判断规则不变。
    • 桌面版关掉的:用户 17:29:31 离开会话,桌面版 17:59:31 断开它的自带浏览器,进程照常。18:59 再发一条消息:这一轮开始时插件看到面板不在、距上一轮结束已超过 30 分钟,按桌面版关的算,没有记成用户关的,15 秒后面板重新打开。这时 tabs_context 的说明是 “isn't open yet”,和从没打开过的一样;用户关掉最后一个标签页后是 “is not open.”。插件没用这些文字判断,只记在这里。

6. 验收

  1. 升级之后新开的 Codex 任务和 Claude 会话默认开着自动选图;之前的保持原样;面板里改过的以用户的为准。
  2. 模型需要多张图时都取回(Codex 和 Claude 都测)。
  3. Claude 桌面版里有图的会话自动打开面板;被桌面版关掉的,会话再用时重新打开;用户关掉的不再自动打开,/cam 能再打开;只留一个面板标签页。
  4. 原有测试和 Codex 自测不退化。

7. 不做

  • 让会话保持唤醒、改桌面版的闲置时间:那是桌面版的事,也费资源。
  • 终端和 VS Code 里自动打开面板:那里没有自带浏览器,照旧用 /cam。