Skip to content

👾 Open Computer Use – Open-Source Alternative to Codex Computer Use

11.9 KB
Raw Blame

Codex 上游抓包与评估样本沉淀

这份文档描述如何用 mitmdump + 仓库内的 scripts/codex_dump.py 抓取 Codex 到上游的 HTTP / WebSocket 流量,并把样本沉淀到仓库内的 artifacts/codex-dumps/ 目录做后续分析和 eval。

默认排查顺序里,这份文档应该优先于 docs/references/codex-local-runtime-logs.md:

  • 先看上游 LLM call dump。
  • 再看同一个 dump 目录里的 local-sessions/*.json,确认本地 function_call / function_call_output。
  • 只有当这两层仍然不足以解释本地 tool / MCP 行为时,才补查 Codex 自己更底层的本地日志。

现在的 scripts/codex_dump.py 会利用 websocket 握手里的 session_id,把对应的 ~/.codex/sessions/rollout-*.jsonl 摘要一起落到当前 session 目录里,所以很多关于官方 computer-use 的问题,已经不需要第一时间跳去查 logs_2.sqlite。

适用场景

  • 观察 Codex 实际发往上游的请求形态。
  • 记录不同 prompt / 配置 /模型下的真实响应轨迹。
  • 为后续 eval、回归对比或逆向分析沉淀样本。
  • 让 Agent 可以直接在后台启动抓包,再执行一批 Codex 用例。

目录约定

抓包结果推荐统一写到:

artifacts/codex-dumps/<session-name>/

这个目录已经被 .gitignore 忽略,适合长期把真实样本保存在仓库工作区里而不误提交。

建议每次实验单独建一个 session 目录,例如:

artifacts/codex-dumps/20260417-basic-ok/
artifacts/codex-dumps/20260417-tool-call-case-a/
artifacts/codex-dumps/20260417-reasoning-compare-gpt54/

前置条件

  1. 本机已安装 mitmproxy / mitmdump。
  2. mitm CA 文件存在:
$HOME/.mitmproxy/mitmproxy-ca-cert.pem
  1. 如需让 GUI app 也走代理,还需要把 mitm CA 导入并信任到系统钥匙串;但对 CLI 抓包,显式设置 SSL_CERT_FILE 通常就够用。

前台启动 mitmdump

最直接的前台跑法:

mitmdump \
  --listen-host 127.0.0.1 \
  --listen-port 8082 \
  -s scripts/codex_dump.py \
  --set codex_dump_dir=artifacts/codex-dumps/session-001

然后在另一个终端里让 Codex 走这个代理:

HTTPS_PROXY=http://127.0.0.1:8082 \
NO_PROXY=127.0.0.1,localhost \
SSL_CERT_FILE=$HOME/.mitmproxy/mitmproxy-ca-cert.pem \
codex exec --skip-git-repo-check -C /tmp 'reply with one word: ok'

后台启动 mitmdump

如果希望 Agent 或脚本自己在后台拉起抓包,优先直接用仓库内脚本:

./scripts/start-codex-mitm-dump.sh basic-ok

这个脚本会自动:

  • 创建 artifacts/codex-dumps/<session-name>/
  • 后台启动 mitmdump
  • 写入 mitmdump.log
  • 写入 mitmdump.pid
  • 生成 codex-proxy.env,方便后续 source

最常见的后续用法是:

source artifacts/codex-dumps/basic-ok/codex-proxy.env
codex exec --skip-git-repo-check -C /tmp 'reply with one word: ok'

如果你需要完全手工控制,也可以用下面这套等价底层写法:

session_dir="artifacts/codex-dumps/$(date +%Y%m%d-%H%M%S)-basic-ok"
mkdir -p "$session_dir"

nohup setsid mitmdump \
  --listen-host 127.0.0.1 \
  --listen-port 8082 \
  -s scripts/codex_dump.py \
  --set codex_dump_dir="$session_dir" \
  </dev/null >"$session_dir/mitmdump.log" 2>&1 &

echo $! >"$session_dir/mitmdump.pid"

这套方式有几个优点:

  • 不依赖交互终端,适合 Agent 直接执行。
  • 日志、PID 和抓包内容都落在同一个 session 目录里。
  • 后续批量跑多个 Codex case 时,不需要重复手工盯着 mitm UI。

停止抓包:

kill "$(cat "$session_dir/mitmdump.pid")"

通过代理执行 Codex case

固定写法建议如下:

HTTPS_PROXY=http://127.0.0.1:8082 \
NO_PROXY=127.0.0.1,localhost \
SSL_CERT_FILE=$HOME/.mitmproxy/mitmproxy-ca-cert.pem \
codex exec --skip-git-repo-check -C /tmp 'reply with one word: ok'

如果要跑多组 case,推荐只启动一次 mitmdump,然后串行执行多条 Codex 命令,并为每个 case 建独立 session 目录。

主要会抓到什么

当前 Codex 主模型调用通常会命中:

https://chatgpt.com/backend-api/codex/responses

它不是普通 REST body,而是:

  1. 先发起 GET /backend-api/codex/responses
  2. 返回 101 Switching Protocols
  3. 后续通过 WebSocket 帧承载:
    • response.create
    • response.created
    • response.in_progress
    • response.output_text.delta
    • response.completed

辅助流量里还可能看到:

  • https://chatgpt.com/backend-api/wham/apps
  • https://chatgpt.com/backend-api/plugins/featured
  • analytics 相关请求

输出结构

scripts/codex_dump.py 默认会生成:

artifacts/codex-dumps/<session-name>/
  http/
  websocket/
  local-sessions/

其中:

  • http/*.json 保存匹配到的 HTTP 请求和响应。
  • websocket/*.jsonl 按事件逐行保存 WebSocket 开始、消息和结束。
  • local-sessions/*.json 从 ~/.codex/sessions/rollout-*.jsonl 导出的结构化摘要,只保留当前抓包 session_id 命中的 user prompt、tool call、tool result 和 final answer。
  • mitmdump.log 如果用后台方式启动,会包含 mitmdump 自身日志。
  • mitmdump.pid 如果用后台方式启动,会保存后台进程 PID。

把这三层串起来看,通常就能直接回答:

  • websocket/ 模型何时决定调用哪个 tool,以及调用参数是什么。
  • local-sessions/ Codex 宿主实际把哪个 function_call 分发给了本地 MCP,以及 function_call_output 返回了什么。
  • http/ 非 websocket 的补充请求,例如 wham/apps、plugin/config 初始化等。

脱敏默认值

仓库内的 scripts/codex_dump.py 默认会对以下内容做脱敏:

  • Authorization
  • Cookie / Set-Cookie
  • 常见 token / api key 字段

这能降低误把认证信息直接写盘的风险,但并不意味着抓包结果可以随意外传。样本里仍然可能包含:

  • prompt
  • tool call 参数
  • 模型回复
  • 会话元数据

因此建议:

  • 优先把抓包结果留在本机。
  • 做 eval 留档时,只共享必要片段或二次脱敏后的摘要。
  • 不要把 artifacts/codex-dumps/ 从 .gitignore 里移除。

推荐工作流

  1. 创建一个明确命名的 session 目录。
  2. 后台启动 mitmdump。
  3. 通过 HTTPS_PROXY 跑一组 Codex case。
  4. 结束后停止 mitmdump。
  5. 重点分析:
    • websocket/ 里的 response.create
    • websocket/ 里的 response.output_item.done,尤其是 item.type=="function_call"
    • local-sessions/ 里的对应 tool_calls[].output
    • response.output_text.delta
    • response.completed
  6. 把结论、差异和评估结果沉淀到仓库文档,而不是直接提交原始抓包。

常见问题

1. 只能看到部分请求,看不到主 LLM call

优先检查:

  • 是否真的让 Codex 继承了 HTTPS_PROXY
  • 是否设置了 SSL_CERT_FILE=$HOME/.mitmproxy/mitmproxy-ca-cert.pem
  • 是否在抓 chatgpt.com/backend-api/codex/responses
  • 是否只盯着 HTTP,而没有看 websocket/*.jsonl
  • 如果要看本地 tool 结果,是否同时检查了 local-sessions/*.json

2. 为什么不直接抓 api.openai.com

当前这台机器上的 Codex 主链路实际走的是 chatgpt.com/backend-api/codex/responses,不是传统的 api.openai.com/v1/...。

3. 为什么默认不建议用 ALL_PROXY

ALL_PROXY 可能把本地 127.0.0.1 的 MCP 流量也一起代理走,容易干扰本地调试链路。默认只设 HTTPS_PROXY 更稳。

4. prompt 里写 computer-use 和 open-computer-use,为什么调用路径不一样

在 2026-04-17 这台机器上的真实样本里,prompt 文案本身会明显影响模型优先尝试的 tool namespace:

  • prompt 直接写 computer-use 模型会先尝试官方 bundled mcp__computer_use__*。
  • prompt 直接写 open-computer-use 模型会优先尝试仓库插件的 mcp__open_computer_use__*。

这意味着做 A/B 调试时,prompt 命名本身就是一个变量,不能忽略。想稳定比较两套实现时,建议:

  1. 对两组 case 使用几乎相同的任务语义。
  2. 只替换 tool 名称锚点,例如 computer-use vs open-computer-use。
  3. 给每次实验加唯一标记,便于从 websocket/*.jsonl 和本地日志里精确过滤。

5. open-computer-use 调用失败时,怎么判断是插件宿主取消还是 MCP server 本身坏了

推荐先把问题拆成两层:

  1. 用 MITM 或本地日志看 Codex 宿主是否真的发起了 mcp__open_computer_use__* 调用。
  2. 直接对插件 launcher 做最小 JSON-RPC 探测,验证 server 本身能否 initialize、tools/list、tools/call。

例如:

printf '%s\n%s\n%s\n' \
'{"jsonrpc":"2.0","id":1,"method":"initialize","params":{}}' \
'{"jsonrpc":"2.0","id":2,"method":"notifications/initialized","params":{}}' \
'{"jsonrpc":"2.0","id":3,"method":"tools/call","params":{"name":"list_apps","arguments":{}}}' \
| ./plugins/open-computer-use/scripts/launch-open-computer-use.sh

如果 direct JSON-RPC 能正常返回,而 Codex 会话里仍然显示 tool 被取消或根本没有继续执行,优先怀疑:

  • Codex host / plugin gate
  • 当前会话对第三方插件的策略
  • 插件缓存或安装态没有同步到最新

不要一开始就假设是 MCP server 逻辑本身坏了。先把“宿主问题”和“server 问题”分开,排查成本会低很多。

6. 做官方 computer-use 和 open-computer-use A/B 时,建议显式隔离另一个 plugin

如果两套 plugin 同时启用,prompt 里的 tool 名称锚点会显著影响模型路由。做更纯净的 A/B 时,建议在单次 codex exec 上临时关闭另一套 plugin,而不是直接共存跑。

仓库内已经提供 helper:

./scripts/run-isolated-codex-exec.sh computer-use --skip-git-repo-check -C /tmp \
  '使用computer-use列出正在运行的前三个应用'

./scripts/run-isolated-codex-exec.sh open-computer-use --skip-git-repo-check -C /tmp --json \
  '使用open-computer-use列出正在运行的前三个应用'

它本质上只是给 codex exec 增加临时 config override:

  • computer-use 会加 -c 'plugins."open-computer-use@open-computer-use-local".enabled=false'
  • open-computer-use 会加 -c 'plugins."computer-use@openai-bundled".enabled=false'

这比直接改 ~/.codex/config.toml 更安全,因为:

  • 只影响当前这一条命令。
  • 不需要手工改全局配置后再恢复。
  • 更适合批量 eval 或 Agent 后台脚本。

7. 当前这台机器上的隔离验证结论

2026-04-17 的隔离样本已经验证:

  1. -c 'plugins."...".enabled=false' 这条覆写是生效的。
  2. 只保留官方 computer-use 时,computer-use/list_apps 可以正常完成。
  3. 只保留 open-computer-use 时,open-computer-use/list_apps 仍然直接返回 user cancelled MCP tool call。
  4. 同时,直接对 ./plugins/open-computer-use/scripts/launch-open-computer-use.sh 发 JSON-RPC 的 tools/list / tools/call list_apps 是正常的。

这说明在当前环境里:

  • “两套 plugin 互相干扰”不是主要问题。
  • open-computer-use MCP server 本身不是这一步的主故障点。
  • 更可能的瓶颈仍然在 Codex host 对第三方 plugin 调用的 gate 或会话策略上。

8. 后台 mitmdump 显示启动成功,但代理端口很快就没了

先看 mitmdump.log。仓库内 scripts/start-codex-mitm-dump.sh 现在会额外检查端口是否真的开始监听,但在某些受控 runner / agent 宿主里,父进程结束时仍然可能把后台子进程一起清掉。

如果你遇到这种情况,优先用下面几种更稳的方式:

  1. 在真实登录 shell、tmux 或单独终端里执行 ./scripts/start-codex-mitm-dump.sh。
  2. 或者直接前台运行 mitmdump / mitmweb,再在另一个终端执行 codex exec。
  3. 不要把“脚本返回了 PID”误当成“代理一定还活着”,先用 lsof -nP -iTCP:<port> -sTCP:LISTEN 确认监听状态。