👾 Open Computer Use – Open-Source Alternative to Codex Computer Use
Codex 上游抓包与评估样本沉淀
这份文档描述如何用 mitmdump + 仓库内的 scripts/codex_dump.py 抓取 Codex 到上游的 HTTP / WebSocket 流量,并把样本沉淀到仓库内的 artifacts/codex-dumps/ 目录做后续分析和 eval。
默认排查顺序里,这份文档应该优先于 docs/references/codex-local-runtime-logs.md:
- 先看上游 LLM call dump。
- 再看同一个 dump 目录里的
local-sessions/*.json,确认本地function_call/function_call_output。 - 只有当这两层仍然不足以解释本地 tool / MCP 行为时,才补查 Codex 自己更底层的本地日志。
现在的 scripts/codex_dump.py 会利用 websocket 握手里的 session_id,把对应的 ~/.codex/sessions/rollout-*.jsonl 摘要一起落到当前 session 目录里,所以很多关于官方 computer-use 的问题,已经不需要第一时间跳去查 logs_2.sqlite。
适用场景
- 观察 Codex 实际发往上游的请求形态。
- 记录不同 prompt / 配置 /模型下的真实响应轨迹。
- 为后续 eval、回归对比或逆向分析沉淀样本。
- 让 Agent 可以直接在后台启动抓包,再执行一批 Codex 用例。
目录约定
抓包结果推荐统一写到:
artifacts/codex-dumps/<session-name>/
这个目录已经被 .gitignore 忽略,适合长期把真实样本保存在仓库工作区里而不误提交。
建议每次实验单独建一个 session 目录,例如:
artifacts/codex-dumps/20260417-basic-ok/
artifacts/codex-dumps/20260417-tool-call-case-a/
artifacts/codex-dumps/20260417-reasoning-compare-gpt54/
前置条件
- 本机已安装
mitmproxy/mitmdump。 - mitm CA 文件存在:
$HOME/.mitmproxy/mitmproxy-ca-cert.pem
- 如需让 GUI app 也走代理,还需要把 mitm CA 导入并信任到系统钥匙串;但对 CLI 抓包,显式设置
SSL_CERT_FILE通常就够用。
前台启动 mitmdump
最直接的前台跑法:
mitmdump \
--listen-host 127.0.0.1 \
--listen-port 8082 \
-s scripts/codex_dump.py \
--set codex_dump_dir=artifacts/codex-dumps/session-001
然后在另一个终端里让 Codex 走这个代理:
HTTPS_PROXY=http://127.0.0.1:8082 \
NO_PROXY=127.0.0.1,localhost \
SSL_CERT_FILE=$HOME/.mitmproxy/mitmproxy-ca-cert.pem \
codex exec --skip-git-repo-check -C /tmp 'reply with one word: ok'
后台启动 mitmdump
如果希望 Agent 或脚本自己在后台拉起抓包,优先直接用仓库内脚本:
./scripts/start-codex-mitm-dump.sh basic-ok
这个脚本会自动:
- 创建
artifacts/codex-dumps/<session-name>/ - 后台启动
mitmdump - 写入
mitmdump.log - 写入
mitmdump.pid - 生成
codex-proxy.env,方便后续source
最常见的后续用法是:
source artifacts/codex-dumps/basic-ok/codex-proxy.env
codex exec --skip-git-repo-check -C /tmp 'reply with one word: ok'
如果你需要完全手工控制,也可以用下面这套等价底层写法:
session_dir="artifacts/codex-dumps/$(date +%Y%m%d-%H%M%S)-basic-ok"
mkdir -p "$session_dir"
nohup setsid mitmdump \
--listen-host 127.0.0.1 \
--listen-port 8082 \
-s scripts/codex_dump.py \
--set codex_dump_dir="$session_dir" \
</dev/null >"$session_dir/mitmdump.log" 2>&1 &
echo $! >"$session_dir/mitmdump.pid"
这套方式有几个优点:
- 不依赖交互终端,适合 Agent 直接执行。
- 日志、PID 和抓包内容都落在同一个 session 目录里。
- 后续批量跑多个 Codex case 时,不需要重复手工盯着 mitm UI。
停止抓包:
kill "$(cat "$session_dir/mitmdump.pid")"
通过代理执行 Codex case
固定写法建议如下:
HTTPS_PROXY=http://127.0.0.1:8082 \
NO_PROXY=127.0.0.1,localhost \
SSL_CERT_FILE=$HOME/.mitmproxy/mitmproxy-ca-cert.pem \
codex exec --skip-git-repo-check -C /tmp 'reply with one word: ok'
如果要跑多组 case,推荐只启动一次 mitmdump,然后串行执行多条 Codex 命令,并为每个 case 建独立 session 目录。
主要会抓到什么
当前 Codex 主模型调用通常会命中:
https://chatgpt.com/backend-api/codex/responses
它不是普通 REST body,而是:
- 先发起
GET /backend-api/codex/responses - 返回
101 Switching Protocols - 后续通过 WebSocket 帧承载:
response.createresponse.createdresponse.in_progressresponse.output_text.deltaresponse.completed
辅助流量里还可能看到:
https://chatgpt.com/backend-api/wham/appshttps://chatgpt.com/backend-api/plugins/featured- analytics 相关请求
输出结构
scripts/codex_dump.py 默认会生成:
artifacts/codex-dumps/<session-name>/
http/
websocket/
local-sessions/
其中:
http/*.json保存匹配到的 HTTP 请求和响应。websocket/*.jsonl按事件逐行保存 WebSocket 开始、消息和结束。local-sessions/*.json从~/.codex/sessions/rollout-*.jsonl导出的结构化摘要,只保留当前抓包session_id命中的 user prompt、tool call、tool result 和 final answer。mitmdump.log如果用后台方式启动,会包含 mitmdump 自身日志。mitmdump.pid如果用后台方式启动,会保存后台进程 PID。
把这三层串起来看,通常就能直接回答:
websocket/模型何时决定调用哪个 tool,以及调用参数是什么。local-sessions/Codex 宿主实际把哪个function_call分发给了本地 MCP,以及function_call_output返回了什么。http/非 websocket 的补充请求,例如wham/apps、plugin/config 初始化等。
脱敏默认值
仓库内的 scripts/codex_dump.py 默认会对以下内容做脱敏:
Authorization- Cookie / Set-Cookie
- 常见 token / api key 字段
这能降低误把认证信息直接写盘的风险,但并不意味着抓包结果可以随意外传。样本里仍然可能包含:
- prompt
- tool call 参数
- 模型回复
- 会话元数据
因此建议:
- 优先把抓包结果留在本机。
- 做 eval 留档时,只共享必要片段或二次脱敏后的摘要。
- 不要把
artifacts/codex-dumps/从.gitignore里移除。
推荐工作流
- 创建一个明确命名的 session 目录。
- 后台启动
mitmdump。 - 通过
HTTPS_PROXY跑一组 Codex case。 - 结束后停止
mitmdump。 - 重点分析:
websocket/里的response.createwebsocket/里的response.output_item.done,尤其是item.type=="function_call"local-sessions/里的对应tool_calls[].outputresponse.output_text.deltaresponse.completed
- 把结论、差异和评估结果沉淀到仓库文档,而不是直接提交原始抓包。
常见问题
1. 只能看到部分请求,看不到主 LLM call
优先检查:
- 是否真的让 Codex 继承了
HTTPS_PROXY - 是否设置了
SSL_CERT_FILE=$HOME/.mitmproxy/mitmproxy-ca-cert.pem - 是否在抓
chatgpt.com/backend-api/codex/responses - 是否只盯着 HTTP,而没有看
websocket/*.jsonl - 如果要看本地 tool 结果,是否同时检查了
local-sessions/*.json
2. 为什么不直接抓 api.openai.com
当前这台机器上的 Codex 主链路实际走的是 chatgpt.com/backend-api/codex/responses,不是传统的 api.openai.com/v1/...。
3. 为什么默认不建议用 ALL_PROXY
ALL_PROXY 可能把本地 127.0.0.1 的 MCP 流量也一起代理走,容易干扰本地调试链路。默认只设 HTTPS_PROXY 更稳。
4. prompt 里写 computer-use 和 open-computer-use,为什么调用路径不一样
在 2026-04-17 这台机器上的真实样本里,prompt 文案本身会明显影响模型优先尝试的 tool namespace:
- prompt 直接写
computer-use模型会先尝试官方 bundledmcp__computer_use__*。 - prompt 直接写
open-computer-use模型会优先尝试仓库插件的mcp__open_computer_use__*。
这意味着做 A/B 调试时,prompt 命名本身就是一个变量,不能忽略。想稳定比较两套实现时,建议:
- 对两组 case 使用几乎相同的任务语义。
- 只替换 tool 名称锚点,例如
computer-usevsopen-computer-use。 - 给每次实验加唯一标记,便于从
websocket/*.jsonl和本地日志里精确过滤。
5. open-computer-use 调用失败时,怎么判断是插件宿主取消还是 MCP server 本身坏了
推荐先把问题拆成两层:
- 用 MITM 或本地日志看 Codex 宿主是否真的发起了
mcp__open_computer_use__*调用。 - 直接对插件 launcher 做最小 JSON-RPC 探测,验证 server 本身能否
initialize、tools/list、tools/call。
例如:
printf '%s\n%s\n%s\n' \
'{"jsonrpc":"2.0","id":1,"method":"initialize","params":{}}' \
'{"jsonrpc":"2.0","id":2,"method":"notifications/initialized","params":{}}' \
'{"jsonrpc":"2.0","id":3,"method":"tools/call","params":{"name":"list_apps","arguments":{}}}' \
| ./plugins/open-computer-use/scripts/launch-open-computer-use.sh
如果 direct JSON-RPC 能正常返回,而 Codex 会话里仍然显示 tool 被取消或根本没有继续执行,优先怀疑:
- Codex host / plugin gate
- 当前会话对第三方插件的策略
- 插件缓存或安装态没有同步到最新
不要一开始就假设是 MCP server 逻辑本身坏了。先把“宿主问题”和“server 问题”分开,排查成本会低很多。
6. 做官方 computer-use 和 open-computer-use A/B 时,建议显式隔离另一个 plugin
如果两套 plugin 同时启用,prompt 里的 tool 名称锚点会显著影响模型路由。做更纯净的 A/B 时,建议在单次 codex exec 上临时关闭另一套 plugin,而不是直接共存跑。
仓库内已经提供 helper:
./scripts/run-isolated-codex-exec.sh computer-use --skip-git-repo-check -C /tmp \
'使用computer-use列出正在运行的前三个应用'
./scripts/run-isolated-codex-exec.sh open-computer-use --skip-git-repo-check -C /tmp --json \
'使用open-computer-use列出正在运行的前三个应用'
它本质上只是给 codex exec 增加临时 config override:
computer-use会加-c 'plugins."open-computer-use@open-computer-use-local".enabled=false'open-computer-use会加-c 'plugins."computer-use@openai-bundled".enabled=false'
这比直接改 ~/.codex/config.toml 更安全,因为:
- 只影响当前这一条命令。
- 不需要手工改全局配置后再恢复。
- 更适合批量 eval 或 Agent 后台脚本。
7. 当前这台机器上的隔离验证结论
2026-04-17 的隔离样本已经验证:
-c 'plugins."...".enabled=false'这条覆写是生效的。- 只保留官方
computer-use时,computer-use/list_apps可以正常完成。 - 只保留
open-computer-use时,open-computer-use/list_apps仍然直接返回user cancelled MCP tool call。 - 同时,直接对
./plugins/open-computer-use/scripts/launch-open-computer-use.sh发 JSON-RPC 的tools/list/tools/call list_apps是正常的。
这说明在当前环境里:
- “两套 plugin 互相干扰”不是主要问题。
open-computer-useMCP server 本身不是这一步的主故障点。- 更可能的瓶颈仍然在 Codex host 对第三方 plugin 调用的 gate 或会话策略上。
8. 后台 mitmdump 显示启动成功,但代理端口很快就没了
先看 mitmdump.log。仓库内 scripts/start-codex-mitm-dump.sh 现在会额外检查端口是否真的开始监听,但在某些受控 runner / agent 宿主里,父进程结束时仍然可能把后台子进程一起清掉。
如果你遇到这种情况,优先用下面几种更稳的方式:
- 在真实登录 shell、
tmux或单独终端里执行./scripts/start-codex-mitm-dump.sh。 - 或者直接前台运行
mitmdump/mitmweb,再在另一个终端执行codex exec。 - 不要把“脚本返回了 PID”误当成“代理一定还活着”,先用
lsof -nP -iTCP:<port> -sTCP:LISTEN确认监听状态。