👾 Open Computer Use – Open-Source Alternative to Codex Computer Use
Internal IPC Surface
已观察事实
1. service 和 client 之间至少存在一套单独的 ComputerUse IPC 协议
在 SkyComputerUseService 和 SkyComputerUseClient 两个二进制里,都能稳定看到同一组类型名:
ComputerUseIPCClientComputerUseIPCServerComputerUseIPCRequestComputerUseIPCEmptyResponseComputerUseIPCAppComputerUseIPCAppStateComputerUseIPCDiscoveredApp
这说明除了:
- client 对外的 MCP 协议
- service 对 Codex appserver 的宿主 IPC
之外,官方实现内部还单独维护了一层 ComputerUseIPC* 协议,负责 client 和 service 之间的本地调用。
2. 内部 IPC request 类型已经可以从符号名里拼出一版能力表
当前在两个二进制里都能看到的 request 类型包括:
ComputerUseIPCListAppsRequestComputerUseIPCAppStartRequestComputerUseIPCAppModifyRequestComputerUseIPCAppPerformActionRequestComputerUseIPCAppGetSkyshotRequestComputerUseIPCCodexTurnEndedRequestComputerUseIPCAppUsageRequest
再结合字段名和 MCP tool 行为,当前最稳妥的映射是:
ListAppsRequest- 对应外部
list_apps
- 对应外部
AppGetSkyshotRequest- 对应外部
get_app_state Skyshot很像“截图 + AX tree + 结构化状态”的内部表示
- 对应外部
AppPerformActionRequest- 对应
click/perform_secondary_action/set_value/scroll/drag/press_key/type_text
- 对应
AppModifyRequest- 至少包含
activate/deactivate
- 至少包含
CodexTurnEndedRequest- 对应
turn-ended生命周期回调
- 对应
3. get_app_state 在内部大概率不是“直接返回 app state”,而是“取一份 skyshot”
当前 strings 中同时出现:
ComputerUseIPCAppStateComputerUseIPCSkyshotComputerUseIPCSkyshotResultComputerUseIPCAppGetSkyshotRequestSkyshotCaptureRefetchableSkyshotAXTreeSkyshotClassifier
这说明官方实现内部更像是:
- 先对目标 app 取一份
Skyshot - 再从
Skyshot里构建截图、窗口和 AX tree - 最后由 client 组装成对 MCP 层暴露的
get_app_state返回值
这里的关键点是:
- 外部 MCP API 叫
get_app_state - 但内部的核心抽象更接近
skyshot
这对开源版是个重要提示:
- 如果要复刻官方行为,核心内部模型可能不该直接叫
AppState - 更合理的是“截图采集结果 + AX 树 + 目标 app 元数据”的复合对象
4. action 执行内部统一走 AppPerformActionRequest
当前可见的字段和 coding keys 包括:
ComputerUseIPCActionComputerUseIPCLocationSpecifierCoordinateCodingKeysElementIDCodingKeysClickCodingKeysPerformSecondaryActionCodingKeysSetValueCodingKeysScrollCodingKeysDragCodingKeysPressKeyCodingKeysTypeCodingKeys
同时还能看到字段名:
coordinateelementIDactiontextmouseButtonclickCount
这说明内部 action 层大概率已经统一成:
- 一个 action 枚举
- 一个 location specifier
- 坐标模式
- 元素 ID 模式
- 若干具体 action payload
也就是说,外部 7 个动作型 tools 在内部未必是一组完全分离的方法,更像是同一条 performAction 通道上的不同变体。
5. app 生命周期内部和工具动作是分开的
当前还能看到:
ComputerUseIPCAppStartRequestComputerUseIPCAppModifyRequestModificationActivateCodingKeysDeactivateCodingKeysactivecurrentAppisRunning
这说明官方内部把下面两类操作拆开了:
- app 级生命周期
- 启动
- 激活
- 取消激活
- UI action
- click / type / scroll / drag / ...
这和外部 MCP 面不完全一致,因为外部当前没有公开:
activate_appdeactivate_appstart_app
但 service 内部显然保留了这层能力。
6. sender authorization 是内部 IPC 的显式组成部分
SkyComputerUseService strings 里可见:
ComputerUseIPCSenderAuthorizationProcessIdentityCodeSignatureRequirementSecurityErrorSender process is not authenticated
这说明 client-service 之间的内部 IPC 并不是“谁都能连上的本地 socket 调用”,而是显式校验发送方身份的。
结合前面已确认的事实:
- client 本身有 parent launch constraints
- 外部
python3/nodecaller 会被系统 kill
当前更合理的判断是:
- 发送方认证不仅发生在 macOS launch constraint 层
- service 自己的内部 IPC 层也有一层 sender authorization / code signature requirement 校验
7. system permission gating 也是内部 IPC request 的一部分
SkyComputerUseService strings 里还能看到:
ComputerUseIPCPermissionResultComputerUseIPCRequestRequiringSystemPermissionsensureApplicationHasPermissionsFailed to request access to permission: %@Failed to open System Settings for permission: %@
这说明内部 IPC 请求里已经分化出一类:
- 需要系统权限的请求
也就是说,官方实现不是单纯在外层 UI 里判断“有没有 Accessibility / Screen Recording 权限”,而是把权限需求并入了内部 request pipeline。
8. service 会跟踪 active IPC client,并在为空时自杀
SkyComputerUseService strings 里直接有:
No active Computer Use IPC client processes; terminating serviceCodex Computer Use idle timeout reached; terminating service
这说明 service 的生命周期不是长期 daemon,而是至少同时受两类条件控制:
- 是否还有活跃的 IPC client
- 是否触发 idle timeout
因此官方 service 更像:
- on-demand 启动
- 有使用时保活
- 无人连接或空闲超时后自回收
9. service 和 client 都弱链接了 libswiftXPC
otool -L 能看到:
libswiftXPC.dylib (weak)
但目前还没有观察到:
- 明确的 mach service 名
launchd服务注册名- 可直接枚举到的公开 XPC endpoint
所以当前只能确认:
- 两者具备使用 Swift XPC 的依赖条件
不能确认:
- 当前
ComputerUseIPC*是否真的建立在 XPC 之上
10. app 使用行为和审批状态有独立对象
当前还能看到:
ComputerUseIPCAppUsageRequestAppApprovalStoresessionApprovedBundleIdentifiersapprovedBundleIdentifiersbundleIdentifiersWithDeliveredInstructions
这说明内部至少区分了三类状态:
- app 使用记录 / ranking
- session 级审批
- instruction 是否已经向某 app 投递过
这比“全局开一个 computer-use 权限开关”要细很多。
11. 在真实 tool 调用期间,仍然没有看到 client-service 之间的常驻 Unix socket
在实际调用一次 get_app_state(Finder) 之后,重新查看进程与句柄:
SkyComputerUseService- 仍然只稳定持有一条 Unix socket
- 对端是
Codex.app的codex-ipc/ipc-501.sock
- 多个存活的
SkyComputerUseClient mcp- 可见句柄基本只有:
- stdio pipe 或 TTY
Analytics.db- 少量系统控制句柄
- 没有观察到稳定的 client-service Unix socket
- 可见句柄基本只有:
同时 service 还能看到:
No active Computer Use IPC client processes; terminating service
所以当前更稳妥的结论是:
- service 会跟踪 active IPC client
- 但这个 client-service transport 至少不是一个容易通过
lsof -U看到的常驻 Unix socket
这进一步支持以下几种可能性之一:
- XPC / NSXPC
- 每次请求短连、很快关闭的本地通道
- 其他由系统服务包装、不直接体现在普通 socket 句柄上的 transport
当前推断
1. 官方内部大概率是“三层协议栈”,而不是单一 MCP server
更符合现有证据的分层是:
- Codex appserver IPC
- service 和 Codex 宿主的私有 JSON-RPC / thread event 集成
- ComputerUse IPC
- client 和 service 之间的本地受信请求协议
- MCP
- client 对外暴露给 Codex agent runtime 的标准工具面
这解释了为什么:
- 外部看上去只是一条
SkyComputerUseClient mcp - 但实际运行里还会出现 parent constraints、sender auth、service idle timeout、thread-ended cleanup
2. get_app_state 只是外部 API 名称,内部核心对象更像 Skyshot
开源版如果要追求结构清晰,内部最好也拆成:
- app targeting
- screenshot capture
- AX tree extraction
- app state serialization
而不是一上来就把所有逻辑耦合进一个 get_app_state() 函数里。
3. 公开 tools 比内部能力更保守
当前内部已可见但外部未公开的能力至少包括:
- app start
- app activate / deactivate
- app usage tracking
这说明官方公开的 9 个 tools 是一个更保守的产品化裁剪,不等于 service 的全部能力。
当前未决问题
ComputerUseIPC*这层最终到底走 XPC、NSXPC、私有 socket,还是别的本地 transport?AppStartRequest在什么场景会被真正使用,是否只用于首个 app 会话建立?AppUsageRequest是纯 analytics / ranking,还是也参与审批和安全策略?Skyshot的精确定义是什么,是否包含屏幕截图、窗口元数据、AX 树和 URL 等全部上下文?- sender authorization 的 requirement 是否直接绑定到 OpenAI Team ID,还是还有更细的 bundle / code requirement 约束?
- 如果不是 XPC,client-service 的本地 transport 为什么在真实调用期间仍然几乎不可见?