👾 Open Computer Use – Open-Source Alternative to Codex Computer Use
Swift accessibilityai-agentai-agentsclaude-codecodexcodex-computer-usecomputer-usecomputer-use-agentcross-platformcuadesktop-automationgemini-cligui-automationmacosmcpmodel-context-protocolopen-computer-useopen-computer-use-mcpopenai-codexopencode
fix: shrink app denylist to password managers
Leofd93834ecc8c
diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.mdindex 24cda41..be85ac2 100644--- a/docs/ARCHITECTURE.md+++ b/docs/ARCHITECTURE.md@@ -63,7 +63,7 @@- `get_app_state` 优先走真实 AX / 窗口截图,但不再为了读状态而显式 `activate` 目标 app;当目标是仓库内 fixture app 时,回退到 fixture 导出的合成状态。- MCP `tools/list` 的 description / input schema 当前按官方 `computer-use` 的 9 个 tools 文案和参数面收敛,尽量减少 host 侧提示词和 tool surface 偏差。- `open-computer-use call <tool> --args '{...}'` 会直接输出 MCP-style JSON result;`open-computer-use call --calls '[...]'` / `--calls-file <path>` 会在同一进程里顺序执行 JSON 数组里的 tool calls,并复用同一个 `ComputerUseService` 内存态,因此 `get_app_state` 之后的 action tool 可以继续使用同一轮 snapshot 的 `element_index`。序列执行默认会在成功的相邻操作之间 sleep 1 秒,也可以用 `--sleep <seconds>` 覆盖;遇到 `isError=true` 的 tool result 后停止。-- 对真实 app 的 `get_app_state` / action tool 入口,当前新增了一层官方风格的高风险 bundle denylist:bundle-id 直传时直接返回 safety denial;名称匹配时默认不解析到这些 app,尽量贴近官方对终端、密码管理器、Chrome 与少量系统敏感组件的防护行为。+- 对真实 app 的 `get_app_state` / action tool 入口,当前只保留一层密码管理器 bundle denylist:bundle-id 直传时直接返回 safety denial;名称匹配时默认不解析到这些 app。终端、Chrome / Atlas 和系统组件不再属于内置阻止目标。- 普通 app 的 element frame 当前按“窗口左上角为原点”的 window-relative 坐标输出,便于后续把 `element_index` 和截图坐标统一到同一套参考系。- `click` / `set_value` 在执行真实动作前后,会额外驱动一层透明 `SoftwareCursorOverlay` window:两者的移动阶段现在共用一条 heading-driven 的官方风格 motion 内核,显式把“当前 cursor 朝向”和“最终 resting pose”一起喂给选路器,优先生成需要时先掉头、再沿车头方向推进的 C 形/单侧大弧轨迹;首次显示时按官方 binary 的 fresh state 从 AppKit 全局 `(0,0)` window origin 生成起点,后续动作继续复用上一帧 visible tip。真正显示出来的 cursor 不再直接等于 path sample,而是经过一层独立的 visual dynamics 状态,把 visible tip、velocity、angle 和 fog/offset 持续推进。`click` 结尾会衔接 click pulse 和更明显但仍然很小的 rotate wobble,`set_value` 则只做 settle / idle,不给 pulse;两者收尾后会在目标点继续保持 idle 状态,等待下一次动作时 tip 保持 anchored、只保留可感知的小角度摆动;只有连续 30 秒没有新动作时才做 cleanup,这样连续 tool call 不会反复从 fresh `(0,0)` 起步;如果宿主在任务 / turn 结束时发出 `turn-ended`,cursor 会立即消失并清掉本轮位置状态。- overlay 的 visual style 不再自己从官方 app bundle 裁 `SoftwareCursor` 小图;主 MCP runtime 现在和 `CursorMotion` 一样优先渲染仓库里沉淀的 `official-software-cursor-window-252.png` baseline,只有资源缺失时才退回 `OpenComputerUseKit` 内部的程序化 pointer/fog fallback。命中点 anchor 仍固定在 `126x126` 画布里的同一组 tip-offset 上;glyph 自身的 neutral heading 继续沿用 `CursorMotion` / 官方 baseline 的 `-3π/4`。主 runtime overlay window 按 AppKit 全局坐标移动,因此在把 AX / `CGWindowList` 产出的 y-down screen-space 点击目标喂给 overlay 之前,会先转换成对应屏幕的 AppKit 全局坐标;路径选路用屏幕上实际可见的 AppKit forward heading,进入 visual dynamics / render state 前则把 velocity 的 y 轴翻回 CursorMotion 的 y-down screen state,再交给 AppKit 绘制层做角度和 `dy` 翻转。程序化 fallback 保留 neutral artwork correction,把它的天然轮廓轴对齐到 `CursorMotion` / 官方 baseline 的 `-3π/4` forward 方向,但不让实验线依赖 runtime 代码。diff --git a/docs/QUALITY_SCORE.md b/docs/QUALITY_SCORE.mdindex 19cdec4..f5b3a47 100644--- a/docs/QUALITY_SCORE.md+++ b/docs/QUALITY_SCORE.md@@ -17,4 +17,4 @@| 架构文档 | B | 顶层结构、fixture bridge、app 模式和验证路径已经落文档。 | 后续补 release artifact、code signing / notarization 和 host 集成方式。 || 测试 | B | `swift test` + smoke suite 已覆盖 9 个 tools 的回归,并新增了针对“前台焦点是否被抢占”的手工对比样本沉淀。 | 增加更多普通 app 的录制回归,减少只依赖 fixture 和一次性手工检查。 || 可观测性 | C | 已有 `doctor`、`snapshot`、smoke 输出,以及一组仓库内留档的官方 `computer-use` / 本仓库实现对比样本。 | 补统一日志级别、失败上下文和 release artifact 里的诊断信息,把一次性样本收敛成可重复采集流程。 |-| 安全 | B | 已明确本地-only、权限边界和 fixture test bridge 的作用域,并补了一层高风险 app denylist。 | 增加用户可配置 allowlist / session approval,避免策略长期硬编码在仓库里。 |+| 安全 | B | 已明确本地-only、权限边界和 fixture test bridge 的作用域,并将内置 denylist 收缩到密码管理器。 | 增加 session approval 和更清楚的敏感 app policy,避免策略长期硬编码在仓库里。 |diff --git a/docs/SECURITY.md b/docs/SECURITY.mdindex eeaad4e..24b8736 100644--- a/docs/SECURITY.md+++ b/docs/SECURITY.md@@ -16,20 +16,20 @@## 授权与最小权限-- 当前已经补上一层官方风格的高风险 bundle denylist / bundle-id gate:- - 会阻止对终端类 app、密码管理器、Chrome 和少量系统敏感组件做直接 `get_app_state` / action 调用。- - 对 bundle identifier 直传时返回 safety denial;对 app name 查询时默认不把这些高风险 app 暴露成可解析目标。-- 但当前仍然没有官方闭源实现里的 session approval / 动态 app allowlist。+- 当前只保留一层密码管理器 bundle denylist / bundle-id gate:+ - 会阻止对 1Password、Bitwarden、Dashlane、LastPass、NordPass 和 Proton Pass 做直接 `get_app_state` / action 调用。+ - 终端类 app、Chrome / Atlas 和系统组件不再属于内置阻止目标。+ - 对 bundle identifier 直传时返回 safety denial;对 app name 查询时默认不把这些密码管理器暴露成可解析目标。+- 但当前仍然没有官方闭源实现里的 session approval / 动态 app policy。- 这意味着开源版当前的安全边界主要由:- 明确的 tool 调用参数- - 内置高风险 denylist+ - 内置密码管理器 denylist- `Open Computer Use.app` 的系统权限- 本地使用场景共同提供。- 下一阶段应优先补:- - 用户可配置的 app allowlist / policy- session 级审批- - 更清楚的高风险 app / 系统设置防护策略+ - 更清楚的敏感 app / 系统设置防护策略## Fixture Bridge 约束diff --git a/docs/exec-plans/active/20260417-official-tool-alignment.md b/docs/exec-plans/active/20260417-official-tool-alignment.mdindex 28a3fa5..2df941b 100644--- a/docs/exec-plans/active/20260417-official-tool-alignment.md+++ b/docs/exec-plans/active/20260417-official-tool-alignment.md@@ -13,7 +13,7 @@- 调整 `get_app_state` / action tool 文本渲染,减少内部实现细节,靠近官方树形输出。- 同步架构文档、history 和必要测试。- 不包含:- - 当前阶段不承诺 100% 复刻官方闭源安全策略、allowlist、overlay UI 或私有 host 集成。+ - 当前阶段不承诺 100% 复刻官方闭源安全策略、session approval、overlay UI 或私有 host 集成。- 当前阶段不把一次性本机样本抽成完整自动化 diff 平台。## 背景@@ -77,3 +77,4 @@- 2026-04-17:`list_apps` 改为优先使用 Spotlight metadata query,按官方同源的 `kMDItemUseCount` / `kMDItemLastUsedDate_Ranking` 排序和筛选 app;运行态 app 继续由 `NSWorkspace` 合并补齐。- 2026-04-17:对 bundle-id 直传的高风险 app 增加官方风格 safety denial,并让名称匹配路径默认不解析到这些 app,复刻官方 `appNotFound("iTerm2")` / `not allowed to use the app 'com.googlecode.iterm2'` 的边界行为。- 2026-04-17:直接 MCP tool `content[0].text` 的当前官方基线应从 `App=<bundle-id> (pid ...)` 起头,不再把 `Computer Use state (CUA App Version: 750)` / `<app_state>` 这层旧包裹当作响应文本的一部分。+- 2026-05-07:Issue #12 暴露出 Chrome 被内置 denylist 阻止的问题。回看本计划和 reverse-engineering 样本后,只能确认官方对 iTerm2 的安全拒绝;Chrome 只出现在 `list_apps` 样本里,没有被拒绝的实测证据。随后按产品判断将内置 denylist 收缩到密码管理器,终端、Chrome / Atlas 和系统组件不再属于内置阻止目标,后续敏感 app 策略交给 session approval / policy 设计。diff --git a/docs/histories/2026-05/20260507-1534-shrink-denylist-to-password-managers.md b/docs/histories/2026-05/20260507-1534-shrink-denylist-to-password-managers.mdnew file mode 100644index 0000000..7c52b8b--- /dev/null+++ b/docs/histories/2026-05/20260507-1534-shrink-denylist-to-password-managers.md@@ -0,0 +1,29 @@+## [2026-05-07 15:34] | Task: 收缩内置阻止列表++### 🤖 Execution Context+* **Agent ID**: `primary`+* **Base Model**: `gpt-5`+* **Runtime**: `Codex CLI + SwiftPM`++### 📥 User Query+> 查看 GitHub Issue #12,溯源为什么之前加入了一个 list;用户认为这个阻止应该去掉。随后明确要求除密码管理器以外都从内置 denylist 删除。++### 🛠 Changes Overview+**Scope:** `packages/OpenComputerUseKit`, `docs`++**Key Actions:**+- **[Denylist scope]**: 将 macOS `AppSafetyPolicy` 内置 denylist 收缩到密码管理器:1Password、Bitwarden、Dashlane、LastPass、NordPass 和 Proton Pass。+- **[Non-password unblock]**: 移除终端类 app、Chrome / Atlas 和系统组件的内置阻止,避免常规 app 自动化路径被硬编码策略拦住。+- **[Regression coverage]**: 新增单测确认 Chrome、iTerm2、Atlas 和 SecurityAgent 不属于内置阻止目标,同时保留密码管理器阻止覆盖。+- **[Docs sync]**: 更新安全、架构、质量评分和官方对齐计划,记录 Chrome 进入 denylist 的历史来源、缺少官方拒绝样本支撑的判断,以及当前只阻止密码管理器的产品决策。++### 🧠 Design Intent (Why)+原 denylist 的提交目标是复刻官方安全边界,但仓库留档样本只证明了 iTerm2 的拒绝行为;Chrome 只出现在 `list_apps` 输出中。继续把终端、浏览器和系统组件写死在内置阻止列表里,会让常规 app 自动化路径不可用。当前先只保留密码管理器这类明确高敏感目标,其余敏感 app 策略留给后续 session approval / policy 设计。++### 📁 Files Modified+- `packages/OpenComputerUseKit/Sources/OpenComputerUseKit/AppDiscovery.swift`+- `packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift`+- `docs/ARCHITECTURE.md`+- `docs/SECURITY.md`+- `docs/QUALITY_SCORE.md`+- `docs/exec-plans/active/20260417-official-tool-alignment.md`diff --git a/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/AppDiscovery.swift b/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/AppDiscovery.swiftindex 2bbbe08..940e820 100644--- a/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/AppDiscovery.swift+++ b/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/AppDiscovery.swift@@ -488,9 +488,8 @@ enum AppDiscovery {}}-private enum AppSafetyPolicy {+enum AppSafetyPolicy {private static let blockedBundleIdentifiers: Set<String> = [- "com.apple.ScreenContinuity","com.1password.1password","com.1password.safari","com.bitwarden.desktop",@@ -499,20 +498,6 @@ private enum AppSafetyPolicy {"com.nordsec.nordpass","me.proton.pass.electron","me.proton.pass.catalyst",- "com.apple.Terminal",- "com.googlecode.iterm2",- "dev.warp.Warp-Stable",- "net.kovidgoyal.kitty",- "com.github.wez.wezterm",- "com.mitchellh.ghostty",- "com.raphaelamorim.rio",- "dev.commandline.waveterm",- "com.google.Chrome",- "com.openai.atlas.alpha",- "com.openai.atlas.beta",- "com.apple.UserNotificationCenter",- "com.apple.LocalAuthenticationRemoteService",- "com.apple.SecurityAgent",]static func isBlocked(bundleIdentifier: String?) -> Bool {diff --git a/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift b/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swiftindex bc81010..bfee8fc 100644--- a/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift+++ b/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift@@ -545,6 +545,19 @@ final class OpenComputerUseKitTests: XCTestCase {XCTAssertTrue(ComputerUseError.invalidArguments("bad").toolResultIsError)}+ func testAppSafetyPolicyDoesNotBlockNonPasswordApps() {+ XCTAssertFalse(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.google.Chrome"))+ XCTAssertFalse(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.googlecode.iterm2"))+ XCTAssertFalse(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.openai.atlas.beta"))+ XCTAssertFalse(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.apple.SecurityAgent"))+ }++ func testAppSafetyPolicyKeepsPasswordManagerBlocks() {+ XCTAssertTrue(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.1password.1password"))+ XCTAssertTrue(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.bitwarden.desktop"))+ XCTAssertTrue(AppSafetyPolicy.isBlocked(bundleIdentifier: "me.proton.pass.electron"))+ }+func testVisualCursorEnvFlagDefaultsToEnabled() {XCTAssertTrue(visualCursorEnabled(environment: [:]))XCTAssertTrue(visualCursorEnabled(environment: ["OPEN_COMPUTER_USE_VISUAL_CURSOR": "1"]))