Skip to content

👾 Open Computer Use – Open-Source Alternative to Codex Computer Use

fix: shrink app denylist to password managers

Leofd93834ecc8c
diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md
index 24cda41..be85ac2 100644
--- a/docs/ARCHITECTURE.md
+++ b/docs/ARCHITECTURE.md
@@ -63,7 +63,7 @@
- `get_app_state` 优先走真实 AX / 窗口截图,但不再为了读状态而显式 `activate` 目标 app;当目标是仓库内 fixture app 时,回退到 fixture 导出的合成状态。
- MCP `tools/list` 的 description / input schema 当前按官方 `computer-use` 的 9 个 tools 文案和参数面收敛,尽量减少 host 侧提示词和 tool surface 偏差。
- `open-computer-use call <tool> --args '{...}'` 会直接输出 MCP-style JSON result;`open-computer-use call --calls '[...]'` / `--calls-file <path>` 会在同一进程里顺序执行 JSON 数组里的 tool calls,并复用同一个 `ComputerUseService` 内存态,因此 `get_app_state` 之后的 action tool 可以继续使用同一轮 snapshot 的 `element_index`。序列执行默认会在成功的相邻操作之间 sleep 1 秒,也可以用 `--sleep <seconds>` 覆盖;遇到 `isError=true` 的 tool result 后停止。
-- 对真实 app 的 `get_app_state` / action tool 入口,当前新增了一层官方风格的高风险 bundle denylist:bundle-id 直传时直接返回 safety denial;名称匹配时默认不解析到这些 app,尽量贴近官方对终端、密码管理器、Chrome 与少量系统敏感组件的防护行为。
+- 对真实 app 的 `get_app_state` / action tool 入口,当前只保留一层密码管理器 bundle denylist:bundle-id 直传时直接返回 safety denial;名称匹配时默认不解析到这些 app。终端、Chrome / Atlas 和系统组件不再属于内置阻止目标。
- 普通 app 的 element frame 当前按“窗口左上角为原点”的 window-relative 坐标输出,便于后续把 `element_index` 和截图坐标统一到同一套参考系。
- `click` / `set_value` 在执行真实动作前后,会额外驱动一层透明 `SoftwareCursorOverlay` window:两者的移动阶段现在共用一条 heading-driven 的官方风格 motion 内核,显式把“当前 cursor 朝向”和“最终 resting pose”一起喂给选路器,优先生成需要时先掉头、再沿车头方向推进的 C 形/单侧大弧轨迹;首次显示时按官方 binary 的 fresh state 从 AppKit 全局 `(0,0)` window origin 生成起点,后续动作继续复用上一帧 visible tip。真正显示出来的 cursor 不再直接等于 path sample,而是经过一层独立的 visual dynamics 状态,把 visible tip、velocity、angle 和 fog/offset 持续推进。`click` 结尾会衔接 click pulse 和更明显但仍然很小的 rotate wobble,`set_value` 则只做 settle / idle,不给 pulse;两者收尾后会在目标点继续保持 idle 状态,等待下一次动作时 tip 保持 anchored、只保留可感知的小角度摆动;只有连续 30 秒没有新动作时才做 cleanup,这样连续 tool call 不会反复从 fresh `(0,0)` 起步;如果宿主在任务 / turn 结束时发出 `turn-ended`,cursor 会立即消失并清掉本轮位置状态。
- overlay 的 visual style 不再自己从官方 app bundle 裁 `SoftwareCursor` 小图;主 MCP runtime 现在和 `CursorMotion` 一样优先渲染仓库里沉淀的 `official-software-cursor-window-252.png` baseline,只有资源缺失时才退回 `OpenComputerUseKit` 内部的程序化 pointer/fog fallback。命中点 anchor 仍固定在 `126x126` 画布里的同一组 tip-offset 上;glyph 自身的 neutral heading 继续沿用 `CursorMotion` / 官方 baseline 的 `-3π/4`。主 runtime overlay window 按 AppKit 全局坐标移动,因此在把 AX / `CGWindowList` 产出的 y-down screen-space 点击目标喂给 overlay 之前,会先转换成对应屏幕的 AppKit 全局坐标;路径选路用屏幕上实际可见的 AppKit forward heading,进入 visual dynamics / render state 前则把 velocity 的 y 轴翻回 CursorMotion 的 y-down screen state,再交给 AppKit 绘制层做角度和 `dy` 翻转。程序化 fallback 保留 neutral artwork correction,把它的天然轮廓轴对齐到 `CursorMotion` / 官方 baseline 的 `-3π/4` forward 方向,但不让实验线依赖 runtime 代码。
diff --git a/docs/QUALITY_SCORE.md b/docs/QUALITY_SCORE.md
index 19cdec4..f5b3a47 100644
--- a/docs/QUALITY_SCORE.md
+++ b/docs/QUALITY_SCORE.md
@@ -17,4 +17,4 @@
| 架构文档 | B | 顶层结构、fixture bridge、app 模式和验证路径已经落文档。 | 后续补 release artifact、code signing / notarization 和 host 集成方式。 |
| 测试 | B | `swift test` + smoke suite 已覆盖 9 个 tools 的回归,并新增了针对“前台焦点是否被抢占”的手工对比样本沉淀。 | 增加更多普通 app 的录制回归,减少只依赖 fixture 和一次性手工检查。 |
| 可观测性 | C | 已有 `doctor`、`snapshot`、smoke 输出,以及一组仓库内留档的官方 `computer-use` / 本仓库实现对比样本。 | 补统一日志级别、失败上下文和 release artifact 里的诊断信息,把一次性样本收敛成可重复采集流程。 |
-| 安全 | B | 已明确本地-only、权限边界和 fixture test bridge 的作用域,并补了一层高风险 app denylist。 | 增加用户可配置 allowlist / session approval,避免策略长期硬编码在仓库里。 |
+| 安全 | B | 已明确本地-only、权限边界和 fixture test bridge 的作用域,并将内置 denylist 收缩到密码管理器。 | 增加 session approval 和更清楚的敏感 app policy,避免策略长期硬编码在仓库里。 |
diff --git a/docs/SECURITY.md b/docs/SECURITY.md
index eeaad4e..24b8736 100644
--- a/docs/SECURITY.md
+++ b/docs/SECURITY.md
@@ -16,20 +16,20 @@
## 授权与最小权限
-- 当前已经补上一层官方风格的高风险 bundle denylist / bundle-id gate:
- - 会阻止对终端类 app、密码管理器、Chrome 和少量系统敏感组件做直接 `get_app_state` / action 调用。
- - 对 bundle identifier 直传时返回 safety denial;对 app name 查询时默认不把这些高风险 app 暴露成可解析目标。
-- 但当前仍然没有官方闭源实现里的 session approval / 动态 app allowlist。
+- 当前只保留一层密码管理器 bundle denylist / bundle-id gate:
+ - 会阻止对 1Password、Bitwarden、Dashlane、LastPass、NordPass 和 Proton Pass 做直接 `get_app_state` / action 调用。
+ - 终端类 app、Chrome / Atlas 和系统组件不再属于内置阻止目标。
+ - 对 bundle identifier 直传时返回 safety denial;对 app name 查询时默认不把这些密码管理器暴露成可解析目标。
+- 但当前仍然没有官方闭源实现里的 session approval / 动态 app policy。
- 这意味着开源版当前的安全边界主要由:
- 明确的 tool 调用参数
- - 内置高风险 denylist
+ - 内置密码管理器 denylist
- `Open Computer Use.app` 的系统权限
- 本地使用场景
共同提供。
- 下一阶段应优先补:
- - 用户可配置的 app allowlist / policy
- session 级审批
- - 更清楚的高风险 app / 系统设置防护策略
+ - 更清楚的敏感 app / 系统设置防护策略
## Fixture Bridge 约束
diff --git a/docs/exec-plans/active/20260417-official-tool-alignment.md b/docs/exec-plans/active/20260417-official-tool-alignment.md
index 28a3fa5..2df941b 100644
--- a/docs/exec-plans/active/20260417-official-tool-alignment.md
+++ b/docs/exec-plans/active/20260417-official-tool-alignment.md
@@ -13,7 +13,7 @@
- 调整 `get_app_state` / action tool 文本渲染,减少内部实现细节,靠近官方树形输出。
- 同步架构文档、history 和必要测试。
- 不包含:
- - 当前阶段不承诺 100% 复刻官方闭源安全策略、allowlist、overlay UI 或私有 host 集成。
+ - 当前阶段不承诺 100% 复刻官方闭源安全策略、session approval、overlay UI 或私有 host 集成。
- 当前阶段不把一次性本机样本抽成完整自动化 diff 平台。
## 背景
@@ -77,3 +77,4 @@
- 2026-04-17:`list_apps` 改为优先使用 Spotlight metadata query,按官方同源的 `kMDItemUseCount` / `kMDItemLastUsedDate_Ranking` 排序和筛选 app;运行态 app 继续由 `NSWorkspace` 合并补齐。
- 2026-04-17:对 bundle-id 直传的高风险 app 增加官方风格 safety denial,并让名称匹配路径默认不解析到这些 app,复刻官方 `appNotFound("iTerm2")` / `not allowed to use the app 'com.googlecode.iterm2'` 的边界行为。
- 2026-04-17:直接 MCP tool `content[0].text` 的当前官方基线应从 `App=<bundle-id> (pid ...)` 起头,不再把 `Computer Use state (CUA App Version: 750)` / `<app_state>` 这层旧包裹当作响应文本的一部分。
+- 2026-05-07:Issue #12 暴露出 Chrome 被内置 denylist 阻止的问题。回看本计划和 reverse-engineering 样本后,只能确认官方对 iTerm2 的安全拒绝;Chrome 只出现在 `list_apps` 样本里,没有被拒绝的实测证据。随后按产品判断将内置 denylist 收缩到密码管理器,终端、Chrome / Atlas 和系统组件不再属于内置阻止目标,后续敏感 app 策略交给 session approval / policy 设计。
diff --git a/docs/histories/2026-05/20260507-1534-shrink-denylist-to-password-managers.md b/docs/histories/2026-05/20260507-1534-shrink-denylist-to-password-managers.md
new file mode 100644
index 0000000..7c52b8b
--- /dev/null
+++ b/docs/histories/2026-05/20260507-1534-shrink-denylist-to-password-managers.md
@@ -0,0 +1,29 @@
+## [2026-05-07 15:34] | Task: 收缩内置阻止列表
+
+### 🤖 Execution Context
+* **Agent ID**: `primary`
+* **Base Model**: `gpt-5`
+* **Runtime**: `Codex CLI + SwiftPM`
+
+### 📥 User Query
+> 查看 GitHub Issue #12,溯源为什么之前加入了一个 list;用户认为这个阻止应该去掉。随后明确要求除密码管理器以外都从内置 denylist 删除。
+
+### 🛠 Changes Overview
+**Scope:** `packages/OpenComputerUseKit`, `docs`
+
+**Key Actions:**
+- **[Denylist scope]**: 将 macOS `AppSafetyPolicy` 内置 denylist 收缩到密码管理器:1Password、Bitwarden、Dashlane、LastPass、NordPass 和 Proton Pass。
+- **[Non-password unblock]**: 移除终端类 app、Chrome / Atlas 和系统组件的内置阻止,避免常规 app 自动化路径被硬编码策略拦住。
+- **[Regression coverage]**: 新增单测确认 Chrome、iTerm2、Atlas 和 SecurityAgent 不属于内置阻止目标,同时保留密码管理器阻止覆盖。
+- **[Docs sync]**: 更新安全、架构、质量评分和官方对齐计划,记录 Chrome 进入 denylist 的历史来源、缺少官方拒绝样本支撑的判断,以及当前只阻止密码管理器的产品决策。
+
+### 🧠 Design Intent (Why)
+原 denylist 的提交目标是复刻官方安全边界,但仓库留档样本只证明了 iTerm2 的拒绝行为;Chrome 只出现在 `list_apps` 输出中。继续把终端、浏览器和系统组件写死在内置阻止列表里,会让常规 app 自动化路径不可用。当前先只保留密码管理器这类明确高敏感目标,其余敏感 app 策略留给后续 session approval / policy 设计。
+
+### 📁 Files Modified
+- `packages/OpenComputerUseKit/Sources/OpenComputerUseKit/AppDiscovery.swift`
+- `packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift`
+- `docs/ARCHITECTURE.md`
+- `docs/SECURITY.md`
+- `docs/QUALITY_SCORE.md`
+- `docs/exec-plans/active/20260417-official-tool-alignment.md`
diff --git a/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/AppDiscovery.swift b/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/AppDiscovery.swift
index 2bbbe08..940e820 100644
--- a/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/AppDiscovery.swift
+++ b/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/AppDiscovery.swift
@@ -488,9 +488,8 @@ enum AppDiscovery {
}
}
-private enum AppSafetyPolicy {
+enum AppSafetyPolicy {
private static let blockedBundleIdentifiers: Set<String> = [
- "com.apple.ScreenContinuity",
"com.1password.1password",
"com.1password.safari",
"com.bitwarden.desktop",
@@ -499,20 +498,6 @@ private enum AppSafetyPolicy {
"com.nordsec.nordpass",
"me.proton.pass.electron",
"me.proton.pass.catalyst",
- "com.apple.Terminal",
- "com.googlecode.iterm2",
- "dev.warp.Warp-Stable",
- "net.kovidgoyal.kitty",
- "com.github.wez.wezterm",
- "com.mitchellh.ghostty",
- "com.raphaelamorim.rio",
- "dev.commandline.waveterm",
- "com.google.Chrome",
- "com.openai.atlas.alpha",
- "com.openai.atlas.beta",
- "com.apple.UserNotificationCenter",
- "com.apple.LocalAuthenticationRemoteService",
- "com.apple.SecurityAgent",
]
static func isBlocked(bundleIdentifier: String?) -> Bool {
diff --git a/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift b/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift
index bc81010..bfee8fc 100644
--- a/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift
+++ b/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift
@@ -545,6 +545,19 @@ final class OpenComputerUseKitTests: XCTestCase {
XCTAssertTrue(ComputerUseError.invalidArguments("bad").toolResultIsError)
}
+ func testAppSafetyPolicyDoesNotBlockNonPasswordApps() {
+ XCTAssertFalse(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.google.Chrome"))
+ XCTAssertFalse(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.googlecode.iterm2"))
+ XCTAssertFalse(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.openai.atlas.beta"))
+ XCTAssertFalse(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.apple.SecurityAgent"))
+ }
+
+ func testAppSafetyPolicyKeepsPasswordManagerBlocks() {
+ XCTAssertTrue(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.1password.1password"))
+ XCTAssertTrue(AppSafetyPolicy.isBlocked(bundleIdentifier: "com.bitwarden.desktop"))
+ XCTAssertTrue(AppSafetyPolicy.isBlocked(bundleIdentifier: "me.proton.pass.electron"))
+ }
+
func testVisualCursorEnvFlagDefaultsToEnabled() {
XCTAssertTrue(visualCursorEnabled(environment: [:]))
XCTAssertTrue(visualCursorEnabled(environment: ["OPEN_COMPUTER_USE_VISUAL_CURSOR": "1"]))