👾 Open Computer Use – Open-Source Alternative to Codex Computer Use
Swift accessibilityai-agentai-agentsclaude-codecodexcodex-computer-usecomputer-usecomputer-use-agentcross-platformcuadesktop-automationgemini-cligui-automationmacosmcpmodel-context-protocolopen-computer-useopen-computer-use-mcpopenai-codexopencode
Reduce visual cursor idle timeout to 30s
usoon.xu611dd3ac4995
diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.mdindex 35df995..91f2525 100644--- a/docs/ARCHITECTURE.md+++ b/docs/ARCHITECTURE.md@@ -62,7 +62,7 @@- `open-computer-use call <tool> --args '{...}'` 会直接输出 MCP-style JSON result;`open-computer-use call --calls '[...]'` / `--calls-file <path>` 会在同一进程里顺序执行 JSON 数组里的 tool calls,并复用同一个 `ComputerUseService` 内存态,因此 `get_app_state` 之后的 action tool 可以继续使用同一轮 snapshot 的 `element_index`。序列执行默认会在成功的相邻操作之间 sleep 1 秒,也可以用 `--sleep <seconds>` 覆盖;遇到 `isError=true` 的 tool result 后停止。- 对真实 app 的 `get_app_state` / action tool 入口,当前新增了一层官方风格的高风险 bundle denylist:bundle-id 直传时直接返回 safety denial;名称匹配时默认不解析到这些 app,尽量贴近官方对终端、密码管理器、Chrome 与少量系统敏感组件的防护行为。- 普通 app 的 element frame 当前按“窗口左上角为原点”的 window-relative 坐标输出,便于后续把 `element_index` 和截图坐标统一到同一套参考系。-- `click` / `set_value` 在执行真实动作前后,会额外驱动一层透明 `SoftwareCursorOverlay` window:两者的移动阶段现在共用一条 heading-driven 的官方风格 motion 内核,显式把“当前 cursor 朝向”和“最终 resting pose”一起喂给选路器,优先生成需要时先掉头、再沿车头方向推进的 C 形/单侧大弧轨迹;首次显示时按官方 binary 的 fresh state 从 AppKit 全局 `(0,0)` window origin 生成起点,后续动作继续复用上一帧 visible tip。真正显示出来的 cursor 不再直接等于 path sample,而是经过一层独立的 visual dynamics 状态,把 visible tip、velocity、angle 和 fog/offset 持续推进。`click` 结尾会衔接 click pulse 和 idle sway,`set_value` 则只做 settle / idle,不给 pulse;两者收尾后都会像官方 service 一样保持短期 idle 状态,约 5 分钟无后续操作才做 cleanup,这样连续 tool call 不会反复从 fresh `(0,0)` 起步;如果宿主在任务 / turn 结束时发出 `turn-ended`,cursor 会立即消失并清掉本轮位置状态。+- `click` / `set_value` 在执行真实动作前后,会额外驱动一层透明 `SoftwareCursorOverlay` window:两者的移动阶段现在共用一条 heading-driven 的官方风格 motion 内核,显式把“当前 cursor 朝向”和“最终 resting pose”一起喂给选路器,优先生成需要时先掉头、再沿车头方向推进的 C 形/单侧大弧轨迹;首次显示时按官方 binary 的 fresh state 从 AppKit 全局 `(0,0)` window origin 生成起点,后续动作继续复用上一帧 visible tip。真正显示出来的 cursor 不再直接等于 path sample,而是经过一层独立的 visual dynamics 状态,把 visible tip、velocity、angle 和 fog/offset 持续推进。`click` 结尾会衔接 click pulse 和 idle sway,`set_value` 则只做 settle / idle,不给 pulse;两者收尾后会在目标点继续保持 idle 状态,只有连续 30 秒没有新动作时才做 cleanup,这样连续 tool call 不会反复从 fresh `(0,0)` 起步;如果宿主在任务 / turn 结束时发出 `turn-ended`,cursor 会立即消失并清掉本轮位置状态。- overlay 的 visual style 不再自己从官方 app bundle 裁 `SoftwareCursor` 小图;主 MCP runtime 现在和 `CursorMotion` 一样优先渲染仓库里沉淀的 `official-software-cursor-window-252.png` baseline,只有资源缺失时才退回 `OpenComputerUseKit` 内部的程序化 pointer/fog fallback。命中点 anchor 仍固定在 `126x126` 画布里的同一组 tip-offset 上;glyph 自身的 neutral heading 继续沿用 `CursorMotion` / 官方 baseline 的 `-3π/4`。主 runtime overlay window 按 AppKit 全局坐标移动,因此在把 AX / `CGWindowList` 产出的 y-down screen-space 点击目标喂给 overlay 之前,会先转换成对应屏幕的 AppKit 全局坐标;路径选路用屏幕上实际可见的 AppKit forward heading,进入 visual dynamics / render state 前则把 velocity 的 y 轴翻回 CursorMotion 的 y-down screen state,再交给 AppKit 绘制层做角度和 `dy` 翻转。程序化 fallback 保留 neutral artwork correction,把它的天然轮廓轴对齐到 `CursorMotion` / 官方 baseline 的 `-3π/4` forward 方向,但不让实验线依赖 runtime 代码。- overlay 的层级不再固定 `.floating`;现在会跟随 snapshot 命中的目标 window id / layer,把自己排到该目标 window 之上,而不是粗暴压到所有前台 app 最上层。- overlay 的曲线路径不再只按固定 Bezier 模板生成;当前主线采用 reverse-engineering 约束下的 heading-driven candidate 族,候选只保留 `direct` / `turn` / `brake` / `orbit` 这些能稳定产出单侧主弧的 family,并继续保留 target-window 命中策略作为同类候选间的 tie-break。原始 binary lift 恢复出来的 `20` 条路径和 score 仍然保留在独立的 `StandaloneCursor` viewer / Python 重建脚本里,用于对照分析,不再直接作为 runtime 默认 chooser。diff --git a/docs/histories/2026-04/20260422-1638-shorten-visual-cursor-idle-timeout.md b/docs/histories/2026-04/20260422-1638-shorten-visual-cursor-idle-timeout.mdnew file mode 100644index 0000000..d9b7072--- /dev/null+++ b/docs/histories/2026-04/20260422-1638-shorten-visual-cursor-idle-timeout.md@@ -0,0 +1,26 @@+## [2026-04-22 16:38] | Task: 调整 visual cursor 停驻时长++### Execution Context+* **Agent ID**: `Codex`+* **Base Model**: `GPT-5.4`+* **Runtime**: `Codex CLI on macOS + SwiftPM`++### User Query+> let's optimize the cursor status, currently it will disappeared immediately once it reach the target place, but I wanna it keep float there, only vanish if there is no new move after 30s++### Changes Overview+**Scope:** `OpenComputerUseKit` visual cursor runtime、测试、架构文档++**Key Actions:**+- **[Idle timeout 调整]**: 将 visual cursor 交互后的 idle cleanup 窗口改为 `30s`,让 cursor 到达目标点后继续停驻并等待后续动作。+- **[回归测试同步]**: 更新 timeout 常量测试,避免后续把停驻时长又改回更短或更长而没有显式确认。+- **[文档同步]**: 更新 `docs/ARCHITECTURE.md`,说明当前开源 runtime 的 idle 隐藏条件已经收敛为“30 秒无新动作才清理”。++### Design Intent+这轮目标不是改 motion 曲线,而是改 overlay 的可见性生命周期。cursor 到达目标点后应该继续以 idle 姿态停在原地,给用户明确的“刚刚操作到了这里”的反馈;只有在一段时间内没有新的 move / click / set_value 时才隐藏。这里把等待窗口收敛到 30 秒,兼顾连续操作时的可跟踪性和长时间残留的干扰。++### Files Modified+- `packages/OpenComputerUseKit/Sources/OpenComputerUseKit/SoftwareCursorOverlay.swift`+- `packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift`+- `docs/ARCHITECTURE.md`+- `docs/histories/2026-04/20260422-1638-shorten-visual-cursor-idle-timeout.md`diff --git a/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/SoftwareCursorOverlay.swift b/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/SoftwareCursorOverlay.swiftindex fe6a614..a7765ce 100644--- a/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/SoftwareCursorOverlay.swift+++ b/packages/OpenComputerUseKit/Sources/OpenComputerUseKit/SoftwareCursorOverlay.swift@@ -69,7 +69,7 @@ func visualCursorScreenStateVelocity(}func visualCursorPostInteractionIdleTimeout() -> TimeInterval {- 5 * 60+ 30}public let openComputerUseTurnEndedNotificationName = Notification.Name("com.ifuryst.opencomputeruse.turn-ended")diff --git a/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift b/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swiftindex ab6e52a..e35ae0d 100644--- a/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift+++ b/packages/OpenComputerUseKit/Tests/OpenComputerUseKitTests/OpenComputerUseKitTests.swift@@ -632,8 +632,8 @@ final class OpenComputerUseKitTests: XCTestCase {}func testVisualCursorKeepsPostInteractionIdleStateLongEnoughForFollowupTools() {- XCTAssertEqual(visualCursorPostInteractionIdleTimeout(), 5 * 60)- XCTAssertGreaterThan(visualCursorPostInteractionIdleTimeout(), 30)+ XCTAssertEqual(visualCursorPostInteractionIdleTimeout(), 30)+ XCTAssertGreaterThanOrEqual(visualCursorPostInteractionIdleTimeout(), 30)}func testVisualCursorRuntimeMapsAppKitUpwardMotionToCursorMotionScreenState() {