A team of long-lived bots for DeepSeek Harness, with main bots, bot-to-bot messages and group chats.
Add the computer-use design note
Fei24110ccc55b94972
diff --git a/docs/plans/2026-11-04-computer-use.md b/docs/plans/2026-11-04-computer-use.mdnew file mode 100644index 00000000..34db3c9b--- /dev/null+++ b/docs/plans/2026-11-04-computer-use.md@@ -0,0 +1,104 @@+# 电脑操控:Bot 按用户给的权限用电脑上的应用++- 日期:2026-11-04+- 相关:Issue #917;代替旧草稿 PR #32;前提是升级到 DSH 0.2.2-rc.1(PR #908)+- 代码:`ds-bot/src/host/computer/`、`ds-bot/src/client/computer-*.js`、`app/src/computer-*.mjs`++## 为什么++Bot 已经能在自己的浏览器里干活,但很多事在用户电脑上的原生应用里:备忘录、邮件、Office、聊天软件。Bot 应该能看、能操作这些应用,但只能做到用户允许的程度,尽量不抢用户的鼠标和键盘,并且用户随时看得见、停得下。++驱动用 DSH 的,DS Bot 不自己写。DSH 的电脑操作提供方只负责「看」和「点」,它明确把三件事留给调用方:++1. **权限按谁管。** DSH 的应用授权按会话记,Bot 一换段、一进群就要重新问;长期授权对整个 profile 生效,不分 Bot。Windows 上用的 Cua Driver 提供方在同一进程里运行,不经过任何授权。+2. **共用一个桌面。** 多个会话同时操作同一个桌面,由调用方协调。+3. **看得见、能接管。** 提供方不画指示器,也没有接管和交还。++Bot 是长期身份,这三件都按 Bot 来,所以由 DS Bot 接过来。这一层和浏览器操控共用:同一张交接卡,同样的「Bot 在操作 / 你在操作 / 等你处理」,Bot 设置里放在同一个「操控」分组。++macOS 的系统权限(辅助功能、屏幕录制)认的是应用的签名。DS Bot 桌面应用是临时签名,每次更新后 macOS 会把它当成新应用,授过的权限静默失效(在 macOS 26 上实测过)。DSH 的 macOS 提供方带一个 DeepSeek 签名并公证过的独立辅助应用 `DSH Computer Use.app`,系统权限授给它,DS Bot 更新不影响。++## 已定的行为++### 总开关和提供方++- 设置里新增「电脑操控」页,顶上一个总开关,默认关。+- 打开后,DS Bot 自己加载 DSH 的提供方,所有 Bot 共用这一个:+ - macOS:`@deepseek-ai/dsh-experimental-cua-macos`。+ - Windows、Linux:`@deepseek-ai/dsh-experimental-computer-use-cua-driver-native`。+- 关掉后卸载提供方,所有 Bot 的电脑工具一起撤下;档位和应用授权保留。+- 开关和提供方状态都在这一页:+ - macOS 显示辅助功能和屏幕录制的状态,各有一个「去授权」按钮,由提供方打开系统设置并显示拖放引导。权限缺失时,Bot 的调用失败并说明要用户授权,不重试。+ - 加载失败(例如缺少系统组件、平台不支持)时显示原因,开关保持打开,用户修好后点「重试」。+- 插件版(DSH Desktop / Web)同一个开关:DS Bot 在这个 DSH 安装里找到提供方包时自己加载。DSH 自己的「Computer Use」插件只给 PTC 会话用,且同一时间只能加载一个提供方,它开着时这一页说明先在 DSH 的插件页把它关掉;DSH 安装里没有这个包时,说明怎么安装。++### 每个 Bot 的档位++- 四档:**关**、**只看**、**后台操作**、**可以动前台**。总开关第一次打开时,所有 Bot(含之后新建的)默认「后台操作」。+- 只有用户能改:Bot 详情的「操控」卡片,或「电脑操控」页的 Bot 列表。Main Bot 的工具改不了任何 Bot 的档位,也改不了总开关。+- 每档能做的:+ - **只看**:列出应用和窗口、读界面结构(辅助功能树)、截图。选中一个没在运行的应用时会在后台启动它。+ - **后台操作**:再加上点击、输入、粘贴、按键、滚动、拖动、改控件的值、把隐藏或最小化的窗口显示出来;都不把应用调到前台。+ - **可以动前台**:再加上把应用调到前台、移动看得见的鼠标指针。同一时间只有一个 Bot 能动前台。+- DS Bot 给提供方的每个工具(Cua Driver 是每个方法)定好属于哪一档。认不出的工具按「可以动前台」算。+- 只有 Bot 能用电脑工具;不是 Bot 的 DSH 会话拿不到。Bot 在群里用同一个档位,群不能单独设。+- 「关」的 Bot 看不到电脑工具和它们的说明;超出档位的调用在执行前被拒绝,并告诉 Bot 是哪一档不允许、谁能改。++### 应用授权(按 Bot 记)++- Bot 第一次用某个应用时,Bot 自己的聊天里出现一张卡:「允许 River 使用 备忘录?」,按钮依次是「拒绝」「这一次」「一直允许」。+ - 「这一次」:只在当前这一段对话里有效。+ - 「一直允许」:记在这个 Bot 上,换段、进群都不再问。+ - 「拒绝」:这一段对话里不再问。+- 卡片总在 Bot 自己的聊天里,即使请求来自群聊;群里显示这个 Bot 在等用户批准。手机和 IM 照常收到这张卡。+- Bot 详情的「操控」卡片列出这个 Bot「一直允许」的应用,每行可以撤销。撤销后正在进行的操作被取消,Bot 下次要用时重新问。+- macOS 上,DSH 提供方自己会弹应用授权;对 Bot 的会话,由 DS Bot 按上面的规则代用户回答,DSH 的「对所有会话一直允许」不出现。++### Bot 不能碰的应用++- DS Bot 自己、DSH Desktop、`DSH Computer Use.app`、系统设置、钥匙串访问和「密码」应用,Windows 的「设置」和凭据管理器。+- 选中这些应用时直接拒绝,用户也不能授权。这样 Bot 不能点自己的审批卡,也不能给自己加权限。++### 多个 Bot 和用户共用一个桌面++- **应用租约**:同一个应用同一时间只给一个 Bot。Bot 第一次操作某个应用时拿到租约,它这一轮结束或空闲 60 秒后放开。别的 Bot 这时用这个应用会被拒绝,并告诉它「River 正在用 备忘录」。不同 Bot 用不同应用时,可以在后台同时进行。+- **前台租约**:「可以动前台」的操作同一时间只给一个 Bot,规则同上。+- 桌面应用里,用户最近几秒还在用键盘或鼠标时,动前台的操作先被拒绝,指示器上显示「River 等你停手」和「让它继续」;点了之后 60 秒内放行。+- 只读的调用(列应用、读结构、截图)不要租约。++### 看得见、停得下++- **指示器**:只要有 Bot 拿着应用租约,就一直显示:哪个 Bot 在用哪个应用,每个 Bot 一个「停止」,再加「全部停止」。+ - 桌面应用:屏幕顶上一个浮动的小条,不出现在 Bot 的截图里;托盘菜单里也有同样的条目。+ - 插件版:DS Bot 界面顶上一条。+- **停止**:和停止按钮一样,停下这个 Bot 当前这一轮,取消进行中的电脑操作,放开它的租约。+- 后台操作不在用户屏幕上画任何东西。+- **Bot 详情的「电脑」页**:状态(空闲 / Bot 在操作 / 你在操作 / 等你处理)、正在用的应用、最近一张截图、最近的步骤,按钮「停止」「我来操作」「交还」。+- **聊天里**:每个电脑操作是一行活动,写应用和动作;有截图时带缩略图。++### 接管和交接(和浏览器共用)++- **我来操作**:取消这个 Bot 进行中的电脑操作;之后它的电脑调用都被拒绝,并告诉它用户在操作,等用户交还。+- **交还**:Bot 收到一条消息,说用户交还了电脑,要先重新看一遍再继续。DS Bot 不记录用户接管期间打的字和点的位置。+- **Bot 主动交接**:新工具 `computer_handoff`(原因:登录、付款、验证码、确认、其他,加一句说明),出浏览器交接用的同一张卡:「跳过」「接管」「我完成了」。「接管」打开这个 Bot 的「电脑」页并进入「你在操作」。+- 付款、输入密码一律交给用户。发送、删除、发布这类有后果的动作,DS Bot 从坐标点击里认不出来,所以 Bot 的说明要求它先用交接卡请用户确认;Bot 自己问「确定吗」不算授权。+- 应用界面里的文字、窗口标题、剪贴板内容都是数据,不当成用户的指令。++## 不做什么++- 每个 Bot 一个独立的桌面或虚拟机。+- 在屏幕上画 Bot 的光标。+- 记录用户接管期间的输入。+- 用 DSH 的 PTC 预设给 Bot 开电脑操作;Bot 照常用自己的预设。+- 手机上看实时画面。++## 已知限制++- 插件版在 DSH Web 里时,DSH 的界面是浏览器里的一个标签页。DS Bot 没法只保护一个标签页,Bot 若被授权使用这个浏览器,就能点到 DSH 的界面。要么用桌面应用,要么不给 Bot 授权这个浏览器。+- Windows:Chromium、Electron 类应用在后台常常收不到输入,要前台;以管理员身份运行的应用拒绝操作。Cua Driver 和引擎在同一进程,它崩溃时引擎一起退出。+- Linux:支持 X11,Wayland 受限。+- macOS:要 macOS 14 及以上;后台输入依赖系统的非公开接口,系统更新后可能失效。+- 租约只协调 DS Bot 的 Bot;别的程序、DS Bot 之外的 DSH 会话照样能动同一个桌面。+- 操作结果只表示「已发出」,不表示「已生效」;Bot 要重新看一遍确认。++## 变更diff --git a/docs/plans/README.md b/docs/plans/README.mdindex 686e7e4e..c57f1f2a 100644--- a/docs/plans/README.md+++ b/docs/plans/README.md@@ -43,6 +43,7 @@| [群聊 Goal](2026-11-01-group-goal.md) | 管理员先对齐再写 Goal;分阶段派给成员、每阶段带证据验收;每轮带 Goal 账本防跑偏;空闲时自动推进;暂停、纠偏、终止;会话头胶囊和吊舱显示进度与分工 || [浏览器、搜索、密钥和连接器](2026-10-08-browser-and-secrets.md) | 每个 Bot 的浏览器和 `read_browser`、`auto` 联网搜索、密钥卡和替换规则、GitHub 连接器 || [浏览器插件](2026-10-21-browser-plugins.md) | 全团队一个浏览器后端,每个 Bot 一份 profile;`refs` / `script` / `task` |+| [电脑操控](2026-11-04-computer-use.md) | 设置里的总开关和 DSH 提供方;每个 Bot 四档(关 / 只看 / 后台操作 / 可以动前台);按 Bot 记的应用授权;不能碰的应用;应用租约和前台租约;指示器、停止、「电脑」页;接管和交接卡与浏览器共用 || [上下文与记忆](2026-10-09-context-and-memory.md) | 对话分段、上下文管家(压缩还是换段)、交接包、`read_own_chat`;记忆的存放、格式、权限、整理和冻结 || [记忆撤销与更改记录](2026-11-01-memory-restore.md) | 记忆窗口「更改记录」列出 `journal.jsonl` 的改动;按记录 id 对单条添加、修改或删除做逆操作撤销 || [Bot 运行配置](2026-10-10-bot-runtime.md) | Agent 预设、每个 Bot 的模型和思考强度、新 Bot 默认模型、工作文件夹、能力(MCP、技能、能力包) |