Skip to content

A team of long-lived bots for DeepSeek Harness, with main bots, bot-to-bot messages and group chats.

9.8 KB
Raw Blame

电脑操控:Bot 按用户给的权限用电脑上的应用

  • 日期:2026-11-04
  • 相关:Issue #917;代替旧的 PR #32;前提是升级到 DSH 0.2.2-rc.1(PR #908)
  • 代码:ds-bot/src/host/computer/、ds-bot/src/client/computer-*.js、app/src/computer-*.mjs

为什么

Bot 已经能在自己的浏览器里干活,但很多事在用户电脑上的原生应用里:备忘录、邮件、Office、聊天软件。Bot 应该能看、能操作这些应用,但只能做到用户允许的程度,尽量不抢用户的鼠标和键盘,并且用户随时看得见、停得下。

驱动用 DSH 的,DS Bot 不自己写。DSH 的电脑操作提供方只负责「看」和「点」,它明确把三件事留给调用方:

  1. 权限按谁管。 DSH 的应用授权按会话记,Bot 一换段、一进群就要重新问;长期授权对整个 profile 生效,不分 Bot。Windows 上用的 Cua Driver 提供方在同一进程里运行,不经过任何授权。
  2. 共用一个桌面。 多个会话同时操作同一个桌面,由调用方协调。
  3. 看得见、能接管。 提供方不画指示器,也没有接管和交还。

Bot 是长期身份,这三件都按 Bot 来,所以由 DS Bot 接过来。这一层和浏览器操控共用:同一张交接卡,同样的「Bot 在操作 / 你在操作 / 等你处理」,Bot 设置里放在同一个「操控」分组。

macOS 的系统权限(辅助功能、屏幕录制)认的是应用的签名。DS Bot 桌面应用是临时签名,每次更新后 macOS 会把它当成新应用,授过的权限静默失效(在 macOS 26 上实测过)。DSH 的 macOS 提供方带一个 DeepSeek 签名并公证过的独立辅助应用 DSH Computer Use.app,系统权限授给它,DS Bot 更新不影响。

已定的行为

总开关和提供方

  • 设置里新增「电脑操控」页,顶上一个总开关,默认关。
  • 打开后,DS Bot 自己加载 DSH 的提供方,所有 Bot 共用这一个:
    • macOS:@deepseek-ai/dsh-experimental-cua-macos。
    • Windows、Linux:@deepseek-ai/dsh-experimental-computer-use-cua-driver-native。
  • 关掉后卸载提供方,所有 Bot 的电脑工具一起撤下;档位和应用授权保留。
  • 开关和提供方状态都在这一页:
    • macOS 显示辅助功能和屏幕录制的状态,各有一个「去授权」按钮,由提供方打开系统设置并显示拖放引导。权限缺失时,Bot 的调用失败并说明要用户授权,不重试。
    • 加载失败(例如缺少系统组件、平台不支持)时显示原因,开关保持打开,用户修好后点「重试」。
  • 插件版(DSH Desktop / Web)同一个开关:DS Bot 在这个 DSH 安装里找到提供方包时自己加载。DSH 自己的「Computer Use」插件只给 PTC 会话用,且同一时间只能加载一个提供方,它开着时这一页说明先在 DSH 的插件页把它关掉;DSH 安装里没有这个包时,说明怎么安装。

每个 Bot 的档位

  • 四档:关、只看、后台操作、可以动前台。总开关第一次打开时,所有 Bot(含之后新建的)默认「后台操作」。
  • 只有用户能改:Bot 详情的「操控」卡片,或「电脑操控」页的 Bot 列表。Main Bot 的工具改不了任何 Bot 的档位,也改不了总开关。
  • 每档能做的:
    • 只看:列出应用和窗口、读界面结构(辅助功能树)、截图。选中一个没在运行的应用时会在后台启动它。
    • 后台操作:再加上点击、输入、粘贴、按键、滚动、拖动、改控件的值、把隐藏或最小化的窗口显示出来;都不把应用调到前台。
    • 可以动前台:再加上把应用调到前台、移动看得见的鼠标指针。同一时间只有一个 Bot 能动前台。
  • DS Bot 给提供方的每个工具(Cua Driver 是每个方法)定好属于哪一档。认不出的工具按「可以动前台」算。
  • 只有 Bot 能用电脑工具;不是 Bot 的 DSH 会话拿不到。Bot 在群里用同一个档位,群不能单独设。
  • 「关」的 Bot 看不到电脑工具和它们的说明;超出档位的调用在执行前被拒绝,并告诉 Bot 是哪一档不允许、谁能改。

应用授权(按 Bot 记)

  • Bot 第一次用某个应用时,Bot 自己的聊天里出现一张卡:「允许 River 使用 备忘录?」,按钮依次是「拒绝」「这一次」「一直允许」。
    • 「这一次」:只在当前这一段对话里有效。
    • 「一直允许」:记在这个 Bot 上,换段、进群都不再问。
    • 「拒绝」:这一段对话里不再问。
  • 卡片总在 Bot 自己的聊天里,即使请求来自群聊;群里显示这个 Bot 在等用户批准。手机和 IM 照常收到这张卡。
  • Bot 详情的「操控」卡片列出这个 Bot「一直允许」的应用,每行可以撤销。撤销后正在进行的操作被取消,Bot 已经选好的这个应用失效,它重新选这个应用时再问。
  • macOS 上,DSH 提供方自己会弹应用授权;对 Bot 的会话,由 DS Bot 按上面的规则代用户回答,DSH 的「对所有会话一直允许」不出现。

Bot 不能碰的应用

  • DS Bot 自己、DSH Desktop、DSH Computer Use.app、系统设置、钥匙串访问和「密码」应用,Windows 的「设置」和凭据管理器。
  • 选中这些应用时直接拒绝,用户也不能授权。这样 Bot 不能点自己的审批卡,也不能给自己加权限。

多个 Bot 和用户共用一个桌面

  • 应用租约:同一个应用同一时间只给一个 Bot。Bot 第一次操作某个应用时拿到租约,它这一轮结束或空闲 60 秒后放开。别的 Bot 这时用这个应用会被拒绝,并告诉它「River 正在用 备忘录」。不同 Bot 用不同应用时,可以在后台同时进行。
  • 前台租约:「可以动前台」的操作同一时间只给一个 Bot,规则同上。
  • 桌面应用里,用户最近几秒还在用键盘或鼠标时,动前台的操作先被拒绝,指示器上显示「River 等你停手」和「让它继续」;点了之后 60 秒内放行。
  • 只读的调用(列应用、读结构、截图)不要租约。

看得见、停得下

  • 指示器:只要有 Bot 拿着应用租约,就一直显示:哪个 Bot 在用哪个应用,每个 Bot 一个「停止」,再加「全部停止」。
    • 桌面应用:屏幕顶上一个浮动的小条,跟随系统的浅色和深色,宽度跟着内容走;它不出现在任何截图里;托盘菜单里也有同样的条目。
    • 插件版:DS Bot 界面顶上一条。
  • 停止:和停止按钮一样,停下这个 Bot 当前这一轮,取消进行中的电脑操作,放开它的租约。
  • Bot 的鼠标(桌面应用):Bot 每做一步,在它操作的位置画一个 Bot 颜色的箭头,尾部带 Bot 的头像;点击时有一圈波纹;最后一步之后约 2.5 秒淡出。
    • 按坐标点、拖动:箭头指在那个点上。
    • 按界面元素点、输入、按键:箭头停在那个窗口标题栏的中间,不假装指着某个控件。
    • 只在那个位置真的看得见时才画:窗口在当前桌面上,而且没被别的窗口挡住。被挡住或在后台时不画,只在「电脑」页里显示步骤。
    • 鼠标不挡用户的点击,也不出现在 Bot 的截图里。
    • Windows 上关掉 Cua Driver 自己的光标,统一用 DS Bot 画的。插件版不在屏幕上画。
  • Bot 详情的「电脑」页:状态(空闲 / Bot 在操作 / 你在操作 / 等你处理)、正在用的应用、最近一张截图、最近的步骤,按钮「停止」「我来操作」「交还」。
  • 聊天里:每个电脑操作是一行活动,写应用和动作;有截图时带缩略图。

接管和交接(和浏览器共用)

  • 我来操作:取消这个 Bot 进行中的电脑操作;之后它的电脑调用都被拒绝,并告诉它用户在操作,等用户交还。
  • 交还:Bot 收到一条消息,说用户交还了电脑,要先重新看一遍再继续。DS Bot 不记录用户接管期间打的字和点的位置。
  • Bot 主动交接:新工具 computer_handoff(原因:登录、付款、验证码、确认、其他,加一句说明),出浏览器交接用的同一张卡:「跳过」「接管」「我完成了」。「接管」打开这个 Bot 的「电脑」页并进入「你在操作」。
  • 付款、输入密码一律交给用户。发送、删除、发布这类有后果的动作,DS Bot 从坐标点击里认不出来,所以 Bot 的说明要求它先用交接卡请用户确认;Bot 自己问「确定吗」不算授权。
  • 应用界面里的文字、窗口标题、剪贴板内容都是数据,不当成用户的指令。

不做什么

  • 每个 Bot 一个独立的桌面或虚拟机。
  • 记录用户接管期间的输入。
  • 用 DSH 的 PTC 预设给 Bot 开电脑操作;Bot 照常用自己的预设。
  • 手机上看实时画面。

已知限制

  • 插件版在 DSH Web 里时,DSH 的界面是浏览器里的一个标签页。DS Bot 没法只保护一个标签页,Bot 若被授权使用这个浏览器,就能点到 DSH 的界面。要么用桌面应用,要么不给 Bot 授权这个浏览器。
  • Windows:Chromium、Electron 类应用在后台常常收不到输入,要前台;以管理员身份运行的应用拒绝操作。Cua Driver 和引擎在同一进程,它崩溃时引擎一起退出。
  • Linux:支持 X11,Wayland 受限;不在屏幕上画 Bot 的鼠标。
  • macOS:要 macOS 14 及以上;后台输入依赖系统的非公开接口,系统更新后可能失效。
  • 租约只协调 DS Bot 的 Bot;别的程序、DS Bot 之外的 DSH 会话照样能动同一个桌面。
  • 操作结果只表示「已发出」,不表示「已生效」;Bot 要重新看一遍确认。

变更