Consider it done. The open-source AI agent that works out of the box · 想到,就能做到。开源、开箱即用的 AI Agent。
代输入:Agent 把需要主人的输入交给主人
适用:普通任务(Claude Code / Codex / Pi)与伙伴任务。实现入口:
apps/desktop/src/main/input-handoff/(宿主)、packages/device-link/src/inputHandoff.ts(卡片快照与提交协议)、Desktoprenderer/features/input-handoff/、Mobilesrc/inputHandoff/。 术语「代输入」在i18n/glossary.json为 proposed,定稿前文案沿用。
1. 用户应该得到什么
工具发现入口:cindy_helper.list_tools 的简介直接指向 auth 类目的登录、验证码和二维码交接;类目概览同时说明通用代输入与 Grok 设备码授权。展开 auth 时返回工具说明和参数 schema,模型无需先发错误调用才能知道 purpose、target 等参数。三种 Harness 共用同一 MCP 工具目录;Pi 通过原有 MCP 网关发现它,不另外增加 system prompt。
Agent 在任何界面遇到只有主人才能填的输入框——账号、密码、验证码、它不知道的个人信息——调用
request_input_handoff,本轮结束。宿主读取目标窗口当前这一步,在主人的设备上、输入框上方出现一条
代输入条:图标、Agent 说的用途、宿主核实的位置(安全网站显示锁 + 站点,否则显示来源或应用名),右侧「跳过」
「填写」。点「填写」打开表单(iPhone 是系统原生底部面板,电脑与其它平台是同样版式的对话框),表单上只有这一步
要主人填的输入框(普通文本框变标准输入框、密码框变系统保密输入框,带显示密码的眼睛),以及页面对这些输入框的
报错。主人在最后一项按回车(手机键盘的「前往」)或点「继续」,宿主把值填进真实界面,再按页面自己的主按钮(没有
就在最后一个输入框按回车)。界面稳定后若又出现要主人填的输入框,就把下一步刷到同一个表单上(主人没关表单时
它自己回来);没有了就交还给 Agent。
- 只在有输入框要主人填时才弹:按钮、选项、开关、勾选、授权同意页都由 Agent 自己处理,卡片上不出现。
界面上没有要主人填的输入框时,请求立即结束(
nothing_to_fill),不弹卡、不推送,Agent 继续。 - 表单不显示页面的按钮、标题、链接、步数;「继续」与回车等价。「取消」只关表单,代输入条还在;「跳过」才结束本次代输入。
- Agent 不需要知道有几步,也不预先描述每一步;界面出现什么输入框,卡片显示什么。
- 通用,不做站点或业务适配:同一套逻辑覆盖桌面上的任何程序——网页、Electron 应用、原生 App(含微信等扫码登录的桌面客户端)与终端口令,不只网页登录。
- 不以远程控制为主路径:主人看到的是卡片;截图点按与单窗口实时画面只是个别步骤的兜底。
2. 产品不变量
2.1 主人的值不留痕
- 主人填写的所有值(不只密码)只交给宿主执行那一下,随即清零;不进模型上下文、工具结果、续接消息、
任务记录、数据库、日志、上传日志、IM、推送。续接消息只有事实:状态、结束方式、步数、最终应用/窗口/
origin(
buildInputHandoffContinuation)。 - 本机 Desktop 经受信本地 IPC 提交;手机与其它电脑经插件授权 v3 的签名握手 + 端到端加密,按 (requestId, revision) 逐步绑定;旧版本对端返回「请更新」,不降级到明文。
- 卡片快照(经 device-link 推送,不加密)只含界面本身显示的结构与文字,从不含输入框里的值;截图像素只走
本地受信通道或加密 offer,快照里只有
picture: true。 - Agent 之后自己读界面时能看到界面显示的非密码内容——那是界面状态,不是 Cindy 转交的。
- 任务记录只留一行「主人完成了 N 步输入」类的事实(
inputHandoffRecord)。
2.2 防钓鱼与执行边界
- 卡片顶部是宿主核实的来源:应用名、窗口、网页 origin;Agent 写的
purpose/note单独标为 Agent 说明。 - origin 是 IP、
localhost、file:/data:、punycode、http 明文、跨域 iframe 里的密码框 → 警示(originPolicy.ts), 只加提醒不拦截;提交时 origin 已变 → 本步作废不填(origin_changed)。 - 主人在 Agent 驱动的浏览器页面填过密码后,该页面(同 scheme/host/port/path)在离开前暂停 Agent 的读页工具
(脚本执行、网络请求与响应体、console),15 分钟过期(
secretTaint.ts)。 - Agent 直接操作保密输入框会被拒绝并提示改用代输入(
cindy_computer的isSecureTarget)。 - Electron 应用等 Agent 在目标进程里能跑脚本的界面,卡片明示「此界面由 Agent 控制」。威胁模型边界:保证 Cindy 不记录、不转发、不交给模型并挡住网页钓鱼;不是针对「Agent 本身恶意且在目标进程里有任意代码」的沙箱。
2.3 谁能答、在哪里答
- 只有主人:共享任务访客、群成员、IM 非主人都不能提交(宿主判定)。
- 本机 Desktop、手机、主人其它电脑同时出现卡片;先开始处理的设备持有本次会话,其它设备显示「正在 iPhone 上处理」,可「接手」。接手会推进 revision,旧设备在途的提交按过期拒绝。无人持有时首个按键的静默认领同样推进 revision,但认领设备按认领前 revision 发出的提交仍有效(密码管理器「填充并提交」比认领回执更快),其它设备不享有此例外。
- 每任务同时只有一个待处理代输入;一小时内最多 6 次(防循环骚扰);
伙伴设置可关闭该伙伴的代输入(
capabilities.inputHandoff === false,即时对所有运行中任务生效)。
2.4 提醒
- 手机推送正文固定(
settings.notifications.sessionEvent.inputHandoff),不含界面文字和 Agent 写的目的; 只在卡片真正有东西要主人填时提醒(读取中、无需输入就结束的请求不提醒,也不出现在任何设备上), 每出现新的一步再提醒一次。 - 由 IM 渠道驱动的任务(个人 bot 与官方 Telegram bot),在该聊天里发一行固定指引
「🔐 需要你帮忙输入:<任务名> · 在 Cindy 中打开」,每个请求一次(
im/shared/inputHandoffChannelNotice.ts); 飞书/ctr接管的桌面任务沿用桌面确认提示的飞书通道。IM 里不显示界面内容、不收输入。 - Agent Island 显示待处理卡片,结束即撤下。
2.5 结束与交还
- 宿主判定:主人至少答过一步之后,当前界面已没有要主人填的输入框(只剩按钮、选项或授权同意页也算)→ 卡片进入约 3 秒可取消的倒计时,
到点自动交还;主人可点「还没完」停留在本步。Agent 给的
complete_when(窗口关闭 / 出现文字 / URL 包含)同样可触发。 - 主人随时可取消;超时(默认 15 分钟,最长 60)、目标窗口消失也会结束。
- 交还不等于成功:Agent 拿到续接后自己检查结果,未完成可再次发起。
3. 一步读不出来时(只限这一步)
| 情形 | 卡片 |
|---|---|
| 结构读不出(画布、自绘界面、图形验证码) | 截图点按:宿主无法判断有没有输入框,所以显示该窗口截图,主人点哪里就在真实窗口点哪里;有焦点输入框时附一个输入框(「填入」只打字、「填入并回车」再按回车)。主人也可在任一步从卡片底部的「看画面」切过来。读不出结构又截不到图时请求失败(unreadable)。执行电脑锁屏时(显示器休眠也会锁屏)不读取也不输入,直接以 screen_locked 结束,提示主人先唤醒并解锁;Agent 等主人说已解锁后再发起。 |
| 截图点按也不够(拖动滑块等) | 单窗口实时画面:主人主动打开,只含该窗口;输入限制在窗口内,不能切显示器、不能锁屏或解锁、没有声音与剪贴板。随代输入结束而结束。需要执行电脑开启远程桌面(仅 macOS)。 |
| 设备码登录(界面只给一个代码 + 一个链接) | 卡片显示代码、「复制代码」与「在本设备打开」(显示目标 origin);主人在自己设备已登录的浏览器里完成,再点「交还给 Agent」。此步不会自动倒计时交还。 |
- 设备码识别是通用形状判断:本步没有文本输入,且恰好一个代码形状的文本(带连字符分组且含字母,或单独成行的 6–10 位大小写字母数字混合)与恰好一个公网 https 链接;有歧义就按普通步骤显示。客户端打开前再校验一次 (https、无账号密码、origin 与显示一致)。
- 下一步能读出结构时自动回到卡片。
4. 扫码登录
国内大量网站与桌面客户端(淘宝、微信电脑版等)只给一个登录二维码。宿主在本步没有要主人填的输入框时,用系统 自带的识别(macOS Vision,图片经标准输入交给本机原生助手,不落盘)在目标窗口里找二维码;找到就把这一步变成 扫码:代输入条的主按钮是「扫码」,打开后显示从窗口裁出的二维码大图。
- 码的内容只走加密通道:二维码图片与它写的内容随本步的截图一起,只走本地受信通道或加密 offer
(
picture.qr),快照里只有qr: "scan";不进模型、记录、日志、推送。 - 主人这边(手机):码是可打开的链接时,第一个按钮是「在本机打开 <站点>」——网页链接(https 或 http,
有的码就是借浏览器网址唤起 App)与 App 链接(
weixin://、alipays://这类)都按手机相机扫到后的方式打开; 其次「存图或分享」(系统分享面板,可存到相册后在 App 的「扫一扫」里从相册识别;临时文件在分享后约 2 分钟删除, 不新增相册权限,避免冷更),以及「复制链接 / 复制内容」。只有javascript:、data:、file:这类手机相机也 不会打开的内容不给打开,只能复制或存图;WIFI:、tel:、名片等按内容处理。 - 主人这边(另一台电脑):拿手机对着屏幕扫;码是网页链接时可「在本机打开」(电脑只打开网页链接,App 链接 留给扫码的手机),还可「复制图片」「复制链接」。
- 点按二维码等于点在电脑上的这个码上(例如过期后的「点击刷新」)。电脑上换了新码会自动跟上(每 2 秒看一次, 只在目标窗口在最前且聚焦时看,不抢焦点)。
- 登录成功自动继续:码消失后,若窗口出现了要填的输入框(例如扫完还要验证码)→ 直接显示这一步;若窗口换了
标题、网址或位置、命中
complete_when,或登录窗口关闭 → 判定完成,约 3 秒倒计时后交还;否则代输入条显示 「已扫码,等你在手机上确认」,主人也可直接交还或跳过。别的程序挡在前面时不下结论。
5. 终端口令
本任务 shell 里的 sudo -A、ssh、HTTPS 上的 git 要口令时,宿主注入的 askpass 核对请求方进程链(系统路径的
sudo/ssh/git,属于本任务),合格则开启一步代输入,卡片显示完整命令;Agent 的命令直接继续,无需调用工具。
Windows 暂不支持 askpass。
6. 已知边界(如实标注,不算缺陷)
- 读取与执行依赖 macOS 辅助功能;其它平台返回
UNSUPPORTED。 - 按键只发给最前面的程序:打字前确认目标程序在最前。系统不许后台辅助程序切换前台时,点一下目标窗口自己的 空白标题栏把它带到前面;仍带不到前面(例如标题栏被挡住)就不打字,这一步报填写失败。
- 单窗口实时画面:窗口外的弹层(独立窗口的菜单、系统对话框)点不到;窗口缩放后画面比例可能短暂不一致; 「窗口在最前」检查与投递事件之间存在竞争窗口。
- 读页暂停按 URL 路径匹配;跨域 iframe 内的结构可能读不到;覆盖检测可能误报(误报只会转为截图点按); 截图点按的读页暂停取最后一次能读出的页面地址。
- 做不到:Touch ID / 通行密钥要主人在电脑旁;Claude 订阅登录按仓库规则不收集;开机前 FileVault 不支持。
- 扫码识别依赖 macOS Vision;窗口里有多个码时取最大的一个;码被遮挡或太小时识别不到,按截图点按处理。
7. 已裁决
| 日期 | 事项 | 裁决 |
|---|---|---|
| 2026-10-13 | 结束判定 | 宿主自动判定 + 约 3 秒可取消倒计时 |
| 2026-10-13 | 非密码值是否也对 Agent 保密 | 全部不经 Cindy 转交 |
| 2026-10-13 | 交付形态 | 本地完整可用后一次提 PR |
| 2026-10-13 | 手机提交前 Face ID | 本次不加:需要新原生能力会触发冷更;手机端依赖密码管理器自身的面容验证 |
| 2026-10-13 | 卡片内容 | 只放主人该填的输入框和页面对它们的报错;按钮、选项、开关、授权页归 Agent;没有输入框不弹卡;回车即提交,宿主按页面主按钮确认;不设「拒绝,本任务不再询问」 |
| 2026-10-14 | 呈现形态 | 输入框上方一条代输入条 +「填写」打开的原生表单(iPhone 系统底部面板,电脑同版式对话框) |
| 2026-10-14 | 适用范围 | 桌面上的任何程序,不只网页登录 |
| 2026-10-14 | 扫码登录 | 读出远端窗口的二维码交给主人扫或在本机打开,远端自动判定登录成功 |
| 2026-10-14 | 扫码后的打开顺序 | 「在本机打开」优先于存图分享;http 与 App 链接都可打开,只挡相机也不会打开的内容 |
8. 验收
- 多步流程(应用里的账号 → 跳浏览器的密码 → 授权同意页)在本机、手机、另一台电脑上都能逐步完成:卡片只出现
账号、密码两步,到授权页自动交还;只有按钮的界面发起代输入时不弹卡、不推送,Agent 收到
nothing_to_fill; 续接消息、任务记录、日志里搜不到主人填写的任何值。 - 1Password / 系统密码能在卡片的密码框里自动填充(Desktop
autocomplete、iOStextContentType)。 - 截图点按、单窗口实时画面、设备码、终端 sudo/ssh/git 各走通一次;第二台设备接手后旧设备提交被拒。
- 扫码登录:网页与桌面客户端的登录码各走通一次——手机上能在本机打开、存图、复制;码刷新后手机跟上;扫完自动交还, 扫完还要填的输入框直接出现。
- 推送与 IM 指引里没有界面内容;Light / Dark 两种模式下卡片可读。