Skip to content

Formerly KrillinAI, VideoTranslation and Dubbing Tool for 120+ Languages. Open-source AI workspace for creators, powered by Codex. Video downloader, video translation, create videos, images, audios, and edits with Agents in one place. For your Social Media like YouTube, TikTok, Instagram, etc.

4.9 KB
Raw Blame

模型调用与账号网关解耦

调用规则

客户端在登录或旧凭据激活时向 bootstrap 请求 modelUsePolicy=cached-key-v1。只有服务端明确返回同名策略、transport=openrouter-direct 和 keyRotation=false 时,客户端才启用本地凭据模式。旧服务端响应不包含策略时,继续使用原有账号协调流程。

启用后,正常文本、图片、视频、语音和转录请求从本地获取凭据快照,直接调用模型供应商。请求开始和结束不再等待账号令牌刷新、bootstrap 或 usage 上报。账号网关不可达、账号令牌在时间上过期,不会单独阻止有效模型密钥的使用。

启动时从本地激活完整凭据。账号续期和绑定同步在后台执行,首次延迟 60 秒,成功后约每 60 秒同步,失败后指数退避并加入随机偏移,基础间隔最多 5 分钟。同一时刻只保留一个后台同步请求。余额、资料、平台探测等账号功能仍按需访问网关。

正在执行的请求保留原凭据快照。认证恢复可以更新密钥,但任务活跃或存在未完成请求时保留模型目录和默认模型;空闲后再应用新目录及 Runtime 模型。

失败与恢复

  • 上游明确返回 HTTP 401:合并凭据同步;仅在获得不同的新密钥后,使用相同请求内容最多重试一次。
  • 同步失败、密钥未变化或新密钥再次被拒绝:返回认证失败,不继续自动重发。
  • HTTP 402、403、503、网络异常及流开始后的错误:不触发换密钥重发。额度不足仍使用现有错误处理。
  • 已受理、流中断或结果未知的请求:保留原幂等标识、凭据收据和任务账本,继续禁止盲目重提。
  • 账号网关明确确认登录失效、账号停用或付款审核暂停:立即禁止新的本地模型请求,并持久化确认结果,重启也不会恢复该缓存的可用状态。普通网关超时或断网保留有效缓存。
  • 退出或关闭期间的迟到响应:不得激活 Runtime 或写回新的登录状态。后台确认撤销时异步关闭 Runtime,避免异步图片工作线程等待自己结束。

本地缓存不能代替供应商计费和额度检查。服务端充值仍更新同一把密钥的累计额度;账号停用仍必须禁用供应商密钥。撤销单台设备的账号会话由后台同步发现,不能把它描述为离线即时撤销模型密钥。

服务端配套

配套改动位于 open-creator-gateway 仓库。迁移 016_cached_key_use.sql 为账户绑定增加持久化的稳定模式标记。一旦账号协商成功,其他设备和旧客户端的 rotate=1 不得自动迁移其模型密钥。已有迁移必须先恢复完成,再返回稳定凭据。

历史管理凭据必须继续保留,以便维护旧密钥的额度和禁用状态;稳定账户不会随着新管理凭据上线而自动迁走。删除仍管理稳定账户的历史凭据,会使充值与账号停用同步失效。

上线顺序与验收

  1. 先部署网关迁移和新服务端,使用独立迁移账号运行迁移,再验证 /healthz。
  2. 确认 bootstrap 能协商稳定模式,同时未协商账户仍兼容旧协议。
  3. 再发布客户端。现有旧模式凭据在下次激活时协商,已有稳定模式凭据可以本地启动。
  4. 用测试账号检查:连续模型调用无同步网关请求;网关断网仍能调用有效密钥;充值不换密钥;不同设备和旧客户端不触发轮换;明确认证失败最多重试一次;未知结果不重复提交。

启用稳定模式后,禁止直接回滚到忽略 cached_key_use 的旧网关二进制。需要回滚时应使用仍识别稳定标记并禁止自动迁移的兼容版本;客户端可回滚至旧协议,但不能因此解除账户稳定标记。不要通过恢复旧数据库或删除标记来回滚,以免丢失额度记录并打断正在执行的任务。

本轮完成源码与本地定向验证;生产网关部署及 Desktop 安装包更新需要后续发布,当前安装版不会自动包含这次改动。

本地验证记录

  • 客户端相关定向测试累计 126 项通过,覆盖缓存调用、并发恢复、退出、撤销、流收据、异步图片、视频和旧协议;一个原有账号 API 用例跳过。
  • Daemon 源码和测试 TypeScript 检查通过,Daemon 及网关二进制构建通过。
  • 网关稳定模式、旧轮换、额度及设备相关定向测试通过,internal/storage 迁移测试通过。
  • 开发 Runtime 重新启动后,http://127.0.0.1:19861/.opencreator/runtime/healthz 返回 {"ok":true}。
  • 扩展验证发现两个既有 Windows 兼容失败:Runtime 原生工具用例发送 Bash 命令但实际执行 PowerShell;网关模型缓存用例要求 Unix 私有文件权限。本轮未修改这些无关测试或功能。
  • Go race 检查未执行:当前 CGO_ENABLED=0,且未找到 C 编译器。未执行真实付费模型请求、生产部署或 Desktop 打包验证。