Consider it done. The open-source AI agent that works out of the box · 想到,就能做到。开源、开箱即用的 AI Agent。
llama.cpp 试验清单
状态:开发分支,尚未发布。2026-09-25 核验下载包装,2026-09-26 整理试验入口。 先保留 Ollama 入口和所有用户设置,待用户比较后决定是否撤下默认推荐入口。
如何试验
在包含此改动的 Cindy 中打开「设置 → 模型供应商 → 添加 → llama.cpp」。
点击后立即添加供应商并进入详情,不等待运行环境安装或服务启动。
安装和模型下载在详情中进行,安装后不启动服务,也不展示手动启动按钮。模型下载完成后自动加入模型列表;服务已运行时,需手动重启才能使用新增模型,已停止时首次使用自动启动并应用最新配置。
下载期间可以取消,分片由 Cindy 自动补齐。「手动下载」位于模型清单下方,停止/重启位于
「管理服务」。已有外部服务在添加向导的「检测到本机服务」或「更多本机服务」中选择 llama.cpp 连接(默认 http://127.0.0.1:8080/v1,地址可改),与 Cindy 托管的 llama.cpp 互不影响。
只按用户点击下载,不自动下载这张清单里的所有模型。
当前包装
这张表是本次核验记录,不是第二份可编辑模型目录。后续在 Server 的
catalog/source/registry/local-models.json 同一模型下维护 llamacpp[],生成完整 Registry
并同步客户端。公共名称、搜索别名和推荐顺序只维护一次。
| 模型 | 量化 | 下载总量(十进制) | 核验来源 |
|---|---|---|---|
| Qwen3.8 27B | Q4_K_M | 18.97 GB | ggml-org/Qwen3.8-27B-GGUF |
| Qwen3.5 4B | Q4_K_M | 3.01 GB | bartowski/Qwen_Qwen3.5-4B-GGUF |
| Qwen3.5 9B | Q4_K_M | 6.17 GB | bartowski/Qwen_Qwen3.5-9B-GGUF |
| Gemma 4 12B | Q4_K_M | 7.66 GB | bartowski/gemma-4-12B-it-GGUF |
| Qwen3.6 35B A3B | Q4_K_M | 20.42 GB | ggml-org/Qwen3.6-35B-A3B-GGUF |
| Nemotron 3.5 Lightning 30B | Q4_K_M | 25.48 GB | bartowski/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF |
| Qwen3.8 Flash-Next | Q4_K_M | 119.60 GB | bartowski/Qwen3.8-Flash-Next-GGUF |
| Laguna S 2.1 118B A8B | Q4_K_M | 96.03 GB | poolside/Laguna-S-2.1-GGUF |
Flash-Next 为四片,其他所选包装为单文件。安装时重新解析仓库 revision 并按 LFS SHA-256 校验内容;上表日期的大小不能替代下载时校验。仓库可能变更,失败时不会安装部分文件。
以上八款均未完成 Cindy llama.cpp 全链路运行评测;GGUF 存在不表示具体架构、工具调用、
速度或内存已验证。界面复用 Ollama 的共用型号主推选择,显示芯片和内存,并将有 GGUF
包装的主推标为「主推 · 先试这个」。这只是型号级试用顺序,不代表该包装的峰值内存或性能已验证。
2026-09-26 按用户要求调整本机 Apple M5 Ultra / 256 GiB 的试用主推为 Qwen3.8 Flash-Next Q4_K_M;
共用目录显式将其排在 27B 之前,沿用现有 192 GiB 门槛,27B 为轻量备选。
能力参考 AA Flash-Next 与
AA 27B:同为 v4.3.2,分别为 40 和 34;
这不是本地 Q4 的成绩或速度证明。未知硬件或缺失包装时不从其他候选补位。
默认上下文为 32,768;2026-09-26 用户授权将当前 bartowski Flash-Next 试验包装调为 262,144。
通过 llama.cpp 原生模型 preset 分型号设置,并同步 Pi/Codex/Claude 的托管模型资料;其他包装不随之扩容。
单并发、最多加载一个模型。Flash-Next 可在模型高级设置的上下文中选择 256K 或 1M;
默认仍为 262,144,1M 指 1,000,000 tokens。沿用已有模型上下文偏好存储,跨重启保留,
服务运行时由拥有方在「管理服务」中手动重启生效;已停止时,下次使用自动应用配置。
扩展时同时启用 YaRN(scale=4、orig_ctx=262144);恢复默认后,下次启动会撤下扩展参数。
2026-09-30 用户确认取消运行中的自动重载,不再以空闲探测决定重启;手动重启会中断当前生成。
目前只对 bartowski Flash-Next 包装提供此快捷选项,不推广到其他 GGUF。视觉 projector 暂未接入。
本机 b11178 已实测加载 Flash-Next:/props 与 /v1/models 均返回 n_ctx=262144,
原生 Pi + 真实 Flash-Next 完成短问答。
另于 2026-09-26 在 Apple M5 Ultra / 256 GiB、b11178、Q4_K_M 上完成一次百万窗口测试:
实际输入 982,003 tokens,输出 59 tokens,无截断;10%、50%、90% 三处校验码全部召回。
耗时 40 分 42 秒,进程峰值 RSS 132.87 GiB(包含映射权重,不等于整机占用),
swap 保持约 5.62 MiB,未增长。这是单次合成长输入检索验证,不代表复杂推理或多轮工具任务稳定性。
产品入口亦已实测:在高级设置点击 1M,三个引擎的既有上下文偏好均保存为 1,000,000;
新建指定 llama.cpp 供应商的 Pi 会话自动启动服务,生成原生 YaRN preset,完成短问答。
Pi 上下文用量接口返回 maxTokens=1,000,000;服务 /props 返回 n_ctx=1,000,192(内部对齐取整)。
2026-09-26 按用户反馈撤下模型自查专用工具,避免额外工具定义占用上下文;保留 256K 配置,
不另加系统提示词替代。模型名称与窗口以宿主配置及实际服务查询为准。
macOS 使用对应架构构建;Windows/Linux 当前选 CPU 构建,尚未实机验收。
试验记录
每次记录模型仓库/文件/revision、llama.cpp 版本、机器、量化、上下文和思考设置, 分别测试:普通问答、一次真实工具调用、多步修改及测试、停止后再次使用、长输入。 记录首字延迟、输入/输出速度、整个请求耗时、系统内存峰值和 swap;失败也保留。 和 Ollama 比较时尽量使用相同权重、量化、提示、上下文及思考设置,不能把 MLX 与 GGUF 的差异全部归因于运行时。
| 检查项 | 已有结果 | 待用户试验 |
|---|---|---|
| 安装、GGUF 下载、启动、停止、Chat API | 本机 b11178 + SmolLM2 135M Q4_K_M 返回 Hello. | 八款清单模型逐项运行 |
| 目录、取消、校验、入口、旧端兼容 | 自动化测试覆盖 | Light/Dark 实机目检 |
| 暂停、继续下载 | 实际 HF 下载 SmolLM2 135M:2,216,008 字节处暂停,HTTP 206 续传,105,454,432 字节完整 SHA-256 校验通过;测试目录已清理 | 跨进程恢复尚未支持 |
| 工具调用与真实编程任务 | Flash-Next + Pi 曾完成只读工具调用(该专用工具已按用户反馈撤下) | 真实编程、多步稳定性 |
| 速度、系统内存与 swap | 未做同条件比较 | 和 Ollama 配对记录 |
| 百万上下文与 YaRN | Flash-Next 可选 1M;本机 982,003 token 输入完成,三处校验码 3/3 | 复杂长文推理、多轮工具任务、其他硬件 |
效果满足要求后再决定默认推荐是否只保留 llama.cpp。撤下默认推荐不等于删除已有 Ollama 连接、卸载运行环境或移除用户模型,这些操作不在本次授权范围内。
与 Ollama 交互逐项核对(2026-09-26)
| 场景 | llama.cpp 行为 |
|---|---|
| 点供应商 | 立即添加,再到详情安装/连接 |
| 推荐 | 同一目录/硬件筛选,主推与轻量备选明确区分 |
| 已安装 | 默认下载列表隐藏;搜索可找到并标为已在本机 |
| 下载中、暂停、失败 | 只出现一张卡片;搜索或离开页面后返回仍保留进行中的下载 |
| 完成 | 自动同步到供应商,移出下载区,不需要再点应用 |
| 搜索、其他候选、无结果 | 共用列表分组规则,避免空的其他候选区 |
| 下载操作 | 共用暂停/继续/取消控件;继续使用已下载字节 |
| 手动下载 | 仓库与 GGUF 文件选择是运行时必需差异;分片显示总大小 |
| 服务 | 自有进程按启动就绪与退出事件显示状态;停止/重启入口,退出 Cindy 停止自有进程 |
仍有运行时差异:一次一个托管操作;退出应用会取消下载,不能像 Ollama 一样跨进程继续。 这些限制不应被「共用界面」掩盖,也不算已经实现完全等价。
托管服务固定使用本机 127.0.0.1:11435,本次多实例共享仅限同一 userData。
Global、CN 或不同 --isolated=@worktree profile 可以并行运行 Cindy,但不能同时启动
各自独立的托管 llama.cpp 服务:启动前已发现端口占用时返回 PORT_CONFLICT。
2026-09-30 用户确认将不同 profile 同时启动的端口竞态作为已知限制,不增加启动身份校验:
两个实例同时通过端口探测时,失败方可能将另一方的健康响应误认作自己的启动成功,
后续请求可能到达另一 profile 的模型服务;当前实现不保证此时返回 PORT_CONFLICT。
这不是已修复场景,也不代表支持跨 profile 共用配置或模型目录。
试验时需由用户停止先前 profile 的服务后再切换,避免同时启动;需要并行独立服务时,
自行运行不同端口的外部服务,并在添加向导的本机服务分组中选择 llama.cpp、改为对应地址后接入。本 PR 不提供跨 profile 端口分配、
服务租约或模型目录共享,也不将应用多开支持表述为托管模型服务可多开。
共享 userData 的多个实例各自持有独立暂存目录,操作结束只清理自己的目录。安装、下载、启动与删除共用既有 profile 锁;另一个实例正在操作时,安装、下载和删除返回忙碌,不删除另一实例的文件。删除检查到其他实例拥有存活服务时保留连接,需先在拥有方停止服务;不会跨窗口中断生成。安装使用独立版本目录和暂存清单。为避免误删仍在下载的文件,不自动扫描清理其他暂存目录;强制退出或崩溃遗留的暂存文件目前不会自动回收。
已安装清单信任 Cindy 成功校验、发布时写入的模型记录;它不是持续的文件完整性扫描。 本次不覆盖安装后手工删改分片、杀毒隔离或不完整备份恢复后的自动损坏检测及修复。 若模型记录仍在而 GGUF 缺失或截断,模型可能仍显示已安装,加载会失败;重复下载会因已安装记录而跳过。 恢复时先由拥有方停止托管服务,备份并移出该模型在 userData/llamacpp-runtime/models 下的整个 对应 model-ID 目录(包括 model.json 和分片),再在 Cindy 刷新清单并重新下载。不要只删除供应商连接: 删除连接会保留模型文件。不要在生成、下载或其他实例仍使用该服务时移动目录。 这项边界不放宽首次下载完整 SHA-256 校验,也不新增分片清单持久化或后台修复机制。
配置操作统一由服务拥有方执行:其他实例仍可使用当前服务,但不能安装运行时、下载模型或修改上下文。界面说明限制,后台在既有 profile 锁内检查同一拥有方判据;身份未知时也拒绝修改。拥有方停止服务后,其他实例可以配置并按需启动,不新增跨窗口刷新或取消协议。
删除连接沿用通用供应商删除事务,不提供跨账号切换的原子回滚。等待服务停止或删除队列时 切换账号会在清理前拒绝;但已清理凭证及偏好、正在等待数据库删除时切换账号,若删除失败, 原账号的连接可能仍在而凭证、可见性或价格偏好已丢失。此窗口同样存在于主干的通用删除流程, 本 PR 未修复,也不扩展跨账号恢复机制。删除期间请等待操作结束再切换账号;若遇到该情况, 切回原账号核对连接及模型偏好,按需重新设置。删除不会移除已下载的模型文件。
上下文保存与启动 preset 共用上限检查:目前仅指定 Flash-Next 包装允许扩展到 1,000,000;其他托管 GGUF 最高 32,768,未验证的扩展会拒绝,不静默分配超大 KV 缓存。这是当前托管运行配置边界,不代表上游模型的理论最大窗口。
2026-09-26 用户确认支持多实例共享托管服务。启动复用现有跨进程锁与进程实例存活探测:同一 userData、存活身份匹配且健康检查通过时,第二个 Cindy 直接使用已启动的服务,不生成第二份进程。共享方停止或退出不终止拥有方;拥有方仍需保持运行,正常退出后服务会停止,下次使用重新按需启动。待生效配置不同不阻止继续使用当前服务;身份无法确认时拒绝借用,借用方不能重启拥有方服务。已打开任务在每次发送前也会检查服务状态:手动停止后,下次发送重新按需启动;服务仍运行时不通过这条检查重载配置。该入口覆盖本地聊天、IM、Goal 与 Scheduler,SSH 会话跳过本机服务(实现与回归见 sessionTurnObserver.ts、sessionEventPipeline.test.ts 和 preflight.test.ts)。一次性辅助模型请求同样走按需启动;正常退出等待当前安装/下载取消及其暂存清理完成。多实例服务尚未做正式版与开发版同时运行的实机验收。
POSIX 启动通过固定 shell 包装持有整组进程,Cindy 独占管道写端;拥有方崩溃或被 SIGKILL 后,管道 EOF 触发组内自清理,回收 router 及模型子进程,不读取历史 PID 查杀。参数作为独立 argv 传递。Windows 保持非 detached 子进程方式。macOS 已用真实进程和回环端口验证拥有方被强制结束时,模拟服务与后代端口一起释放;这不等于所有平台真实模型崩溃恢复均已验收。
Windows 的非 detached 并不保证 Cindy 崩溃或被强制结束时自动回收子进程;正常停止/退出会等待现有进程树清理,异常退出仍可能遗留占用内存和 11435 端口的 router/模型进程。此时重新打开 Cindy 可能返回 PORT_CONFLICT,无法从新实例接管或停止旧服务。本次不增加 Windows Job Object 或异常退出守护机制。恢复时需在任务管理器中核对遗留进程的可执行文件路径属于该 profile 的 llamacpp-runtime,确认相关生成已不再需要后手动结束对应进程树,或重启电脑,再重新按需启动;不要结束其他 profile 或用户自行运行的模型服务。
自有托管进程的运行状态依据启动就绪与进程退出事件,不是持续健康监测。进程仍存活但
服务卡死、健康接口超时或返回失败时,仍可能显示运行中,复用和发送前检查不会自动重启,
后续请求可能持续失败。本次按需启动不包含失去响应后的自动恢复,也不根据一次健康探测
失败停止可能仍在生成的进程。恢复时由拥有方在「管理服务」手动重启,或停止后再次使用;
若返回 STOP_TIMEOUT,停止尚未确认完成,不能据此认定旧进程已回收或让其他实例接管。
Windows 树杀失败后即使 router 已退出,也保留拥有方证明并阻止删除;需按上述方式核对并
清理遗留进程树后重启拥有方 Cindy,不自动解除这一保护。
外部拥有方的存活及健康检查仍用于确认可否借用,不赋予借用方恢复或重启权限。