Self-evolving Context Database for AI Agents. Unify Agent Memory, Knowledge RAG and Skills.
效果评估
选择你熟悉的小任务,记录预期结果,再用相同输入检查实际表现。本页提供可填写的评估表 CSV,用于首次体验、调整配置和升级后的复查。
本轮 v1 样例已在隔离本机服务中验证,服务端、CLI 和 VikingBot 均为 0.5.2。模型、日期、执行范围及遇到的问题见样例验证记录,可据此选择与你环境相符的测试条件。
固定评估条件
记录服务端、CLI、Agent 或插件版本、模型、部署方式、身份及项目范围。保留原始输入和预期来源,使用独立演示目录。比较不同配置时,尽量保持问题、资料和模型相同;条件变化可写入备注。
首次使用可以采用资料检索的四份资料,之后替换为自己的文档。每组任务记录环境准备时间、首次有效结果时间、求助次数和跳出页面,便于判断入门流程是否顺畅。
用自己的资料检查检索
| 用例 | 问题类型 | 核对重点 |
|---|---|---|
| R1 | 单一来源有直接答案 | 回答准确,引用能打开 |
| R2 | 需要多份来源 | 关键依据齐全,结论忠于原文 |
| R3 | 资料中没有答案 | 清楚说明缺失信息 |
依次记录导入任务、检索结果、读取 URI、最终答案及来源。若失败,标注最早出现偏差的阶段,再查看该阶段日志。
用两次会话检查记忆
按记忆使用先保存一条测试约定,再用同一身份开启新的会话。新问题只给任务,不重复约定,记录产物、召回记录和答案中的实际使用情况。增加一个无关问题,检查相关性。
| 用例 | 任务 | 核对重点 |
|---|---|---|
| M1 | 新会话需要原有背景 | 能使用已保存的约定 |
| M2 | 新会话与原背景无关 | 回答保持聚焦当前问题 |
检查技能与编译产物
技能使用采用两组输入,比较输出结构、事实保留和未知信息处理。检查 Agent 读取技能的记录。上下文编译需要打开至少一篇正文,逐条核对来源、遗漏和无依据表述。
版本与迁移任务可分别按版本管理、导入导出检查恢复范围、文件内容、元数据与检索就绪情况。
填写记录
| 字段 | 记录方式 |
|---|---|
| 问题与输入 | 保留本次完整问题、资料版本或测试会话 |
| 预期事实与来源 | 执行前填写已知答案及依据 URI |
| 实际答案与来源 | 保存原始回复和实际引用 |
| 阶段与结果 | 导入、处理、检索、读取、回答、保存或召回;通过、失败或待验证 |
| 耗时 | 从提交到可核对结果的实际时间 |
| 环境与备注 | 版本、模型、身份、配置差异及人工修订 |
评估表中的示例行留空,供你填写实际结果。对主观质量可事先约定标准,例如关键事实全部有依据、未覆盖信息明确标注、产物能支持目标任务。
定位问题并复查
文件缺失先看导入;文件存在但查询无结果时看索引和范围;命中正确但回答偏差时看 Agent 读取与生成;记忆问题按保存、提取、召回、使用依次定位。具体诊断见观测与排障。
保留每次评估记录,用同一组任务复查修订。文档和样例的技术验证记录用于说明已检查的范围;实际用户能否独立完成、能否解释依据和替换自己的输入,需要在审核与试用中观察。