World's first open-source enterprise world model.
Rust agent-memorybitemporalgraphragknowledge-baseknowledge-graphllmontologypgvectorpostgresqlragrustself-hostedsemantic-searchtemporal-knowledge-graphworld-model
Record the post-#906 typed-graph bench: two groups, thresholds read, tokens by phase (#918)
WaylandYange47c9b07884a
diff --git a/scripts/bench/README.md b/scripts/bench/README.mdindex 7a654023..472f249e 100644--- a/scripts/bench/README.md+++ b/scripts/bench/README.md@@ -623,3 +623,44 @@ bound / none / undecided。0044 的门槛:裁判精度不低于完整原型的两个跑台子的注意:裁判端点要显式给 `BENCH_JUDGE_BASE / _KEY / _MODEL`——库里的密钥是封印过的,脚本从 `llm_settings` 读出来的是密文,拿它去调用回的是 401;治理 agent 从 #906 起在基准库里关掉。+### 第四次真跑:#906 与 #916 之后的 100 篇,两组(2026-09-25,dev @ b9e3aae,gemini-3.5-flash 经 apexin.net,bge-m3,`chat_reasoning_effort = minimal`)++与上一节同一份语料、同一个模型、同一个裁判,两组各一个新库,`--judge 200 --errata`。这是 cut 2 门槛的正式度量。++| | 组 3 | 组 4 |+|---|---|---|+| 开放陈述 / 实体 | 1576 / 1636 | 1498 / 1575 |+| 签名 bound / none / undecided | 426 / 1178 / 178 | 442 / 1332 / 142 |+| 类型化 勘误前 → 后 | 689 → 825 | 713 → (两篇勘误没跑完) |+| gold recall 勘误前(同句 / 跨句) | 9.3%(14.2% / 5.1%) | 9.8%(14.3% / 6.1%) |+| 裁判精度 勘误前(200 抽样) | 81.0% | 79.0% |+| 勘误:看 / 撤 / 改 / 加 / 留人 / 拒 | 100 篇 702 条:2 / 1 / 213 / 116 / 14 | 92 篇 682 条:1 / 0 / 214 / 123 / 9 |+| 撤改的行里裁判判 stated | 0 / 3 | 0 / 1 |+| gold recall 勘误后(同句 / 跨句) | 12.2%(17.8% / 7.5%) | 12.2%(17.1% / 8.0%) |+| 裁判精度 勘误后(200 抽样) | 83.0% | 80.5% |+| entity-pair recall(开放层) | 17.4% | 16.7% |+| 用时 | 47 分 | 48 分 |++**token 按阶段拆**(服务端日志,按时间窗;裁判走脚本直连端点,不在里面):++| 阶段 | 组 3 调用 / token / 每篇 | 组 4 调用 / token / 每篇 |+|---|---|---|+| 抽取 | 234 / 61 万 / 0.6 万 | 376 / 88 万 / 0.9 万 |+| 对齐 + 提规则 | 682 / 222 万 / 2.2 万 | 679 / 232 万 / 2.3 万 |+| 勘误 | 139 / 26 万 / 0.3 万 | 95 / 18 万 / 0.2 万 |+| 合计每篇 | 3.1 万 | 3.4 万 |++按 0044 的门槛读,两轮各报一次:++- **裁判精度 ≥ 75.3%**:过(81.0% / 79.0% 勘误前,83.0% / 80.5% 勘误后)。比上一节的基线低约十个点,+ 差的几乎全是 misworded(33 / 39 对 17 / 21):`minimal` 关掉思考 token 后抽取的措辞更糙。+- **同句召回不低于完整原型(15.3%)**:勘误前 14.2% / 14.3% 差一点,勘误后 17.8% / 17.1% 过。勘误这一刀+ 现在只加不撤(撤 2 与 1,且没有撤错),加的 213 / 214 条把同句召回抬了三个多点。+- **每篇 token 不到原型的五分之一(约 6 千)**:不过。3.1 万 / 3.4 万,是基线的五分之一,仍是门槛的五倍。+ 七成在对齐加提规则(每篇 2.2 万);这一段按签名摊、不按文档摊,一个新库 100 篇是它最贵的样子。+ 要量产品里的每篇成本,得在同一个库上再灌一批新文档看边际 token,台子还没有这个口径。++对照上一节:撤回从 67 / 162 条到 2 / 1 条,撤错从 72 / 164 到 0;用时从三到五小时到 47 分钟;+每篇 token 从 15.8 万 / 18.3 万到 3.1 万 / 3.4 万。组 4 有两篇文档的勘误回复不是合法 JSON,重试三次后+放弃,那两篇没勘误,任务记为失败(`jobs.last_error`)。+