Skip to content

World's first open-source enterprise world model.

Record the post-#906 typed-graph bench: two groups, thresholds read, tokens by phase (#918)

WaylandYange47c9b07884a
diff --git a/scripts/bench/README.md b/scripts/bench/README.md
index 7a654023..472f249e 100644
--- a/scripts/bench/README.md
+++ b/scripts/bench/README.md
@@ -623,3 +623,44 @@ bound / none / undecided。0044 的门槛:裁判精度不低于完整原型的
两个跑台子的注意:裁判端点要显式给 `BENCH_JUDGE_BASE / _KEY / _MODEL`——库里的密钥是封印过的,
脚本从 `llm_settings` 读出来的是密文,拿它去调用回的是 401;治理 agent 从 #906 起在基准库里关掉。
+### 第四次真跑:#906 与 #916 之后的 100 篇,两组(2026-09-25,dev @ b9e3aae,gemini-3.5-flash 经 apexin.net,bge-m3,`chat_reasoning_effort = minimal`)
+
+与上一节同一份语料、同一个模型、同一个裁判,两组各一个新库,`--judge 200 --errata`。这是 cut 2 门槛的正式度量。
+
+| | 组 3 | 组 4 |
+|---|---|---|
+| 开放陈述 / 实体 | 1576 / 1636 | 1498 / 1575 |
+| 签名 bound / none / undecided | 426 / 1178 / 178 | 442 / 1332 / 142 |
+| 类型化 勘误前 → 后 | 689 → 825 | 713 → (两篇勘误没跑完) |
+| gold recall 勘误前(同句 / 跨句) | 9.3%(14.2% / 5.1%) | 9.8%(14.3% / 6.1%) |
+| 裁判精度 勘误前(200 抽样) | 81.0% | 79.0% |
+| 勘误:看 / 撤 / 改 / 加 / 留人 / 拒 | 100 篇 702 条:2 / 1 / 213 / 116 / 14 | 92 篇 682 条:1 / 0 / 214 / 123 / 9 |
+| 撤改的行里裁判判 stated | 0 / 3 | 0 / 1 |
+| gold recall 勘误后(同句 / 跨句) | 12.2%(17.8% / 7.5%) | 12.2%(17.1% / 8.0%) |
+| 裁判精度 勘误后(200 抽样) | 83.0% | 80.5% |
+| entity-pair recall(开放层) | 17.4% | 16.7% |
+| 用时 | 47 分 | 48 分 |
+
+**token 按阶段拆**(服务端日志,按时间窗;裁判走脚本直连端点,不在里面):
+
+| 阶段 | 组 3 调用 / token / 每篇 | 组 4 调用 / token / 每篇 |
+|---|---|---|
+| 抽取 | 234 / 61 万 / 0.6 万 | 376 / 88 万 / 0.9 万 |
+| 对齐 + 提规则 | 682 / 222 万 / 2.2 万 | 679 / 232 万 / 2.3 万 |
+| 勘误 | 139 / 26 万 / 0.3 万 | 95 / 18 万 / 0.2 万 |
+| 合计每篇 | 3.1 万 | 3.4 万 |
+
+按 0044 的门槛读,两轮各报一次:
+
+- **裁判精度 ≥ 75.3%**:过(81.0% / 79.0% 勘误前,83.0% / 80.5% 勘误后)。比上一节的基线低约十个点,
+ 差的几乎全是 misworded(33 / 39 对 17 / 21):`minimal` 关掉思考 token 后抽取的措辞更糙。
+- **同句召回不低于完整原型(15.3%)**:勘误前 14.2% / 14.3% 差一点,勘误后 17.8% / 17.1% 过。勘误这一刀
+ 现在只加不撤(撤 2 与 1,且没有撤错),加的 213 / 214 条把同句召回抬了三个多点。
+- **每篇 token 不到原型的五分之一(约 6 千)**:不过。3.1 万 / 3.4 万,是基线的五分之一,仍是门槛的五倍。
+ 七成在对齐加提规则(每篇 2.2 万);这一段按签名摊、不按文档摊,一个新库 100 篇是它最贵的样子。
+ 要量产品里的每篇成本,得在同一个库上再灌一批新文档看边际 token,台子还没有这个口径。
+
+对照上一节:撤回从 67 / 162 条到 2 / 1 条,撤错从 72 / 164 到 0;用时从三到五小时到 47 分钟;
+每篇 token 从 15.8 万 / 18.3 万到 3.1 万 / 3.4 万。组 4 有两篇文档的勘误回复不是合法 JSON,重试三次后
+放弃,那两篇没勘误,任务记为失败(`jobs.last_error`)。
+