Skip to content

World's first open-source enterprise world model.

Record the pre-#906 100-document baseline of the typed-graph bench, with tokens by phase (#917)

WaylandYang2d6020cd69fc
diff --git a/scripts/bench/README.md b/scripts/bench/README.md
index f331364f..7a654023 100644
--- a/scripts/bench/README.md
+++ b/scripts/bench/README.md
@@ -581,3 +581,45 @@ bound / none / undecided。0044 的门槛:裁判精度不低于完整原型的
勘误后 973 条、15.9%(22.7%)、97.0%;全批 166 条规则隐含 149 行,再勘误累计加 790、留人 167,
1203 条、18.4%(26.5%),全量裁判 90.2%。
+### 第三次真跑:#906 之前的 100 篇基线,两组(2026-09-25,dev @ 961c3c0,gemini-3.5-flash 经 apexin.net,bge-m3)
+
+两组各一个新库,`--judge 200 --errata`,裁判与抽取同一个模型。这个二进制在 #906(短名单、属性表
+一批一写、只问绑上的签名、勘误两票)之前,所以它是上面那张小批量表的 100 篇对照,不是 #906 之后的分。
+
+| | 组 1 | 组 2 |
+|---|---|---|
+| 开放陈述 / 实体 | 1927 / 1917 | 2214 / 2194 |
+| 签名 bound / none / undecided | 263 / 880 / 48 | 434 / 1426 / 80 |
+| 类型化 勘误前 → 后 | 487 → 664 | 753 → 869 |
+| gold recall 勘误前(同句 / 跨句) | 7.8%(11.3% / 4.8%) | 9.7%(13.2% / 6.8%) |
+| 裁判精度 勘误前(200 抽样) | 91.0% | 88.5% |
+| 勘误:看 / 撤 / 改 / 加 / 拒 | 75 篇 723 条:67 / 31 / 437 / 63(两遍累计) | 99 篇 762 条:162 / 34 / 449 / 47 |
+| 撤改的行里裁判判 stated | 72 / 98 | 164 / 196 |
+| gold recall 勘误后(同句 / 跨句) | 12.8%(18.6% / 7.8%) | 15.9%(22.4% / 10.4%) |
+| 裁判精度 勘误后(200 抽样) | 96.0% | 96.5% |
+| entity-pair recall(开放层) | 15.7% | 14.5% |
+| 用时 | 抽取 11 分,对齐 2 时 29 分,勘误加裁判 24 分 | 共 284 分 |
+
+按 0044 的门槛读:裁判精度两轮都在 75.3% 之上;同句召回勘误前 11.3% / 13.2%,仍低于原型整体的
+15.3%,勘误后 18.6% / 22.4% 过了,但这个二进制的勘误撤的多半是原文说了的(72 / 98、164 / 196),
+#906 的两票撤销就是冲它来的;每篇 token 远超"原型五分之一"这一条,见下。
+
+**token 按阶段拆**(服务端每次回复一行用量,按时间窗归到阶段;治理 agent 与对齐同时在跑,
+归在同一格里):
+
+| 阶段 | 组 1 调用 / token / 每篇 | 组 2 调用 / token / 每篇 |
+|---|---|---|
+| 抽取 | 333 / 174 万 / 1.7 万 | 389 / 228 万 / 2.3 万 |
+| 对齐 + 提规则 + 治理 agent | 2226 / 1302 万 / 13.0 万 | 2089 / 1497 万 / 15.0 万 |
+| 勘误 + 裁判 | 131 / 109 万 / 1.1 万 | 122 / 104 万 / 1.0 万 |
+| 合计每篇 | 15.8 万 | 18.3 万 |
+
+那一大格里有三样东西,两样 #906 已经砍了(提规则每项整张属性表,一次 5.5 万 prompt;短语对齐
+每项一份候选清单加两票),第三样是**治理 agent 的并发重判**:每篇文档抽完都排一个治理任务,排队
+去重只挡排着的、不挡在跑的,十个任务同时读同一个队头——组 1 里 1421 个对被裁了 9481 次(一个对
+38 秒内被十个任务各判一次),组 2 里 2153 个对被裁了 8714 次;粗算占整轮三分之一的 token。#916
+给每个库加了一把治理运行锁。#906 之后的二进制该在同一份语料上再跑两组,那才是 cut 2 的正式度量。
+
+两个跑台子的注意:裁判端点要显式给 `BENCH_JUDGE_BASE / _KEY / _MODEL`——库里的密钥是封印过的,
+脚本从 `llm_settings` 读出来的是密文,拿它去调用回的是 401;治理 agent 从 #906 起在基准库里关掉。
+
diff --git a/scripts/bench/judge_open.mjs b/scripts/bench/judge_open.mjs
index 997fc11d..56b0ec72 100644
--- a/scripts/bench/judge_open.mjs
+++ b/scripts/bench/judge_open.mjs
@@ -54,6 +54,8 @@ function judgeEndpoint(kb) {
FROM llm_settings s JOIN knowledge_bases k ON k.workspace_id = s.workspace_id WHERE k.id = '${kb}'`);
const [base, key, model] = row.split("");
if (!base || !model) throw new Error("工作区没配对话模型,也没给 BENCH_JUDGE_*");
+ // 库里的密钥是封印过的(服务端用 secret.key 封),读出来是密文,拿它调用只会 401
+ if (key.startsWith("enc:")) throw new Error("库里的 chat_api_key 是封印过的密文,裁判读不了它:给 BENCH_JUDGE_BASE / _KEY / _MODEL");
console.error("裁判用的是工作区的对话模型——和抽取同一个模型,数字要打折看");
return { base, key, model };
}
diff --git a/scripts/bench/typed.mjs b/scripts/bench/typed.mjs
index 25934526..f9524490 100644
--- a/scripts/bench/typed.mjs
+++ b/scripts/bench/typed.mjs
@@ -367,6 +367,8 @@ function judgeEndpoint(KB) {
if (process.env.BENCH_JUDGE_BASE) return { base: process.env.BENCH_JUDGE_BASE, key: process.env.BENCH_JUDGE_KEY || "", model: process.env.BENCH_JUDGE_MODEL || "" };
const [base, key, model] = psql(`SELECT s.chat_base_url, s.chat_api_key, s.chat_model FROM llm_settings s JOIN knowledge_bases k ON k.workspace_id=s.workspace_id WHERE k.id='${KB}'`).split("|");
if (!base || !model) throw new Error("工作区没配对话模型,也没给 BENCH_JUDGE_*");
+ // 库里的密钥是封印过的(服务端用 secret.key 封),读出来是密文,拿它调用只会 401
+ if (key.startsWith("enc:")) throw new Error("库里的 chat_api_key 是封印过的密文,裁判读不了它:给 BENCH_JUDGE_BASE / _KEY / _MODEL");
log("裁判与抽取是同一个模型,数字要打折看(judge_open.mjs 同一条提醒)");
return { base, key, model };
}