World's first open-source enterprise world model.
Rust agent-memorybitemporalgraphragknowledge-baseknowledge-graphllmontologypgvectorpostgresqlragrustself-hostedsemantic-searchtemporal-knowledge-graphworld-model
Record the pre-#906 100-document baseline of the typed-graph bench, with tokens by phase (#917)
WaylandYang2d6020cd69fc
diff --git a/scripts/bench/README.md b/scripts/bench/README.mdindex f331364f..7a654023 100644--- a/scripts/bench/README.md+++ b/scripts/bench/README.md@@ -581,3 +581,45 @@ bound / none / undecided。0044 的门槛:裁判精度不低于完整原型的勘误后 973 条、15.9%(22.7%)、97.0%;全批 166 条规则隐含 149 行,再勘误累计加 790、留人 167,1203 条、18.4%(26.5%),全量裁判 90.2%。+### 第三次真跑:#906 之前的 100 篇基线,两组(2026-09-25,dev @ 961c3c0,gemini-3.5-flash 经 apexin.net,bge-m3)++两组各一个新库,`--judge 200 --errata`,裁判与抽取同一个模型。这个二进制在 #906(短名单、属性表+一批一写、只问绑上的签名、勘误两票)之前,所以它是上面那张小批量表的 100 篇对照,不是 #906 之后的分。++| | 组 1 | 组 2 |+|---|---|---|+| 开放陈述 / 实体 | 1927 / 1917 | 2214 / 2194 |+| 签名 bound / none / undecided | 263 / 880 / 48 | 434 / 1426 / 80 |+| 类型化 勘误前 → 后 | 487 → 664 | 753 → 869 |+| gold recall 勘误前(同句 / 跨句) | 7.8%(11.3% / 4.8%) | 9.7%(13.2% / 6.8%) |+| 裁判精度 勘误前(200 抽样) | 91.0% | 88.5% |+| 勘误:看 / 撤 / 改 / 加 / 拒 | 75 篇 723 条:67 / 31 / 437 / 63(两遍累计) | 99 篇 762 条:162 / 34 / 449 / 47 |+| 撤改的行里裁判判 stated | 72 / 98 | 164 / 196 |+| gold recall 勘误后(同句 / 跨句) | 12.8%(18.6% / 7.8%) | 15.9%(22.4% / 10.4%) |+| 裁判精度 勘误后(200 抽样) | 96.0% | 96.5% |+| entity-pair recall(开放层) | 15.7% | 14.5% |+| 用时 | 抽取 11 分,对齐 2 时 29 分,勘误加裁判 24 分 | 共 284 分 |++按 0044 的门槛读:裁判精度两轮都在 75.3% 之上;同句召回勘误前 11.3% / 13.2%,仍低于原型整体的+15.3%,勘误后 18.6% / 22.4% 过了,但这个二进制的勘误撤的多半是原文说了的(72 / 98、164 / 196),+#906 的两票撤销就是冲它来的;每篇 token 远超"原型五分之一"这一条,见下。++**token 按阶段拆**(服务端每次回复一行用量,按时间窗归到阶段;治理 agent 与对齐同时在跑,+归在同一格里):++| 阶段 | 组 1 调用 / token / 每篇 | 组 2 调用 / token / 每篇 |+|---|---|---|+| 抽取 | 333 / 174 万 / 1.7 万 | 389 / 228 万 / 2.3 万 |+| 对齐 + 提规则 + 治理 agent | 2226 / 1302 万 / 13.0 万 | 2089 / 1497 万 / 15.0 万 |+| 勘误 + 裁判 | 131 / 109 万 / 1.1 万 | 122 / 104 万 / 1.0 万 |+| 合计每篇 | 15.8 万 | 18.3 万 |++那一大格里有三样东西,两样 #906 已经砍了(提规则每项整张属性表,一次 5.5 万 prompt;短语对齐+每项一份候选清单加两票),第三样是**治理 agent 的并发重判**:每篇文档抽完都排一个治理任务,排队+去重只挡排着的、不挡在跑的,十个任务同时读同一个队头——组 1 里 1421 个对被裁了 9481 次(一个对+38 秒内被十个任务各判一次),组 2 里 2153 个对被裁了 8714 次;粗算占整轮三分之一的 token。#916+给每个库加了一把治理运行锁。#906 之后的二进制该在同一份语料上再跑两组,那才是 cut 2 的正式度量。++两个跑台子的注意:裁判端点要显式给 `BENCH_JUDGE_BASE / _KEY / _MODEL`——库里的密钥是封印过的,+脚本从 `llm_settings` 读出来的是密文,拿它去调用回的是 401;治理 agent 从 #906 起在基准库里关掉。+diff --git a/scripts/bench/judge_open.mjs b/scripts/bench/judge_open.mjsindex 997fc11d..56b0ec72 100644--- a/scripts/bench/judge_open.mjs+++ b/scripts/bench/judge_open.mjs@@ -54,6 +54,8 @@ function judgeEndpoint(kb) {FROM llm_settings s JOIN knowledge_bases k ON k.workspace_id = s.workspace_id WHERE k.id = '${kb}'`);const [base, key, model] = row.split("");if (!base || !model) throw new Error("工作区没配对话模型,也没给 BENCH_JUDGE_*");+ // 库里的密钥是封印过的(服务端用 secret.key 封),读出来是密文,拿它调用只会 401+ if (key.startsWith("enc:")) throw new Error("库里的 chat_api_key 是封印过的密文,裁判读不了它:给 BENCH_JUDGE_BASE / _KEY / _MODEL");console.error("裁判用的是工作区的对话模型——和抽取同一个模型,数字要打折看");return { base, key, model };}diff --git a/scripts/bench/typed.mjs b/scripts/bench/typed.mjsindex 25934526..f9524490 100644--- a/scripts/bench/typed.mjs+++ b/scripts/bench/typed.mjs@@ -367,6 +367,8 @@ function judgeEndpoint(KB) {if (process.env.BENCH_JUDGE_BASE) return { base: process.env.BENCH_JUDGE_BASE, key: process.env.BENCH_JUDGE_KEY || "", model: process.env.BENCH_JUDGE_MODEL || "" };const [base, key, model] = psql(`SELECT s.chat_base_url, s.chat_api_key, s.chat_model FROM llm_settings s JOIN knowledge_bases k ON k.workspace_id=s.workspace_id WHERE k.id='${KB}'`).split("|");if (!base || !model) throw new Error("工作区没配对话模型,也没给 BENCH_JUDGE_*");+ // 库里的密钥是封印过的(服务端用 secret.key 封),读出来是密文,拿它调用只会 401+ if (key.startsWith("enc:")) throw new Error("库里的 chat_api_key 是封印过的密文,裁判读不了它:给 BENCH_JUDGE_BASE / _KEY / _MODEL");log("裁判与抽取是同一个模型,数字要打折看(judge_open.mjs 同一条提醒)");return { base, key, model };}