World's first open-source enterprise world model.
Rust agent-memorybitemporalgraphragknowledge-baseknowledge-graphllmontologypgvectorpostgresqlragrustself-hostedsemantic-searchtemporal-knowledge-graphworld-model
The temporal bench's chat check scores the name the question asks for (#997)
Maya Kid5724a046ef7e
diff --git a/scripts/bench/README.md b/scripts/bench/README.mdindex 6c3446de..5ce94398 100644--- a/scripts/bench/README.md+++ b/scripts/bench/README.md@@ -488,8 +488,13 @@ BENCH_SERVER_LOG=/path/to/server.log node scripts/bench/timewords.mjs --db utopi- `absent`(抽取压根没抽出这个实体)单独一档,不算时态答错——与上面那个台子同理。- `--chat` 再跑一遍**对话**:模型带着工具自己去问。账本那一路量的是账本,对话那一路量的是 agent 那一层,两者的差就是工具用得好不好。对话判分只做一件归一:千位分隔符- (模型写 28,000,题上写 28000)。否定句里出现 `not` 的名字仍记错——自然语言判分的- 已知弱点,下面单独有数。`ask` 里的 `{wave-N}` 跑分时换成那一波灌完的时间戳。+ (模型写 28,000,题上写 28000)。`ask` 里的 `{wave-N}` 跑分时换成那一波灌完的时间戳。+- 对话的回答看**题目问的那个名字**:`expect` 得出现,而且 `not` 里的哪一个都不在它+ 前面。对的回答常顺带说出前任、后任或后来改成的值——「李四管到 2025-09-01,那天+ 周七接手」——这不算答错(#986 的评审)。子串判分分不出的还有两样:先说对了名字、+ 后面又说错了别的,照样记对;`expect: null` 的题没有先后可比,`not` 里的名字一出现+ 就记错,否定句也一样——自然语言判分的已知弱点,下面单独有数。这条是 2026-09-28+ 改的,下面「对话那一路」的数是之前按「`not` 里的名字一出现就记错」判的。## 已知的口径缺口diff --git a/scripts/bench/temporal.mjs b/scripts/bench/temporal.mjsindex c4710e6e..ed9209b4 100644--- a/scripts/bench/temporal.mjs+++ b/scripts/bench/temporal.mjs@@ -586,14 +586,27 @@ function readsGraph(step) {/// 对话判分:子串匹配,只做一件归一——千位分隔符。模型写 "28,000 CNY",题上写/// 28000,那是同一个数,不是另一个答案;第一版没归一,六道薪资题里答对的也记了错。-/// 否定句里出现 `not` 的名字仍记错("没有证据表明王五曾经…")——这是自然语言-/// 判分的已知弱点,README 里单独有数,不在这里用一串否定词去猜+///+/// 有 `expect` 的题看题目问的那个名字:它得出现,而且 `not` 里的哪一个都不在它前面。+/// 对的回答常顺带说出前任、后任或后来改成的值("Li Si led Project Aurora … until+/// 2025-09-01, when Zhou Qi took over");从前一出现就记错,量的是回答提没提别的+/// 名字,不是答对没有(#986 的评审)。同一处起头的两个取长的那个。先说对了名字、+/// 后面又说错了别的,照样记对——子串判分分不出来。+///+/// `expect: null` 的题没有「谁在前」可比,照旧:`not` 里的名字一出现就记错,否定句+/// 也一样("没有证据表明王五曾经…")——自然语言判分的已知弱点,README 里单独有数,+/// 不在这里用一串否定词去猜function chatVerdict(q, reply) {const text = reply.replace(/(?<=\d),(?=\d)/g, "");- const ok =- (q.expect === null || text.includes(q.expect)) &&- !(q.not || []).some((bad) => text.includes(bad));- return ok ? "pass" : "fail";+ const not = q.not || [];+ if (q.expect === null) return not.some((bad) => text.includes(bad)) ? "fail" : "pass";+ const at = text.indexOf(q.expect);+ if (at === -1) return "fail";+ const before = not.some((bad) => {+ const i = text.indexOf(bad);+ return i !== -1 && (i < at || (i === at && bad.length > q.expect.length));+ });+ return before ? "fail" : "pass";}main().catch((e) => {