Skip to content

World's first open-source enterprise world model.

A corpus where the graph grows because the articles did (#122)

WaylandYang108cc1389726
diff --git a/.gitignore b/.gitignore
index 0b37f8f5..1399d51c 100644
--- a/.gitignore
+++ b/.gitignore
@@ -25,3 +25,9 @@ _*.tmp
_*.out
_*.sh
_*.txt
+
+# wiki-history 是跑测用的语料,正文与清单都不进仓库:正文约 7MB 的 CC BY-SA 文本,
+# 清单是一次采样的产物。要复现就跑 fetch-wiki-history.mjs——`--manifest` 写清单,
+# `--from-manifest` 按清单逐字节重建(action=parse&oldid 不可变)。
+/scripts/bench/corpora/wiki-history.json
+/scripts/bench/corpora/wiki-history.manifest.json
diff --git a/scripts/bench/fetch-wiki-history.mjs b/scripts/bench/fetch-wiki-history.mjs
new file mode 100644
index 00000000..4a636fcc
--- /dev/null
+++ b/scripts/bench/fetch-wiki-history.mjs
@@ -0,0 +1,371 @@
+#!/usr/bin/env node
+// 抓「维基百科条目的历史快照」语料:同一个条目在不同时刻的版本 → bench 语料格式。
+//
+// **与 fetch-ai-timeline.mjs 的区别是整份语料的意义所在。** 那一份抓的是每个条目的
+// **当前**版本——15 篇回顾性总述,灌一篇 openai.txt 进去,2015 到今天的整条时间线
+// 一次性全出来。它演得了世界时间(句子里带日期),演不了**认知时间**:所有文档同一刻
+// 录入,`recorded_at` 全挤在一起,`supersedes` 只在单篇内部发生。
+//
+// 双时态有两根轴,我们此前只演过一根。
+//
+// 这一份抓的是**历史版本**。每个快照就是「那个时刻人们知道什么」,按 `doc_time`
+// 顺序灌进去,图谱会真的随时间生长、并且真的改主意:
+//
+// OpenAI 条目 2015-12-12 建立时 1,317 字节(一个 stub),到 2026 已 60KB+
+// Removal of Sam Altman 条目 11-19 的版本里 Murati 是临时 CEO,11-22 的版本里 Altman 回来了
+//
+// **采样按「变了多少」,不按日历。** 早期一个月一变,后期半年不动——按季度取会
+// 在后期抓一堆几乎相同的快照(白烧抽取),在前期又漏掉最剧烈的那段。所以用
+// 体量增量当信号:涨够 GROWTH_PCT 且不少于 GROWTH_ABS 才取一张,两张之间至少隔 MIN_GAP_DAYS。
+//
+// 许可:维基百科正文 CC BY-SA 4.0,可再分发但**要求署名与相同方式共享**。
+// 跟公共领域的国情咨文不同,语料文件里单独标了 license,别当成仓库主许可。
+//
+// **正文与清单都不进仓库**(见 .gitignore):正文约 7MB 的 CC BY-SA 文本,
+// 清单是一次采样的产物。进仓库的只有这个脚本。
+//
+// 但**同一次跑测内部必须钉住修订号**:采样是按当下的修订历史算的,条目还在被编辑,
+// 隔一阵重跑 --dry 会挑出另一组快照。所以先 --manifest 写一份清单,
+// 之后一律 --from-manifest 重建——`action=parse&oldid` 不可变,
+// 按同一份清单任何时候重抓都是逐字节相同的文本。对照实验靠这个才成立。
+//
+// 用法:node scripts/bench/fetch-wiki-history.mjs --dry # 只报采样结果与体量
+// node scripts/bench/fetch-wiki-history.mjs --manifest # 写清单(不抓正文)
+// node scripts/bench/fetch-wiki-history.mjs --from-manifest > scripts/bench/corpora/wiki-history.json
+
+import { execFileSync } from "node:child_process";
+import fs from "node:fs";
+
+const UA = "Utopia-bench/0.1 (+https://utopia.bi; corpus builder)";
+const DRY = process.argv.includes("--dry");
+const WRITE_MANIFEST = process.argv.includes("--manifest");
+const FROM_MANIFEST = process.argv.includes("--from-manifest");
+const MANIFEST_PATH = "scripts/bench/corpora/wiki-history.manifest.json";
+
+// **走 curl,不走 fetch。** 这台机器上 HTTP(S)_PROXY 指向本地代理,
+// Node 20 的 undici 不读这两个环境变量,于是 fetch 全部 UND_ERR_CONNECT_TIMEOUT,
+// 而同一个地址 curl 返回 200。与 fetch-ai-timeline.mjs 同一个理由。
+const curl = (url) =>
+ execFileSync(
+ "curl",
+ ["-sSL", "--compressed", "--max-time", "90", "-A", UA, url],
+ {
+ encoding: "utf8",
+ maxBuffer: 128 * 1024 * 1024,
+ },
+ );
+
+const api = (params) => {
+ const u = new URL("https://en.wikipedia.org/w/api.php");
+ u.searchParams.set("format", "json");
+ u.searchParams.set("formatversion", "2");
+ for (const [k, v] of Object.entries(params)) u.searchParams.set(k, v);
+ return JSON.parse(curl(u.toString()));
+};
+
+// 取一张快照的门槛。**两个条件同时满足**才取。
+//
+// 第一版写的是「或」,结果 Elon Musk 那篇(涨到 340KB)每 6KB 就取一张,
+// 单篇 89 张、占整份语料六成——而它大半在讲 Tesla/SpaceX/政治,会把图冲淡。
+// 改成「且」之后,大条目按比例走成对数增长,小条目仍有绝对下限挡住噪声。
+const GROWTH_PCT = 0.18; // 比上一张涨/缩 18%
+const GROWTH_ABS = 6000; // 且绝对变化不少于 6KB
+const MIN_GAP_DAYS = 45; // 两张之间至少隔这么久(高密度窗口不受此限)
+
+// **条目选得互相咬合**:机构 × 人 × 产物。人是交叉链接的来源——
+// Altman 出现在 OpenAI / Y Combinator / Worldcoin,Musk 出现在 OpenAI / Tesla / xAI,
+// Sutskever 出现在 OpenAI / SSI / Google Brain。只抓机构的话,图是几个互不相连的星团。
+const TITLES = [
+ // 一、认知改变的主角:六天四个值。这一篇按天取,不按增量
+ {
+ title: "Removal of Sam Altman from OpenAI",
+ daily: ["2023-11-19", "2023-11-29"],
+ },
+
+ // 二、机构
+ { title: "OpenAI" },
+ { title: "Anthropic" },
+ { title: "DeepMind" },
+ { title: "XAI (company)" },
+ { title: "Mistral AI" },
+ { title: "Hugging Face" },
+ { title: "Stability AI" },
+ { title: "Inflection AI" },
+ { title: "Safe Superintelligence" },
+ { title: "Scale AI" },
+ { title: "Cohere" },
+
+ // 三、人。**这一层是「有关联」的来源**:同一个人在多个机构里出现,
+ // 而且他们的从属关系随时间改变——正是双时态要演的东西
+ { title: "Sam Altman" },
+ { title: "Elon Musk" },
+ { title: "Ilya Sutskever" },
+ { title: "Greg Brockman" },
+ { title: "Mira Murati" },
+ { title: "Dario Amodei" },
+ { title: "Demis Hassabis" },
+ { title: "Emmett Shear" },
+ { title: "Satya Nadella" },
+
+ // 四、产物:版本互相取代,天然是一条 valid_from/valid_to 链
+ { title: "GPT-4" },
+ { title: "ChatGPT" },
+ { title: "Claude (language model)" },
+ { title: "Gemini (language model)" },
+ { title: "Llama (language model)" },
+];
+
+/// 列一个条目的全部修订(时间戳 + 体量)。分页取满。
+function revisions(title) {
+ const out = [];
+ let cont = null;
+ for (let page = 0; page < 40; page++) {
+ const p = {
+ action: "query",
+ prop: "revisions",
+ titles: title,
+ redirects: "1",
+ rvlimit: "500",
+ rvprop: "ids|timestamp|size",
+ rvdir: "newer",
+ };
+ if (cont) p.rvcontinue = cont;
+ const j = api(p);
+ const pg = j.query.pages[0];
+ if (pg.missing) throw new Error(`${title}: 条目不存在`);
+ out.push(...(pg.revisions || []));
+ cont = j.continue?.rvcontinue;
+ if (!cont) return { real: pg.title, revs: out };
+ }
+ return { real: title, revs: out };
+}
+
+const day = (ts) => ts.slice(0, 10);
+const days = (a, b) => (new Date(b) - new Date(a)) / 86400000;
+
+/// 这个体量有没有持续下来。
+///
+/// **「变了很多」包含「有人把页面清空了」。** 实测撞上过:Elon Musk 条目
+/// 2018-05-24T09:35:49 那一版只有 33 字节(编辑摘要 "Replaced content with…"),
+/// 141637 → 33 两个门槛都满足,于是被选中;30 秒后被回退,而基线已经被拉到 33,
+/// 于是「恢复」也成了一次巨变、又被选中一次。**一次破坏产出两张垃圾快照,
+/// 还把后续采样的基线搅乱了。**
+///
+/// 设一个体量下限挡不住这个:条目被拆分(内容移去子条目)是合法的大幅缩水,
+/// 与破坏在「变了多少」上分不开。分得开的是**持续时间**——破坏几分钟内就被回退,
+/// 拆分则一直保持。所以看这一版之后 PERSIST_DAYS 天的体量还在不在同一量级。
+const PERSIST_DAYS = 1;
+function persists(revs, i) {
+ const r = revs[i];
+ for (let j = i + 1; j < revs.length; j++) {
+ if (days(r.timestamp, revs[j].timestamp) < PERSIST_DAYS) continue;
+ const hi = Math.max(revs[j].size, r.size);
+ return hi === 0 || Math.abs(revs[j].size - r.size) / hi < 0.5;
+ }
+ return true; // 之后没有更晚的修订了:它就是当前状态
+}
+
+/// 按「变了多少」挑快照。首版与末版一定要。
+function sampleByGrowth(revs) {
+ const picked = [revs[0]];
+ for (let i = 1; i < revs.length; i++) {
+ const r = revs[i];
+ const last = picked[picked.length - 1];
+ const d = Math.abs(r.size - last.size);
+ const grew = d >= GROWTH_ABS && d >= last.size * GROWTH_PCT;
+ if (
+ grew &&
+ days(last.timestamp, r.timestamp) >= MIN_GAP_DAYS &&
+ persists(revs, i)
+ )
+ picked.push(r);
+ }
+ const last = revs[revs.length - 1];
+ if (picked[picked.length - 1].revid !== last.revid) picked.push(last);
+ return picked;
+}
+
+/// 高密度窗口:窗内每天取当天最后一版。演的是「一天之内我们改了几次主意」。
+function sampleDaily(revs, [from, to]) {
+ const byDay = new Map();
+ for (let i = 0; i < revs.length; i++) {
+ const d = day(revs[i].timestamp);
+ // 当天末版本身也可能是破坏(当天最后一次编辑恰好是清空),一样过持续性检查
+ if (d >= from && d < to && persists(revs, i)) byDay.set(d, revs[i]);
+ }
+ return [...byDay.values()];
+}
+
+// 末尾的 References / External links 全是链接和模板残渣,抽取器会把它们当正文。切掉。
+const CUT =
+ /\n==+ ?(References|External links|See also|Further reading|Notes|Bibliography|Sources|Citations) ?==+/i;
+
+/// 取某一版的正文。历史版本没有 `prop=extracts`(那个只认当前版),
+/// 所以走 `action=parse&oldid=` 拿渲染后的 HTML,再剥成纯文本。
+function plaintext(revid) {
+ const j = api({
+ action: "parse",
+ oldid: String(revid),
+ prop: "text",
+ disablelimitreport: "1",
+ });
+ let h = j.parse.text;
+ return h
+ .replace(/<style[\s\S]*?<\/style>/gi, "")
+ .replace(/<script[\s\S]*?<\/script>/gi, "")
+ .replace(/<table[\s\S]*?<\/table>/gi, "") // 信息框/导航框:全是模板残渣
+ .replace(/<sup class="reference"[\s\S]*?<\/sup>/gi, "") // 脚注角标
+ .replace(/<span class="mw-editsection"[\s\S]*?<\/span>/gi, "")
+ .replace(/<h([1-6])[^>]*>/gi, (_, n) => "\n\n" + "=".repeat(+n) + " ")
+ .replace(/<\/h[1-6]>/gi, " " + "=" + "\n")
+ .replace(/<li[^>]*>/gi, "\n- ")
+ .replace(/<\/(p|div|li|tr)>/gi, "\n")
+ .replace(/<br\s*\/?>/gi, "\n")
+ .replace(/<[^>]+>/g, "")
+ .replace(/&nbsp;/g, " ")
+ .replace(/&amp;/g, "&")
+ .replace(/&lt;/g, "<")
+ .replace(/&gt;/g, ">")
+ .replace(/&quot;/g, '"')
+ .replace(/&#(\d+);/g, (_, n) => String.fromCharCode(+n))
+ .replace(/\[edit\]/g, "")
+ .replace(/[ \t]+\n/g, "\n")
+ .replace(/\n{3,}/g, "\n\n")
+ .trim();
+}
+
+const docs = [];
+let plan = [];
+
+if (FROM_MANIFEST) {
+ // 按钉住的修订号精确重建。不碰采样逻辑,也不看条目当下的历史
+ const m = JSON.parse(fs.readFileSync(MANIFEST_PATH, "utf8"));
+ plan = m.titles.map((t) => ({
+ real: t.real,
+ total: t.total,
+ picked: t.picked,
+ }));
+ process.stderr.write(
+ `按清单重建:${m.titles.length} 个条目、${plan.reduce((n, q) => n + q.picked.length, 0)} 张快照\n`,
+ );
+} else
+ for (const spec of TITLES) {
+ try {
+ const { real, revs } = revisions(spec.title);
+ if (!revs.length) throw new Error("没有修订");
+ const picked = spec.daily
+ ? sampleDaily(revs, spec.daily)
+ : sampleByGrowth(revs);
+ plan.push({ real, total: revs.length, picked, slugBase: real });
+ process.stderr.write(
+ `${real.padEnd(36)} 修订 ${String(revs.length).padStart(5)} 条 → 取 ${String(picked.length).padStart(3)} 张` +
+ ` ${day(picked[0].timestamp)} → ${day(picked[picked.length - 1].timestamp)}` +
+ ` ${Math.round(picked[0].size / 1024)}KB → ${Math.round(picked[picked.length - 1].size / 1024)}KB\n`,
+ );
+ } catch (e) {
+ process.stderr.write(`ERR ${spec.title}: ${e.message}\n`);
+ }
+ }
+
+const snapshots = plan.reduce((n, p) => n + p.picked.length, 0);
+const rawBytes = plan.reduce(
+ (n, p) => n + p.picked.reduce((m, r) => m + r.size, 0),
+ 0,
+);
+process.stderr.write(
+ `\n合计 ${snapshots} 张快照,原始 ${(rawBytes / 1048576).toFixed(1)} MB(含模板,剥完约剩一半)\n`,
+);
+
+if (WRITE_MANIFEST) {
+ fs.writeFileSync(
+ MANIFEST_PATH,
+ JSON.stringify(
+ {
+ note:
+ "wiki-history 语料的修订号清单。正文不进仓库(约 6MB 的 CC BY-SA 文本)," +
+ "按这份清单 --from-manifest 可逐字节重建:action=parse&oldid 是不可变的。",
+ sampling: { GROWTH_PCT, GROWTH_ABS, MIN_GAP_DAYS },
+ titles: plan.map((q) => ({
+ real: q.real,
+ total: q.total,
+ picked: q.picked.map((r) => ({
+ revid: r.revid,
+ timestamp: r.timestamp,
+ size: r.size,
+ })),
+ })),
+ },
+ null,
+ 1,
+ ),
+ );
+ process.stderr.write(`--manifest:清单已写入 ${MANIFEST_PATH}\n`);
+ process.exit(0);
+}
+
+if (DRY) {
+ process.stderr.write("--dry:只报采样结果,未抓正文\n");
+ process.exit(0);
+}
+
+process.stderr.write("\n开始抓正文…\n");
+for (const p of plan) {
+ const slug = p.real
+ .toLowerCase()
+ .replace(/[^a-z0-9]+/g, "-")
+ .replace(/^-|-$/g, "");
+ for (const r of p.picked) {
+ try {
+ const body = plaintext(r.revid).split(CUT)[0].trim();
+ if (body.length < 400) {
+ process.stderr.write(
+ ` skip ${slug}@${day(r.timestamp)} 正文只有 ${body.length} 字符\n`,
+ );
+ continue;
+ }
+ // 第三个元素是 doc_time——快照的**真实修订时刻**。抽取提示词会拿到它
+ // (`extraction.rs` 把 doc_time 按 %Y-%m-%d 塞进去),文内的相对日期才解得开;
+ // 而按它排序灌入,`recorded_at` 才会散开成一条线而不是挤成一点
+ docs.push([
+ `${slug}@${day(r.timestamp)}.txt`,
+ `${p.real}\n\n${body}\n`,
+ r.timestamp,
+ ]);
+ } catch (e) {
+ process.stderr.write(` ERR ${slug}@${day(r.timestamp)}: ${e.message}\n`);
+ }
+ }
+ process.stderr.write(`OK ${p.real}\n`);
+}
+
+// **按时间排序**:语料的意义就在顺序上。乱序灌入等于回到「所有文档同一刻录入」
+docs.sort((a, b) => (a[2] < b[2] ? -1 : 1));
+
+const total = docs.reduce((n, [, t]) => n + t.length, 0);
+process.stderr.write(
+ `\n共 ${docs.length} 篇、${total.toLocaleString()} 字符,约 ${Math.round(total / 950)} 块\n`,
+);
+
+process.stdout.write(
+ JSON.stringify(
+ {
+ name: "wiki-history",
+ note:
+ "维基百科条目的历史快照,按体量增量采样(高密度窗口按天)。与 ai-timeline 抓同一批主题," +
+ "但抓的是**历史版本而非当前版本**——那一份的 15 篇都是回顾性总述,灌一篇进去整条时间线一次性全出来," +
+ "只演得了世界时间;这一份每个快照是「那个时刻人们知道什么」,按 doc_time 顺序灌入," +
+ "recorded_at 会散开成一条线,supersedes 发生在文档之间而不是单篇内部。" +
+ "条目选得互相咬合(机构 × 人 × 产物),人那一层是交叉链接的来源。" +
+ "已切掉 References/External links 等尾节与信息框表格。" +
+ "注意:这批主题在模型训练数据里极常见,适合做 demo(认得出是优点),不适合当准确率基准(量到的是背诵)。",
+ source:
+ "https://en.wikipedia.org/ — action=query&prop=revisions + action=parse&oldid",
+ license: "CC BY-SA 4.0(署名-相同方式共享,与仓库主许可不同)",
+ sampling: { GROWTH_PCT, GROWTH_ABS, MIN_GAP_DAYS },
+ /// docs 的第三个元素是 doc_time(ISO 时刻)。旧语料只有两个元素,run.mjs 兼容
+ docs,
+ },
+ null,
+ 1,
+ ),
+);
diff --git a/scripts/bench/run.mjs b/scripts/bench/run.mjs
index 97ac42bf..b6e2de2e 100644
--- a/scripts/bench/run.mjs
+++ b/scripts/bench/run.mjs
@@ -133,6 +133,9 @@ async function main() {
const kb = (
await api("POST", "/api/v1/workspaces/" + ws + "/kbs", {
name: "bench " + label + " " + stamp,
+ // --packs schema-org,prov-o:走**产品实际的冷启动路径**(建库当场装包)。
+ // 与 --ontology 不是一回事:那个是建完库再导一个文件,只量得到提示词开销
+ ontology_packs: args.packs ? args.packs.split(",").map((x) => x.trim()) : [],
})
).id;
// **自动扩本体默认关掉**:它会在测量中途改本体,那样两组比的就不是同一件事了。
@@ -242,8 +245,13 @@ async function main() {
const atExtraction = sizeNow();
const t0 = Date.now();
- for (const [filename, content] of corpus.docs) {
- await api("POST", "/api/v1/kbs/" + kb + "/ingest", { filename, content });
+ for (const [filename, content, docTime] of corpus.docs) {
+ // 第三个元素是 doc_time(历史快照语料才有;旧语料只有两个元素,这里是 undefined)。
+ // 它同时进两处:抽取提示词(extraction.rs 按 %Y-%m-%d 塞进去,文内相对日期才解得开)
+ // 与 documents.doc_time(时间线按它排)。少了它,247 张快照会挤成同一刻录入
+ const body = { filename, content };
+ if (docTime) body.doc_time = docTime;
+ await api("POST", "/api/v1/kbs/" + kb + "/ingest", body);
}
// 进度按**块**数,不按文档数。文档数是个很粗的刻度:一篇 73 块的文档要跑
// 一个多小时,期间文档数一动不动,看着就像卡死了