World's first open-source enterprise world model.
Rust agent-memorybitemporalgraphragknowledge-baseknowledge-graphllmontologypgvectorpostgresqlragrustself-hostedsemantic-searchtemporal-knowledge-graphworld-model
A name that is a sentence is not a name (#143)
WaylandYang0f7f5bdd72ad
diff --git a/crates/utopia-server/src/extraction.rs b/crates/utopia-server/src/extraction.rsindex eea97327..fcfe2238 100644--- a/crates/utopia-server/src/extraction.rs+++ b/crates/utopia-server/src/extraction.rs@@ -10,6 +10,63 @@ use uuid::Uuid;const MIN_CONFIDENCE: f32 = 0.6;+/// 这串字**是不是一个东西的名字**。+///+/// 判据是**词数**不是字符数。字符数分不开真假:+/// `US District Court for the Northern District of California`(57 字符)是真实体,+/// 而 `removal was driven by growing discontent and distrust with Altman`(65 字符)+/// 是一整个从句——两者字符数相近,词数也相近(9 vs 10),但后者带着**限定动词**。+///+/// 所以两条一起看:词数封顶挡住长句,而**句中的限定动词**挡住那些不长的从句。+/// 机构名会长("US District Court for the Northern District of California"),+/// 但不会出现 "was driven by"、"showed"、"giving off" 这种谓语。+///+/// 上限取 12 个词:实测真实体里最长的机构名是 9 个词,留三个词的余量。+/// 而被挡下的那些平均 14 个词。+const MAX_NAME_WORDS: usize = 12;++/// 句子里的谓语标志。**只列限定形式**——`used`、`flying` 这类分词在名词短语里+/// 完全正常("equipment used by X"),列进去会误伤真实体。+const CLAUSE_MARKERS: &[&str] = &[+ "was", "were", "is", "are", "has", "have", "had", "will", "would", "showed", "said", "says",+ "became", "went", "came", "did", "does", "gave", "took", "made",+];++fn is_entity_name(name: &str) -> bool {+ let name = name.trim();+ if name.is_empty() || name.chars().count() > 100 {+ return false;+ }+ let words: Vec<String> = name+ .split_whitespace()+ .map(|w| {+ w.trim_matches(|c: char| !c.is_alphanumeric())+ .to_lowercase()+ })+ .collect();+ if words.len() > MAX_NAME_WORDS {+ return false;+ }+ // 一个词的名字不可能是从句,别让 "Is" 这种专名被误伤+ if words.len() > 2 && words.iter().any(|w| CLAUSE_MARKERS.contains(&w.as_str())) {+ return false;+ }+ // 部分格:`745 of OpenAI's 770 employees` 是一个数量描述,不是一个东西。+ // 它没有限定动词,词数也不多,上面两条都接不住它。+ //+ // 判据收得很窄——**首词是纯数字且第二词是 of**。真实体里以数字开头的+ //(`3M`、`7-Eleven`、`23andMe`)首词不是纯数字;`2023 Nobel Prize` 首词是纯数字,+ // 但第二个词不是 `of`。宽一格就会误伤它们。+ if words.len() >= 3+ && words[1] == "of"+ && !words[0].is_empty()+ && words[0].chars().all(|c| c.is_ascii_digit())+ {+ return false;+ }+ true+}+/// 记一条丢弃信号。抽取器有七处 `continue`,每一处都是"事实抽出来了、被挡掉、/// 什么都不说"。信号写失败绝不能带垮整篇文档的抽取,所以这里吞掉错误。async fn drop_signal(@@ -379,7 +436,18 @@ async fn run(state: &AppState, document_id: Uuid) -> anyhow::Result<()> {let mut entity_type_of: HashMap<String, Option<Uuid>> = HashMap::new();for e in &extraction.entities {let name = e.name.trim();- if name.is_empty() || name.chars().count() > 100 {+ if !is_entity_name(name) {+ // 从前这里是静默 `continue`——正是 `drop_signal` 当初为之而建的+ // 那种"抽出来了、被挡掉、什么都不说"+ drop_signal(+ state,+ doc.kb_id,+ document_id,+ utopia_store::extraction_drops::reason::NOT_AN_ENTITY_NAME,+ &e.type_key,+ Some(name),+ )+ .await;continue;}// 降级时记住模型提议的那个词:本体装不下不等于它说错了。@@ -716,6 +784,34 @@ async fn run(state: &AppState, document_id: Uuid) -> anyhow::Result<()> {.await;continue;};+ // **未声明的主宾也要过同一道判据。**+ //+ // 从前守卫只装在上面那条声明实体的路上,而这里绕过了它:模型把一整句话+ // 写进 `object`、那句话没出现在 entities 里,这里就转头把它造成了实体。+ // 实测(ai-timeline-ends × schema.org)421 个实体里 76 个无类型,+ // 最长的那个 111 字符——"thermal-imaging equipment used by volunteers+ // flying over the site showed at least 33 generators giving off heat",+ // 那是一整个从句,不是一个东西。**守卫拦住了前门,后门是开的。**+ //+ // 这类实体的害处不止于此:它们永远匹配不到别处的任何提及,+ // 在图上是孤点(实测 59 个),还会拖累消解——每一个都要跟已有实体比一遍。+ if !is_entity_name(f.subject.trim()) || !is_entity_name(object_name) {+ drop_signal(+ state,+ doc.kb_id,+ document_id,+ utopia_store::extraction_drops::reason::NOT_AN_ENTITY_NAME,+ &f.predicate,+ Some(if is_entity_name(f.subject.trim()) {+ object_name+ } else {+ f.subject.trim()+ }),+ )+ .await;+ continue;+ }+// 主宾未在 entities 中声明时先建出来(模型偶尔漏报)。没有 entities 那条// 记录就没有类型可依,留空即可——0009 之前这里只能塞 conceptlet subject_id = match entity_ids.get(f.subject.trim()) {@@ -1234,6 +1330,61 @@ async fn chunk_lists()))}+#[cfg(test)]+mod name_tests {+ use super::is_entity_name;++ /// 样本全部取自实跑出来的库(ai-timeline-ends × schema.org),不是编的。+ #[test]+ fn a_clause_is_not_a_thing() {+ for s in [+ "thermal-imaging equipment used by volunteers flying over the site showed at least 33 generators giving off heat",+ "about the same amount of power as the Tennessee Valley Authority's large gas-fired power plant nearby",+ "removal was driven by growing discontent and distrust with Altman",+ "a risk of developing cancer at four times the national average in 2013",+ "745 of OpenAI's 770 employees",+ ] {+ assert!(!is_entity_name(s), "这是一句话,不该当成实体名:{s}");+ }+ }++ /// **真实体会长,但不带谓语。** 判据是词数 + 限定动词,不是字符数——+ /// 下面第一个 57 字符,比上面那条 65 字符的从句还短不了多少+ #[test]+ fn a_long_name_is_still_a_name() {+ for s in [+ "US District Court for the Northern District of California",+ "United States District Court for the District of Delaware",+ "OpenAI's board of directors",+ "Safe Superintelligence Inc.",+ "École Polytechnique",+ "GPT-4",+ ] {+ assert!(is_entity_name(s), "这是真实体,不该被挡:{s}");+ }+ }++ /// 分词在名词短语里完全正常,列进标志词会误伤。+ #[test]+ fn a_participle_is_not_a_predicate() {+ assert!(is_entity_name("equipment used by volunteers"));+ assert!(is_entity_name("Gas-Burning Turbines"));+ }++ /// 短名字不做从句判断:`Is` 之类可能是专名的一部分。+ #[test]+ fn a_short_name_is_never_a_clause() {+ assert!(is_entity_name("Was"));+ assert!(is_entity_name("Is Elon"));+ }++ #[test]+ fn an_empty_name_is_not_a_name() {+ assert!(!is_entity_name(""));+ assert!(!is_entity_name(" "));+ }+}+#[cfg(test)]mod tests {use super::{incomplete_reason, looks_literal};diff --git a/crates/utopia-store/src/extraction_drops.rs b/crates/utopia-store/src/extraction_drops.rsindex c38e6ecd..cfcd132a 100644--- a/crates/utopia-store/src/extraction_drops.rs+++ b/crates/utopia-store/src/extraction_drops.rs@@ -31,6 +31,9 @@ pub mod reason {/// 主语的类型对不上关系声明的 domain,**且对调也不合法**——那是选错了关系/// 或类型判错,不是方向问题。照原样落库 + 记信号,交给人看,不猜pub const DOMAIN_MISMATCH: &str = "domain_mismatch";+ /// 模型给的"实体名"其实是一整句话或从句——不是一个东西的名字。+ /// 这类东西永远匹配不到别处的提及,在图上是孤点,还会拖累消解+ pub const NOT_AN_ENTITY_NAME: &str = "not_an_entity_name";/// 主语违反 domain 而宾语符合,已按本体声明的方向把主宾掰正。/// **动作必须留痕**:自动的、看不见的改写才是 0001 反对的那种pub const DIRECTION_CORRECTED: &str = "direction_corrected";diff --git a/docs/decisions/0012-the-ontology-is-a-contract-not-a-suggestion.md b/docs/decisions/0012-the-ontology-is-a-contract-not-a-suggestion.mdnew file mode 100644index 00000000..c4092980--- /dev/null+++ b/docs/decisions/0012-the-ontology-is-a-contract-not-a-suggestion.md@@ -0,0 +1,174 @@+# 本体是一份契约,不只是一份建议++**状态**:已实施 · 五轮对照实验 · 违反率 57% → 4%,反向 39 → 0++[0008](0008-ontology-packs-as-cold-start.md) 建了预制本体包,但它要回答的那个问题+——**大本体到底顶不顶用**——一次都没被问过:装了包的库全是 5 篇文档、26 条事实的+基准跑,量的是提示词开销,不是质量。这一篇是第一次拿真语料问它。++答案分两半:**词汇量确实在接住东西,而声明出来的约束一条都没被执行。**++## 一、包的收益是真的++`ai-timeline-ends`(6 篇维基百科条目)× schema.org + W3C Org(1655 关系 / 973 类),+**零种子**(#125、#128 之后建库不播任何关系):++- 215 条有谓词的事实、41 个不同关系,**全部来自本体包**,自动扩本体一个都没长出来+- 空谓词 25.6%——历史上 10 个种子时 `related_to` 占 55.5%++## 二、但方向是反着写进去的++```+Elon Musk (person) --employee--> Microsoft+```++而 schema.org 声明 `employee (organization → person)`。**130 条可校验的事实里 102 条这样反着落库。**++这恰恰是选 schema.org 的理由失效——`ontology_packs.rs` 写着「1488 个属性带+domain + range,方向是**声明的**不是描述的」。声明了,然后没人执行。++而且它比空谓词严重得多:**空谓词是诚实的沉默,反向边是自信的错误**。图上写着+Musk 雇佣了 Microsoft,而 0002 说推理机是缺陷放大器——这正是它会放大的那种输入。++## 三、一个根因,两个症状++查下去,类型判错与方向反向是同一件事的两副面孔:++```+#128 撤掉种子 → seed_classes 空(它取的是 builtin 的类)+ ↓+检索偏爱字面出现在正文里的叶子类+(讲 Sutskever 的分块,976 个类里 researcher 第 4、person 第 359、organization 第 795)+ ↓+ ┌──────────────────────┬──────────────────────────┐+实体判成 researcher employee 的签名退化成 (* → *)+(schema.org 里它是 (sig_of 只认铺出去的类,+ Audience 的子类,不是人) 一侧没铺就写 *)+```++`build_lists` 的注释早写过这道地板:「**内置类恒在**。检索漏掉的分块仍然要有地方+落脚,否则模型无类可选」。种子退场后判据悬空了——**它当初碰巧等价,只因为种子类+正好是那几个通用类**。++## 四、五轮实验++同语料同本体,每次只动一个变量,全部 60/60 块:++| 变体 | 事实 | 空谓词 | 可校验 | 违反 | **真·反向** | 违反率 |+|---|---|---|---|---|---|---|+| 只改提示词 | 429 | 138 | 172 | 98 | 39 | 57.0% |+| + 祖先地板 | 451 | 138 | 181 | 63 | 31 | 34.8% |+| + 签名类恒在 | — | — | — | — | 26 | 37.2% |+| + 按库内类型掰正 | 447 | 139 | 179 | **0** | **0** | 29.6% |+| + 前缀归并 + 不适用则沉默 | 447 | 179 | 149 | **6** | **0** | **4.0%** |++(第三行停在 41/60 块——服务器被杀,只能看比率。)++### 提示词能做的,和不能做的++第一版把两件事混成一句 "hint, not a rule — when the text says otherwise, write what+the text says",于是模型连参数顺序也按原文说法写。两件事的可覆盖性根本不同:++- **哪些类型能参与**:提示不是闸门。本体可能写错,原文说西雅图就写西雅图。+ [0001](0001-ontology-import-and-governance.md) 的判断在这里不变——硬闸门会+ 系统性丢数据,`part_of` 烧我们的正是那样。+- **参数顺序**:由签名定。**顺序不是关于世界的断言,是这个 key 的编码约定**;+ 原文从来没有「说了别的方向」,它只说两个实体之间存在某种关系。++改了之后有效,但**不是主力**:三轮提示词把违反率从 57% 压到 35%,压下去的+**全是类型判错那一半**,真·反向纹丝不动(22.7% → 17.1% → 17.6%,后两个在噪声里)。++**模型看得见签名,就是不照做**——英语的 "X is an employee of Y" 太强。+继续加措辞不会赢。++### 于是在写入时掰正++主语违反 domain **而宾语符合**时,按签名交换主宾。++这不是新原则:`produced_by` 命中 `produces` 时(#109)早就在自动翻转主宾了,+区别只在触发条件是**措辞**还是**签名**。++当初反对自动掰正的理由是实体类型不可靠——实测 Elon Musk 被判成 `researcher`。+**祖先地板修好之后那个前提不成立了**,同一批人判成了 `person`。++类型**从库里的实体读**,不用抽取器手上那份 `entity_type_of`——那份只覆盖模型在+这一块里声明过的实体,而宾语常是别处已存在的实体。**这一处差别就是反向从 10 降到 0+的原因。**++**绝不静默**:每次掰正落一条 `direction_corrected`。0001 反对的是「用可能错的声明+驱动**自动动作**」,而留痕的动作不属于那一类。29 次里有 1 次掰错(`spatial`,+schema.org 对它的 domain 定义本就模糊)——这是这个机制的固有成本:+**它信任本体的声明,而声明可能不适用于这对实体。**++### 不适用的关系该沉默++对调也不合法时,从前照原样落库,等于**用本体的名义说一件本体不同意的事**:++```+OpenAI --affectedBy--> … schema.org 的 affectedBy 是医学检验用的+Mistral --amount--> €105 million amount 属于融资工具,不属于公司+Anthropic --competitor--> OpenAI schema.org 的 competitor 是 SportsEvent 的属性+```++现在丢掉谓词,保留主宾、时间、证据,原词留在 `fact_evidence.proposed_predicate`,+显示时由 `fact_surface_predicate()` 取回([0010](0010-no-relation-is-no-relation.md))。+验过没有变哑:**退回的 179 条空谓词事实,179 条全部拿得出原文说法。**++## 五、剩下的不是抽取的错++- **具化建模缺口**(`amount` 13 / `target` 8 / `participant` 5):schema.org 用中间+ 节点建模(Action / LoanOrCredit / Offer),我们是扁平二元关系。+- **同名词**(`affected_by` / `competitor` / `uses_device`):包里有很多名字通用、+ 含义狭窄的词,按名字或向量相似度挑必然撞上。跟 `Researcher` 被拿来标人同源。++**这两类是本体包的本质成本**,0008 该记进去:**包的代价不在提示词长度,在选择难度。**++### 为什么不引入更强的建模语言++数据模型**已经支持**中间节点——`entities` + `facts` 就是属性图,+`[某轮融资] --amount--> €105M` 今天就能存,库里也确实有 10 个 `event`、+9 个 `monetary_amount` 实体。卡住的不是表达力。++卡住的是**提示词的规则 1 与 2**:「用文中写出的规范全名」+「每条事实的主宾都必须+出现在 entities 里」。而一轮融资在原文里**没有名字**——要满足签名就得凭空造一个实体,+而提示词从头到尾在教它不要造。**模型做的是对的。**++真要支持具化,动的是这两条规则的地基,还得给无名节点一套命名与去重办法+(同一轮融资在两篇文章里怎么认成一个?它没有名字可比)——那是实体消解的新问题。++判据应该是**限定词本身需不需要被查询**:「2024 年 A 轮里由 General Catalyst+领投的公司有哪些」——那个「领投」挂在融资轮上。**今天问不了这种问题,那才是该做的信号**,+而不是「schema.org 这么建模所以我们也要」。++## 六、顺带修掉的两处++**领头的轻动词不算区别**:`has_funding` 与 `funding` 是同一个关系。实测空谓词里+`has_funding` ×4 落空而本体有 `funding`,`product` ×2 落空而本体有 `has_product`。+过度归并不会造成错配——撞车即作废,最坏退回「匹配不上」。++**「实体名」是一句话时不该造成实体**。实测 421 个实体里 76 个无类型,最长的 111 字符+是一整个从句。守卫本来就有(`> 100 字符` 就 `continue`),但**只装在声明实体那条路上**,+而未声明的主宾会绕过去直接 `resolve()` 造实体——**前门有锁,后门开着**。而且那个+`continue` 是静默的,正是 `drop_signal` 当初为之而建的七处之一。++判据改成**词数 + 限定动词**而不是字符数:`US District Court for the Northern District+of California`(57 字符)是真实体,`removal was driven by growing discontent and+distrust with Altman`(65 字符)是从句——字符数分不开,**谓语分得开**。++效果:最长实体名 111 → 57 字符(57 那个正是上面那个法院),无类型实体 76 → 60。+被挡下的全是真句子,没有误伤。++**孤点(一条事实都没有的实体)14.0% → 17.5%,但这不能归因于守卫**:守卫总共只挡了+个位数,而孤点多了 14 个,更可能是跑次方差(两次跑的模型输出本来就不同,+后一次还中途重启过、被回收的文档整篇重抽)。孤点的真实成因是另一回事——+**模型在 `entities` 里声明了实体却没产出用到它的事实**,孤点列表里是法院、SEC、+特斯拉总部这些正当实体。这个比例值得单独记,但它跟这次的守卫无关。++## 待做++- **写入时的守卫挡不住写入之后的改动**:实体合并会把主语换成另一个类型的实体,+ 于是事实「变成」违反。实测 6 条残留里 4 条如此。要治得把同样的检查放进合并路径。+- 另外 2 条残留(`Stability AI Ltd`、`Colossus 2 data center`)没有合并也没有改类型,+ **原因未查明**。+- 导入本体包时过滤掉需要中间节点才能用的关系(domain 全是 `Action`/`Offer`/+ `LoanOrCredit` 这类具化壳的),它们铺给模型只会产出违反。diff --git a/docs/decisions/README.md b/docs/decisions/README.mdindex 29d1d528..1fea19e9 100644--- a/docs/decisions/README.md+++ b/docs/decisions/README.md@@ -33,6 +33,7 @@| 0009 | [「还没判出来」不该是一个类](0009-no-type-is-a-type.md) | 已实施 · `entities.type_id` 改为可空 || 0010 | [「说不出是什么关系」不该是一个关系](0010-no-relation-is-no-relation.md) | 已实施 · `facts.predicate_id` 改为可空 · 0009 在关系侧的孪生 · **含一次七分钟后长回来的修订** || 0011 | [「怎么算」不是「有什么」](0011-a-mapping-is-not-a-fact.md) | 规划中 · 语义层映射搬出本体 · 0009/0010 那条线的最后一段 |+| 0012 | [本体是一份契约,不只是一份建议](0012-the-ontology-is-a-contract-not-a-suggestion.md) | 已实施 · 五轮对照实验 · 违反率 57%→4%、反向 39→0 · 首次拿真语料问 0008 那个问题 |## 不是决策记录的那些diff --git a/web/src/i18n/en.ts b/web/src/i18n/en.tsindex 628bbc87..09e2cf7c 100644--- a/web/src/i18n/en.ts+++ b/web/src/i18n/en.ts@@ -338,6 +338,7 @@ export const en = {malformed_item: "The model's item did not fit the schema",truncated_reply: "The model's reply was cut off",domain_mismatch: "The subject does not fit the relation, and swapping would not help",+ not_an_entity_name: "That name is a sentence, not a thing",direction_corrected: "Subject and object were swapped to match the signature",} as Record<string, string>,// 来源级重抽:不危险,只是费时费钱——轻确认,文案直说成本与保留项diff --git a/web/src/i18n/zh.ts b/web/src/i18n/zh.tsindex e9f2a756..71031293 100644--- a/web/src/i18n/zh.ts+++ b/web/src/i18n/zh.ts@@ -312,6 +312,7 @@ export const zh: Strings = {malformed_item: "模型给的这一条结构不合",truncated_reply: "模型的输出被截断",domain_mismatch: "主语对不上这个关系,对调也不行",+ not_an_entity_name: "那个名字是一句话,不是一个东西",direction_corrected: "已按签名把主宾掰正",},reExtractSource: "重新抽取",