Skip to content

World's first open-source enterprise world model.

A name that is a sentence is not a name (#143)

WaylandYang0f7f5bdd72ad
diff --git a/crates/utopia-server/src/extraction.rs b/crates/utopia-server/src/extraction.rs
index eea97327..fcfe2238 100644
--- a/crates/utopia-server/src/extraction.rs
+++ b/crates/utopia-server/src/extraction.rs
@@ -10,6 +10,63 @@ use uuid::Uuid;
const MIN_CONFIDENCE: f32 = 0.6;
+/// 这串字**是不是一个东西的名字**。
+///
+/// 判据是**词数**不是字符数。字符数分不开真假:
+/// `US District Court for the Northern District of California`(57 字符)是真实体,
+/// 而 `removal was driven by growing discontent and distrust with Altman`(65 字符)
+/// 是一整个从句——两者字符数相近,词数也相近(9 vs 10),但后者带着**限定动词**。
+///
+/// 所以两条一起看:词数封顶挡住长句,而**句中的限定动词**挡住那些不长的从句。
+/// 机构名会长("US District Court for the Northern District of California"),
+/// 但不会出现 "was driven by"、"showed"、"giving off" 这种谓语。
+///
+/// 上限取 12 个词:实测真实体里最长的机构名是 9 个词,留三个词的余量。
+/// 而被挡下的那些平均 14 个词。
+const MAX_NAME_WORDS: usize = 12;
+
+/// 句子里的谓语标志。**只列限定形式**——`used`、`flying` 这类分词在名词短语里
+/// 完全正常("equipment used by X"),列进去会误伤真实体。
+const CLAUSE_MARKERS: &[&str] = &[
+ "was", "were", "is", "are", "has", "have", "had", "will", "would", "showed", "said", "says",
+ "became", "went", "came", "did", "does", "gave", "took", "made",
+];
+
+fn is_entity_name(name: &str) -> bool {
+ let name = name.trim();
+ if name.is_empty() || name.chars().count() > 100 {
+ return false;
+ }
+ let words: Vec<String> = name
+ .split_whitespace()
+ .map(|w| {
+ w.trim_matches(|c: char| !c.is_alphanumeric())
+ .to_lowercase()
+ })
+ .collect();
+ if words.len() > MAX_NAME_WORDS {
+ return false;
+ }
+ // 一个词的名字不可能是从句,别让 "Is" 这种专名被误伤
+ if words.len() > 2 && words.iter().any(|w| CLAUSE_MARKERS.contains(&w.as_str())) {
+ return false;
+ }
+ // 部分格:`745 of OpenAI's 770 employees` 是一个数量描述,不是一个东西。
+ // 它没有限定动词,词数也不多,上面两条都接不住它。
+ //
+ // 判据收得很窄——**首词是纯数字且第二词是 of**。真实体里以数字开头的
+ //(`3M`、`7-Eleven`、`23andMe`)首词不是纯数字;`2023 Nobel Prize` 首词是纯数字,
+ // 但第二个词不是 `of`。宽一格就会误伤它们。
+ if words.len() >= 3
+ && words[1] == "of"
+ && !words[0].is_empty()
+ && words[0].chars().all(|c| c.is_ascii_digit())
+ {
+ return false;
+ }
+ true
+}
+
/// 记一条丢弃信号。抽取器有七处 `continue`,每一处都是"事实抽出来了、被挡掉、
/// 什么都不说"。信号写失败绝不能带垮整篇文档的抽取,所以这里吞掉错误。
async fn drop_signal(
@@ -379,7 +436,18 @@ async fn run(state: &AppState, document_id: Uuid) -> anyhow::Result<()> {
let mut entity_type_of: HashMap<String, Option<Uuid>> = HashMap::new();
for e in &extraction.entities {
let name = e.name.trim();
- if name.is_empty() || name.chars().count() > 100 {
+ if !is_entity_name(name) {
+ // 从前这里是静默 `continue`——正是 `drop_signal` 当初为之而建的
+ // 那种"抽出来了、被挡掉、什么都不说"
+ drop_signal(
+ state,
+ doc.kb_id,
+ document_id,
+ utopia_store::extraction_drops::reason::NOT_AN_ENTITY_NAME,
+ &e.type_key,
+ Some(name),
+ )
+ .await;
continue;
}
// 降级时记住模型提议的那个词:本体装不下不等于它说错了。
@@ -716,6 +784,34 @@ async fn run(state: &AppState, document_id: Uuid) -> anyhow::Result<()> {
.await;
continue;
};
+ // **未声明的主宾也要过同一道判据。**
+ //
+ // 从前守卫只装在上面那条声明实体的路上,而这里绕过了它:模型把一整句话
+ // 写进 `object`、那句话没出现在 entities 里,这里就转头把它造成了实体。
+ // 实测(ai-timeline-ends × schema.org)421 个实体里 76 个无类型,
+ // 最长的那个 111 字符——"thermal-imaging equipment used by volunteers
+ // flying over the site showed at least 33 generators giving off heat",
+ // 那是一整个从句,不是一个东西。**守卫拦住了前门,后门是开的。**
+ //
+ // 这类实体的害处不止于此:它们永远匹配不到别处的任何提及,
+ // 在图上是孤点(实测 59 个),还会拖累消解——每一个都要跟已有实体比一遍。
+ if !is_entity_name(f.subject.trim()) || !is_entity_name(object_name) {
+ drop_signal(
+ state,
+ doc.kb_id,
+ document_id,
+ utopia_store::extraction_drops::reason::NOT_AN_ENTITY_NAME,
+ &f.predicate,
+ Some(if is_entity_name(f.subject.trim()) {
+ object_name
+ } else {
+ f.subject.trim()
+ }),
+ )
+ .await;
+ continue;
+ }
+
// 主宾未在 entities 中声明时先建出来(模型偶尔漏报)。没有 entities 那条
// 记录就没有类型可依,留空即可——0009 之前这里只能塞 concept
let subject_id = match entity_ids.get(f.subject.trim()) {
@@ -1234,6 +1330,61 @@ async fn chunk_lists(
)))
}
+#[cfg(test)]
+mod name_tests {
+ use super::is_entity_name;
+
+ /// 样本全部取自实跑出来的库(ai-timeline-ends × schema.org),不是编的。
+ #[test]
+ fn a_clause_is_not_a_thing() {
+ for s in [
+ "thermal-imaging equipment used by volunteers flying over the site showed at least 33 generators giving off heat",
+ "about the same amount of power as the Tennessee Valley Authority's large gas-fired power plant nearby",
+ "removal was driven by growing discontent and distrust with Altman",
+ "a risk of developing cancer at four times the national average in 2013",
+ "745 of OpenAI's 770 employees",
+ ] {
+ assert!(!is_entity_name(s), "这是一句话,不该当成实体名:{s}");
+ }
+ }
+
+ /// **真实体会长,但不带谓语。** 判据是词数 + 限定动词,不是字符数——
+ /// 下面第一个 57 字符,比上面那条 65 字符的从句还短不了多少
+ #[test]
+ fn a_long_name_is_still_a_name() {
+ for s in [
+ "US District Court for the Northern District of California",
+ "United States District Court for the District of Delaware",
+ "OpenAI's board of directors",
+ "Safe Superintelligence Inc.",
+ "École Polytechnique",
+ "GPT-4",
+ ] {
+ assert!(is_entity_name(s), "这是真实体,不该被挡:{s}");
+ }
+ }
+
+ /// 分词在名词短语里完全正常,列进标志词会误伤。
+ #[test]
+ fn a_participle_is_not_a_predicate() {
+ assert!(is_entity_name("equipment used by volunteers"));
+ assert!(is_entity_name("Gas-Burning Turbines"));
+ }
+
+ /// 短名字不做从句判断:`Is` 之类可能是专名的一部分。
+ #[test]
+ fn a_short_name_is_never_a_clause() {
+ assert!(is_entity_name("Was"));
+ assert!(is_entity_name("Is Elon"));
+ }
+
+ #[test]
+ fn an_empty_name_is_not_a_name() {
+ assert!(!is_entity_name(""));
+ assert!(!is_entity_name(" "));
+ }
+}
+
#[cfg(test)]
mod tests {
use super::{incomplete_reason, looks_literal};
diff --git a/crates/utopia-store/src/extraction_drops.rs b/crates/utopia-store/src/extraction_drops.rs
index c38e6ecd..cfcd132a 100644
--- a/crates/utopia-store/src/extraction_drops.rs
+++ b/crates/utopia-store/src/extraction_drops.rs
@@ -31,6 +31,9 @@ pub mod reason {
/// 主语的类型对不上关系声明的 domain,**且对调也不合法**——那是选错了关系
/// 或类型判错,不是方向问题。照原样落库 + 记信号,交给人看,不猜
pub const DOMAIN_MISMATCH: &str = "domain_mismatch";
+ /// 模型给的"实体名"其实是一整句话或从句——不是一个东西的名字。
+ /// 这类东西永远匹配不到别处的提及,在图上是孤点,还会拖累消解
+ pub const NOT_AN_ENTITY_NAME: &str = "not_an_entity_name";
/// 主语违反 domain 而宾语符合,已按本体声明的方向把主宾掰正。
/// **动作必须留痕**:自动的、看不见的改写才是 0001 反对的那种
pub const DIRECTION_CORRECTED: &str = "direction_corrected";
diff --git a/docs/decisions/0012-the-ontology-is-a-contract-not-a-suggestion.md b/docs/decisions/0012-the-ontology-is-a-contract-not-a-suggestion.md
new file mode 100644
index 00000000..c4092980
--- /dev/null
+++ b/docs/decisions/0012-the-ontology-is-a-contract-not-a-suggestion.md
@@ -0,0 +1,174 @@
+# 本体是一份契约,不只是一份建议
+
+**状态**:已实施 · 五轮对照实验 · 违反率 57% → 4%,反向 39 → 0
+
+[0008](0008-ontology-packs-as-cold-start.md) 建了预制本体包,但它要回答的那个问题
+——**大本体到底顶不顶用**——一次都没被问过:装了包的库全是 5 篇文档、26 条事实的
+基准跑,量的是提示词开销,不是质量。这一篇是第一次拿真语料问它。
+
+答案分两半:**词汇量确实在接住东西,而声明出来的约束一条都没被执行。**
+
+## 一、包的收益是真的
+
+`ai-timeline-ends`(6 篇维基百科条目)× schema.org + W3C Org(1655 关系 / 973 类),
+**零种子**(#125、#128 之后建库不播任何关系):
+
+- 215 条有谓词的事实、41 个不同关系,**全部来自本体包**,自动扩本体一个都没长出来
+- 空谓词 25.6%——历史上 10 个种子时 `related_to` 占 55.5%
+
+## 二、但方向是反着写进去的
+
+```
+Elon Musk (person) --employee--> Microsoft
+```
+
+而 schema.org 声明 `employee (organization → person)`。**130 条可校验的事实里 102 条这样反着落库。**
+
+这恰恰是选 schema.org 的理由失效——`ontology_packs.rs` 写着「1488 个属性带
+domain + range,方向是**声明的**不是描述的」。声明了,然后没人执行。
+
+而且它比空谓词严重得多:**空谓词是诚实的沉默,反向边是自信的错误**。图上写着
+Musk 雇佣了 Microsoft,而 0002 说推理机是缺陷放大器——这正是它会放大的那种输入。
+
+## 三、一个根因,两个症状
+
+查下去,类型判错与方向反向是同一件事的两副面孔:
+
+```
+#128 撤掉种子 → seed_classes 空(它取的是 builtin 的类)
+ ↓
+检索偏爱字面出现在正文里的叶子类
+(讲 Sutskever 的分块,976 个类里 researcher 第 4、person 第 359、organization 第 795)
+ ↓
+ ┌──────────────────────┬──────────────────────────┐
+实体判成 researcher employee 的签名退化成 (* → *)
+(schema.org 里它是 (sig_of 只认铺出去的类,
+ Audience 的子类,不是人) 一侧没铺就写 *)
+```
+
+`build_lists` 的注释早写过这道地板:「**内置类恒在**。检索漏掉的分块仍然要有地方
+落脚,否则模型无类可选」。种子退场后判据悬空了——**它当初碰巧等价,只因为种子类
+正好是那几个通用类**。
+
+## 四、五轮实验
+
+同语料同本体,每次只动一个变量,全部 60/60 块:
+
+| 变体 | 事实 | 空谓词 | 可校验 | 违反 | **真·反向** | 违反率 |
+|---|---|---|---|---|---|---|
+| 只改提示词 | 429 | 138 | 172 | 98 | 39 | 57.0% |
+| + 祖先地板 | 451 | 138 | 181 | 63 | 31 | 34.8% |
+| + 签名类恒在 | — | — | — | — | 26 | 37.2% |
+| + 按库内类型掰正 | 447 | 139 | 179 | **0** | **0** | 29.6% |
+| + 前缀归并 + 不适用则沉默 | 447 | 179 | 149 | **6** | **0** | **4.0%** |
+
+(第三行停在 41/60 块——服务器被杀,只能看比率。)
+
+### 提示词能做的,和不能做的
+
+第一版把两件事混成一句 "hint, not a rule — when the text says otherwise, write what
+the text says",于是模型连参数顺序也按原文说法写。两件事的可覆盖性根本不同:
+
+- **哪些类型能参与**:提示不是闸门。本体可能写错,原文说西雅图就写西雅图。
+ [0001](0001-ontology-import-and-governance.md) 的判断在这里不变——硬闸门会
+ 系统性丢数据,`part_of` 烧我们的正是那样。
+- **参数顺序**:由签名定。**顺序不是关于世界的断言,是这个 key 的编码约定**;
+ 原文从来没有「说了别的方向」,它只说两个实体之间存在某种关系。
+
+改了之后有效,但**不是主力**:三轮提示词把违反率从 57% 压到 35%,压下去的
+**全是类型判错那一半**,真·反向纹丝不动(22.7% → 17.1% → 17.6%,后两个在噪声里)。
+
+**模型看得见签名,就是不照做**——英语的 "X is an employee of Y" 太强。
+继续加措辞不会赢。
+
+### 于是在写入时掰正
+
+主语违反 domain **而宾语符合**时,按签名交换主宾。
+
+这不是新原则:`produced_by` 命中 `produces` 时(#109)早就在自动翻转主宾了,
+区别只在触发条件是**措辞**还是**签名**。
+
+当初反对自动掰正的理由是实体类型不可靠——实测 Elon Musk 被判成 `researcher`。
+**祖先地板修好之后那个前提不成立了**,同一批人判成了 `person`。
+
+类型**从库里的实体读**,不用抽取器手上那份 `entity_type_of`——那份只覆盖模型在
+这一块里声明过的实体,而宾语常是别处已存在的实体。**这一处差别就是反向从 10 降到 0
+的原因。**
+
+**绝不静默**:每次掰正落一条 `direction_corrected`。0001 反对的是「用可能错的声明
+驱动**自动动作**」,而留痕的动作不属于那一类。29 次里有 1 次掰错(`spatial`,
+schema.org 对它的 domain 定义本就模糊)——这是这个机制的固有成本:
+**它信任本体的声明,而声明可能不适用于这对实体。**
+
+### 不适用的关系该沉默
+
+对调也不合法时,从前照原样落库,等于**用本体的名义说一件本体不同意的事**:
+
+```
+OpenAI --affectedBy--> … schema.org 的 affectedBy 是医学检验用的
+Mistral --amount--> €105 million amount 属于融资工具,不属于公司
+Anthropic --competitor--> OpenAI schema.org 的 competitor 是 SportsEvent 的属性
+```
+
+现在丢掉谓词,保留主宾、时间、证据,原词留在 `fact_evidence.proposed_predicate`,
+显示时由 `fact_surface_predicate()` 取回([0010](0010-no-relation-is-no-relation.md))。
+验过没有变哑:**退回的 179 条空谓词事实,179 条全部拿得出原文说法。**
+
+## 五、剩下的不是抽取的错
+
+- **具化建模缺口**(`amount` 13 / `target` 8 / `participant` 5):schema.org 用中间
+ 节点建模(Action / LoanOrCredit / Offer),我们是扁平二元关系。
+- **同名词**(`affected_by` / `competitor` / `uses_device`):包里有很多名字通用、
+ 含义狭窄的词,按名字或向量相似度挑必然撞上。跟 `Researcher` 被拿来标人同源。
+
+**这两类是本体包的本质成本**,0008 该记进去:**包的代价不在提示词长度,在选择难度。**
+
+### 为什么不引入更强的建模语言
+
+数据模型**已经支持**中间节点——`entities` + `facts` 就是属性图,
+`[某轮融资] --amount--> €105M` 今天就能存,库里也确实有 10 个 `event`、
+9 个 `monetary_amount` 实体。卡住的不是表达力。
+
+卡住的是**提示词的规则 1 与 2**:「用文中写出的规范全名」+「每条事实的主宾都必须
+出现在 entities 里」。而一轮融资在原文里**没有名字**——要满足签名就得凭空造一个实体,
+而提示词从头到尾在教它不要造。**模型做的是对的。**
+
+真要支持具化,动的是这两条规则的地基,还得给无名节点一套命名与去重办法
+(同一轮融资在两篇文章里怎么认成一个?它没有名字可比)——那是实体消解的新问题。
+
+判据应该是**限定词本身需不需要被查询**:「2024 年 A 轮里由 General Catalyst
+领投的公司有哪些」——那个「领投」挂在融资轮上。**今天问不了这种问题,那才是该做的信号**,
+而不是「schema.org 这么建模所以我们也要」。
+
+## 六、顺带修掉的两处
+
+**领头的轻动词不算区别**:`has_funding` 与 `funding` 是同一个关系。实测空谓词里
+`has_funding` ×4 落空而本体有 `funding`,`product` ×2 落空而本体有 `has_product`。
+过度归并不会造成错配——撞车即作废,最坏退回「匹配不上」。
+
+**「实体名」是一句话时不该造成实体**。实测 421 个实体里 76 个无类型,最长的 111 字符
+是一整个从句。守卫本来就有(`> 100 字符` 就 `continue`),但**只装在声明实体那条路上**,
+而未声明的主宾会绕过去直接 `resolve()` 造实体——**前门有锁,后门开着**。而且那个
+`continue` 是静默的,正是 `drop_signal` 当初为之而建的七处之一。
+
+判据改成**词数 + 限定动词**而不是字符数:`US District Court for the Northern District
+of California`(57 字符)是真实体,`removal was driven by growing discontent and
+distrust with Altman`(65 字符)是从句——字符数分不开,**谓语分得开**。
+
+效果:最长实体名 111 → 57 字符(57 那个正是上面那个法院),无类型实体 76 → 60。
+被挡下的全是真句子,没有误伤。
+
+**孤点(一条事实都没有的实体)14.0% → 17.5%,但这不能归因于守卫**:守卫总共只挡了
+个位数,而孤点多了 14 个,更可能是跑次方差(两次跑的模型输出本来就不同,
+后一次还中途重启过、被回收的文档整篇重抽)。孤点的真实成因是另一回事——
+**模型在 `entities` 里声明了实体却没产出用到它的事实**,孤点列表里是法院、SEC、
+特斯拉总部这些正当实体。这个比例值得单独记,但它跟这次的守卫无关。
+
+## 待做
+
+- **写入时的守卫挡不住写入之后的改动**:实体合并会把主语换成另一个类型的实体,
+ 于是事实「变成」违反。实测 6 条残留里 4 条如此。要治得把同样的检查放进合并路径。
+- 另外 2 条残留(`Stability AI Ltd`、`Colossus 2 data center`)没有合并也没有改类型,
+ **原因未查明**。
+- 导入本体包时过滤掉需要中间节点才能用的关系(domain 全是 `Action`/`Offer`/
+ `LoanOrCredit` 这类具化壳的),它们铺给模型只会产出违反。
diff --git a/docs/decisions/README.md b/docs/decisions/README.md
index 29d1d528..1fea19e9 100644
--- a/docs/decisions/README.md
+++ b/docs/decisions/README.md
@@ -33,6 +33,7 @@
| 0009 | [「还没判出来」不该是一个类](0009-no-type-is-a-type.md) | 已实施 · `entities.type_id` 改为可空 |
| 0010 | [「说不出是什么关系」不该是一个关系](0010-no-relation-is-no-relation.md) | 已实施 · `facts.predicate_id` 改为可空 · 0009 在关系侧的孪生 · **含一次七分钟后长回来的修订** |
| 0011 | [「怎么算」不是「有什么」](0011-a-mapping-is-not-a-fact.md) | 规划中 · 语义层映射搬出本体 · 0009/0010 那条线的最后一段 |
+| 0012 | [本体是一份契约,不只是一份建议](0012-the-ontology-is-a-contract-not-a-suggestion.md) | 已实施 · 五轮对照实验 · 违反率 57%→4%、反向 39→0 · 首次拿真语料问 0008 那个问题 |
## 不是决策记录的那些
diff --git a/web/src/i18n/en.ts b/web/src/i18n/en.ts
index 628bbc87..09e2cf7c 100644
--- a/web/src/i18n/en.ts
+++ b/web/src/i18n/en.ts
@@ -338,6 +338,7 @@ export const en = {
malformed_item: "The model's item did not fit the schema",
truncated_reply: "The model's reply was cut off",
domain_mismatch: "The subject does not fit the relation, and swapping would not help",
+ not_an_entity_name: "That name is a sentence, not a thing",
direction_corrected: "Subject and object were swapped to match the signature",
} as Record<string, string>,
// 来源级重抽:不危险,只是费时费钱——轻确认,文案直说成本与保留项
diff --git a/web/src/i18n/zh.ts b/web/src/i18n/zh.ts
index e9f2a756..71031293 100644
--- a/web/src/i18n/zh.ts
+++ b/web/src/i18n/zh.ts
@@ -312,6 +312,7 @@ export const zh: Strings = {
malformed_item: "模型给的这一条结构不合",
truncated_reply: "模型的输出被截断",
domain_mismatch: "主语对不上这个关系,对调也不行",
+ not_an_entity_name: "那个名字是一句话,不是一个东西",
direction_corrected: "已按签名把主宾掰正",
},
reExtractSource: "重新抽取",