World's first open-source enterprise world model.
Rust agent-memorybitemporalgraphragknowledge-baseknowledge-graphllmontologypgvectorpostgresqlragrustself-hostedsemantic-searchtemporal-knowledge-graphworld-model
Nineteen migrations become ten, one per domain (#131)
WaylandYang5abd9a4fee48
diff --git a/crates/utopia-server/src/api/mod.rs b/crates/utopia-server/src/api/mod.rsindex 82b041ee..8ca47825 100644--- a/crates/utopia-server/src/api/mod.rs+++ b/crates/utopia-server/src/api/mod.rs@@ -182,7 +182,7 @@ pub fn router(state: AppState, cfg: &AppConfig) -> Router {post(ontology_routes::restore_miss),).route("/kbs/{id}/ontology/suggest", post(ontology_routes::suggest))- // 上次算出来、还没人表态的那些(迁移 0018)。刷新页面靠它,不必重跑模型+ // 上次算出来、还没人表态的那些(见 `ontology_proposals`)。刷新页面靠它,不必重跑模型.route("/kbs/{id}/ontology/proposals",get(ontology_routes::stored_proposals).post(ontology_routes::decide_proposal),diff --git a/crates/utopia-server/src/api/ontology_routes.rs b/crates/utopia-server/src/api/ontology_routes.rsindex a5daaacd..db5c2933 100644--- a/crates/utopia-server/src/api/ontology_routes.rs+++ b/crates/utopia-server/src/api/ontology_routes.rs@@ -367,7 +367,7 @@ pub async fn suggest(// 人工那条路 min_docs = 0:面板上「出现在 1 篇」这个数字是显示给人看的,// 他自己判断得了。替他滤掉,只是让他少一条信息let proposals = build_proposals(&state, kb_id, &locale, 0).await?;- // 算完就写下来(迁移 0018)。从前这批结果只回给前端、存进一个 useState,+ // 算完就写下来(见 `ontology_proposals`)。从前这批结果只回给前端、存进一个 useState,// 刷新一次就没了——而重算要再调一次模型,且未必给出同一批归并persist_proposals(&state, kb_id, &proposals).await;Ok(Json(proposals))diff --git a/crates/utopia-store/src/mappings.rs b/crates/utopia-store/src/mappings.rsindex 8b1bf0b4..d2e3611d 100644--- a/crates/utopia-store/src/mappings.rs+++ b/crates/utopia-store/src/mappings.rs@@ -1,7 +1,7 @@//! 语义层的「业务概念 → 数据资产」映射(见 `docs/decisions/0011`)。//!//! 它从前是一条 `mapped_to` 事实,宾语是塞在 `object_value` 里的一份 JSON。-//! 搬出来的理由写在迁移 0019 里,一句话:**它不是关于世界的断言,是配置**。+//! 搬出来的理由写在 `concept_mappings` 的建表注释里,一句话:**它不是关于世界的断言,是配置**。//!//! 与账本的区别在这里就能看见:这张表**允许原地改**。`confirm` 改的是//! 「这条配置生效了没有」,不是「我们对世界的认知变了」——所以它不需要diff --git a/crates/utopia-store/src/ontology.rs b/crates/utopia-store/src/ontology.rsindex bb4875ad..cf1f6489 100644--- a/crates/utopia-store/src/ontology.rs+++ b/crates/utopia-store/src/ontology.rs@@ -1412,7 +1412,7 @@ pub async fn set_disjoint_bulk(}// ----------------------------------------------------------------------------// 本体提案(迁移 0018)+// 本体提案(见 `ontology_proposals`)// ---------------------------------------------------------------------------/// 一条落库的提案。`payload` 是接口原样返回的那一条。diff --git a/crates/utopia-store/src/resolution.rs b/crates/utopia-store/src/resolution.rsindex e8eb8bfd..01b87320 100644--- a/crates/utopia-store/src/resolution.rs+++ b/crates/utopia-store/src/resolution.rs@@ -342,7 +342,7 @@ const CONTAIN_SCAN_LIMIT: i64 = 16;////// **已知不覆盖**:两个名字既不互相包含、又没有共同别名做桥的情形///(`启明 X7 加速卡` 与 `启明 X7 推理加速卡`)。那要三元组相似度,而-/// `CREATE EXTENSION pg_trgm` 需要超级权限——本仓库是受限角色连库(迁移 0014),+/// `CREATE EXTENSION pg_trgm` 需要超级权限——本仓库是受限角色连库(见 `migrations/0010_least_privilege_role.sql`),/// 装扩展会在部署上失败。留给需要时再说。////// **性能**:反向那半(新名字包含旧名字)用不上任何索引,别名那半同样,diff --git a/crates/utopia-store/tests/a_mapping_is_not_a_fact.rs b/crates/utopia-store/tests/a_mapping_is_not_a_fact.rsindex e91f718d..cb656b0d 100644--- a/crates/utopia-store/tests/a_mapping_is_not_a_fact.rs+++ b/crates/utopia-store/tests/a_mapping_is_not_a_fact.rs@@ -6,7 +6,7 @@//! 这个 JSONB 内部,数据库看不见,只能靠确认流程显式闭合——也就是靠流程//! 而不是约束。现在它是主键。//! 2. **表过态的不被下一轮探索刷回待看。** `ontology_proposals` 那边踩过同一个-//! 坑(迁移 0018):重跑必然再次算出被拒绝过的那条,不挡住就等于每跑一次都把+//! 坑(`ontology_proposals` 那边):重跑必然再次算出被拒绝过的那条,不挡住就等于每跑一次都把//! 人的否决抹掉一次。use sqlx::PgPool;diff --git a/docs/decisions/0001-ontology-import-and-governance.md b/docs/decisions/0001-ontology-import-and-governance.mdindex b7cacecb..c709bcf5 100644--- a/docs/decisions/0001-ontology-import-and-governance.md+++ b/docs/decisions/0001-ontology-import-and-governance.md@@ -186,7 +186,7 @@ v2: http://acme.com/hr#Employee rdfs:label "Staff Member" → key = staff_membe> 落地的是三层里的前两层与整条预览流程:解析(`utopia-ingest/src/ontology_rdf.rs`)、> 计划与执行(`utopia-server/src/owl_import.rs`,预览与落库**共用同一个 `plan()`**)、> 界面(本体页左栏底部 Import 入口 → 选文件 → 计划 → 确认)。-> `ontology_imports` 表与 `entity_types.iri` / `relation_types.iri` 见迁移 0015。+> `ontology_imports` 表与 `entity_types.iri` / `relation_types.iri` 见 `ontology_imports` 的建表注释。>> **对着真实词汇表验证,不是自己写的样例**。FOAF(RDF/XML,635 三元组):> 15 类 + 89 属性,`functional` / `inverse_functional` / domain / range 全部读出;diff --git a/docs/decisions/0005-alert-center.md b/docs/decisions/0005-alert-center.mdindex 08fe44fb..42d8a5ea 100644--- a/docs/decisions/0005-alert-center.md+++ b/docs/decisions/0005-alert-center.md@@ -153,7 +153,7 @@ kb_id 有值 知识库级:解析失败、抽取失败、源同步失败> 以及一个 `WHERE resolved_at IS NULL` 的部分唯一索引。随上面前两条决定一起作废。> **不在这里重抄一份 schema** —— 一份和迁移不一致的草案比没有草案更坏。-真实定义见 [`migrations/0017_alerts.sql`](../../migrations/0017_alerts.sql)。形状是:+真实定义见 [`migrations/0009_alerts.sql`](../../migrations/0009_alerts.sql)。形状是:- `alerts` 一次故障一行,写完不再改。`subject_id` 是**单列**不是数组 ——一行只讲一个对象,`detail` 里存一份当时的名字,所以对象被删了这条告警仍然显示得出来。diff --git a/migrations/0001_core.sql b/migrations/0001_core.sqlindex 12bcc6df..c2607f3c 100644--- a/migrations/0001_core.sql+++ b/migrations/0001_core.sql@@ -1,4 +1,4 @@--- 0001: 核心多租户表 + 任务队列+-- 核心:多租户表、任务队列、访问控制与部署配置。-- pgvector 扩展提前建好(P1 的 chunks.embedding 依赖),使用 pgvector/pgvector 镜像自带CREATE EXTENSION IF NOT EXISTS vector;@@ -98,3 +98,70 @@ CREATE TABLE jobs (updated_at TIMESTAMPTZ NOT NULL DEFAULT now());CREATE INDEX jobs_claim_idx ON jobs (run_at) WHERE status = 'queued';++-- 工作区级 LLM 设置(对话与 embedding 分开配置,OpenAI 兼容协议)+CREATE TABLE llm_settings (+ workspace_id UUID PRIMARY KEY REFERENCES workspaces(id) ON DELETE CASCADE,+ chat_base_url TEXT,+ chat_api_key TEXT,+ chat_model TEXT,+ embed_base_url TEXT,+ embed_api_key TEXT,+ embed_model TEXT,+ embed_dim INT,+ updated_at TIMESTAMPTZ NOT NULL DEFAULT now()+);++-- KB 级访问控制。部署角色挂隐形 workspace(memberships 不动);每个 KB 自带+-- 角色矩阵,在库自己的 Settings 里配置+CREATE TABLE kb_members (+ kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,+ user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE,+ role TEXT NOT NULL CHECK (role IN ('viewer', 'editor', 'admin')),+ created_at TIMESTAMPTZ NOT NULL DEFAULT now(),+ -- 谁把这个成员加进来的(无人可归时留 NULL,展示退化为只有时间)+ added_by uuid REFERENCES users(id) ON DELETE SET NULL,+ PRIMARY KEY (kb_id, user_id)+);++CREATE TABLE deployment_settings (+ singleton BOOLEAN PRIMARY KEY DEFAULT TRUE CHECK (singleton),+ open_registration BOOLEAN NOT NULL DEFAULT TRUE,+ -- 任务 worker 并发数(系统设置可改;调度循环热读,改动即时生效)。+ -- **这是外层兜底而不是节流**:真正的节流交给按模型的信号量(见+ -- model_concurrency),这里只防任务无限堆积。要明显大于各模型限额之和,+ -- 否则被限流的任务会占满槽位把别的饿死+ worker_concurrency INT NOT NULL DEFAULT 32+ CHECK (worker_concurrency BETWEEN 1 AND 32),+ -- 本体铺进抽取提示词的字符预算,超了就改成按分块检索候选。+ -- 放部署设置而不是环境变量:这一档要能不重启就改——定它需要每个本体规模+ -- 下全量内联与按块检索各一组对照,靠重启服务改一档的话,那条曲线不会有人+ -- 跑第二遍。24000 字符(约 6000 token)是拍的,正等那条曲线来定+ ontology_prompt_budget INTEGER NOT NULL DEFAULT 24000,+ -- 没在 model_concurrency 里配过的模型走这个缺省+ default_model_concurrency INT NOT NULL DEFAULT 10,+ -- JWT 签名密钥。**首次启动自动生成**,于是「照 README 跑起来」和「安全」+ -- 不再是两件要分别做的事——默认值 dev-secret-change-me 上生产这类事故,+ -- 靠提醒是防不住的。UTOPIA_JWT_SECRET 仍然优先于本列:轮换密钥、或者要+ -- 多个实例显式对齐时填环境变量即可,那条路没有被关掉+ jwt_secret TEXT,+ -- 新库的 ontology_lang 缺省,含义见 knowledge_bases.ontology_lang+ default_ontology_lang TEXT NOT NULL DEFAULT 'en',+ CONSTRAINT deployment_default_ontology_lang_chk+ CHECK (default_ontology_lang IN ('en', 'zh'))+);+INSERT INTO deployment_settings DEFAULT VALUES;++-- 并发限制**按模型算,不按部署算**。真正的约束是模型供应商的速率限制,那是+-- 按模型(连同 base_url)来的:本地 Ollama 可能只扛 2 个并发,托管 API 能吃+-- 50——一个全局数字管两者本来就不对。+--+-- 限流放在 LLM 调用处而不是任务调度处:不调模型的任务(文件夹同步)不该受它+-- 约束,调不同模型的任务(抽取用 chat、摄入用 embedding)之间也不该互相挤。+CREATE TABLE model_concurrency (+ base_url TEXT NOT NULL,+ model TEXT NOT NULL,+ max_concurrent INT NOT NULL CHECK (max_concurrent BETWEEN 1 AND 256),+ updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),+ PRIMARY KEY (base_url, model)+);diff --git a/migrations/0002_ingest.sql b/migrations/0002_ingest.sqlindex 27ae83dd..c131ff25 100644--- a/migrations/0002_ingest.sql+++ b/migrations/0002_ingest.sql@@ -1,4 +1,4 @@--- 0002: 摄入管道(来源/文档/分块)+ 工作区 LLM 设置+-- 摄入管道:来源、文档、分块、版本与同步记录。-- 来源即文件夹:source 是 Library 中的容器,挂着它摄入的文档,可定时同步。-- kind: upload(手动上传的虚拟归属,通常 source_id 为 NULL)| watch_folder | url | rss | api。@@ -97,18 +97,6 @@ CREATE INDEX chunks_document_idx ON chunks (document_id, seq);CREATE INDEX chunks_kb_idx ON chunks (kb_id);CREATE INDEX chunks_live_idx ON chunks (document_id) WHERE superseded_at IS NULL;--- 工作区级 LLM 设置(对话与 embedding 分开配置,OpenAI 兼容协议)-CREATE TABLE llm_settings (- workspace_id UUID PRIMARY KEY REFERENCES workspaces(id) ON DELETE CASCADE,- chat_base_url TEXT,- chat_api_key TEXT,- chat_model TEXT,- embed_base_url TEXT,- embed_api_key TEXT,- embed_model TEXT,- embed_dim INT,- updated_at TIMESTAMPTZ NOT NULL DEFAULT now()-);CREATE UNIQUE INDEX documents_source_key_idxON documents (source_id, external_key) WHERE external_key IS NOT NULL;@@ -123,3 +111,17 @@ CREATE TABLE document_versions (ingested_at TIMESTAMPTZ NOT NULL DEFAULT now(),UNIQUE (document_id, version));++-- 每次同步一行(时间/状态/产出/错误),渠道的可审计历史。+-- 每来源仅保留最近 50 条(finish_run 时修剪)+CREATE TABLE source_sync_runs (+ id UUID PRIMARY KEY,+ source_id UUID NOT NULL REFERENCES sources(id) ON DELETE CASCADE,+ started_at TIMESTAMPTZ NOT NULL DEFAULT now(),+ finished_at TIMESTAMPTZ,+ status TEXT NOT NULL DEFAULT 'running' CHECK (status IN ('running', 'ok', 'failed')),+ created_docs INTEGER NOT NULL DEFAULT 0,+ updated_docs INTEGER NOT NULL DEFAULT 0,+ error TEXT+);+CREATE INDEX source_sync_runs_source_idx ON source_sync_runs (source_id, started_at DESC);diff --git a/migrations/0003_graph.sql b/migrations/0003_graph.sqlindex 514979f2..e6dc826f 100644--- a/migrations/0003_graph.sql+++ b/migrations/0003_graph.sql@@ -1,4 +1,4 @@--- 0004: 图谱层 —— 轻量本体 + 实体 + 双时态事实账本 + 证据链+-- 图谱层:本体词表 + 实体 + 双时态事实账本 + 证据链。-- 设计见 docs/DESIGN.md §3:事实 append-only;抽取错误设 invalidated_at,事实变化闭合 valid_to。-- 类。**两个向量不是冗余**:类型消解发两种查询(见 `type_resolution.rs`),@@ -345,3 +345,87 @@ LANGUAGE sql STABLE AS $$ORDER BY count(*) DESC, e.proposed_predicateLIMIT 1$$;++-- 采纳一个实体类型时,哪些实体被改了类。+--+-- 与 fact_adoptions 对称,理由也一样:只建类型不动实体的话,本体长大了、图没变好。+-- 而改完必须能撤销,否则没人敢让系统自动建类。+--+-- 实体不是 append-only 的(它是可变行,P0 的 PATCH 就直接改),所以撤销靠记下+-- 改之前的类型,而不是靠 supersedes 链。+CREATE TABLE entity_retypes (+ batch_id UUID NOT NULL,+ kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,+ entity_id UUID NOT NULL REFERENCES entities(id) ON DELETE CASCADE,+ -- **可空**:0009 之后最常见的一次改类正是「从没有类到有类」,而这张表是+ -- 撤销的唯一依据。非空的话第一次赋类就写不进账,那批改动不可撤+ from_type_id UUID REFERENCES entity_types(id) ON DELETE CASCADE,+ to_type_id UUID NOT NULL REFERENCES entity_types(id) ON DELETE CASCADE,+ -- 与 fact_adoptions 一致:撤销标记而非删除,采纳发生过、撤销也发生过+ reverted_at TIMESTAMPTZ,+ created_at TIMESTAMPTZ NOT NULL DEFAULT now(),+ -- 谁改的。可空 = 引擎自动裁决,跟 `entity_merges.merged_by` 一个约定。+ --+ -- **它只回答「谁发起了这次改动」**,不回答「这个类是不是人判的」——+ -- 那两件事被混为一谈过一次:类型消解把点「运行」的人传了下来,于是每个+ -- 被引擎裁决的实体都成了 `type_source = human`,从此再不被消解(见 #117)+ actor_id UUID REFERENCES users(id),+ PRIMARY KEY (batch_id, entity_id)+);++CREATE INDEX entity_retypes_kb_idx ON entity_retypes (kb_id, created_at DESC);++-- 采纳表层谓词时,哪条事实被改写成了哪条。+--+-- 没有这张表时改写只留下 facts.supersedes 一个指针,而它覆盖不了"并入已存在+-- 事实"那种情形:旧行被作废、没有任何后继指向它。后果有两个——撤销时找不回+-- 它去了哪,以及实体历史把"已作废且无后继"判成 rejected,于是界面会说+-- "这条记录被撤回了",而它其实原封不动地并进了另一条断言。+--+-- 顺带补上治理要求的那一半:审计行此前只记了"改写 49 条"这个总数,+-- 答不出"具体哪 49 条"。+CREATE TABLE fact_adoptions (+ -- 一次采纳动作的批次;撤销以它为单位+ batch_id UUID NOT NULL,+ kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,+ predicate_id UUID NOT NULL REFERENCES relation_types(id) ON DELETE CASCADE,+ old_fact_id UUID NOT NULL REFERENCES facts(id) ON DELETE CASCADE,+ new_fact_id UUID NOT NULL REFERENCES facts(id) ON DELETE CASCADE,+ -- superseded = 新写一行取代旧行;merged = 并入已存在的行+ mode TEXT NOT NULL,+ -- 撤销不删行:抹掉"发生过什么"与账本的规矩相反,而且撤销本身也是+ -- 一次人的决定,实体历史要据此归因+ reverted_at TIMESTAMPTZ,+ created_at TIMESTAMPTZ NOT NULL DEFAULT now(),+ PRIMARY KEY (batch_id, old_fact_id)+);++-- 实体历史逐条问"这条是不是被并走了",走这个索引+CREATE INDEX fact_adoptions_old_idx ON fact_adoptions (old_fact_id);+-- 按库列出可撤销的批次+CREATE INDEX fact_adoptions_kb_idx ON fact_adoptions (kb_id, created_at DESC);++-- 被挡掉的事实不留痕。抽取器有七处 `continue`:主语类型不明、属性 domain+-- 不匹配、值不合 datatype、置信度不够……事实抽出来了、被挡掉、什么都不说,+-- 用户只看到图里少了东西。与"账本 append-only、每条事实都有证据、不确定性+-- 浮到人面前"三条原则直接冲突。++-- 按 document 归集:既能算单篇的"多少条没落地",也能在 KB 层聚合。+-- 同时天然修好生命周期——ontology_misses 只在整库重建时清(graph.rs),+-- 来源级重抽不清,会攒陈旧计数;按 document 清则每次重抽自动作数。+CREATE TABLE extraction_drops (+ kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,+ document_id UUID NOT NULL REFERENCES documents(id) ON DELETE CASCADE,+ -- 机器可聚合的原因码(attr_domain_mismatch / low_confidence / ...)+ reason TEXT NOT NULL,+ -- 该原因下的具体对象(属性 key、谓词名、"salary@organization")+ detail TEXT NOT NULL,+ count INT NOT NULL DEFAULT 1,+ -- 一个样例,让人一眼看出丢的是什么("Acme Corp → salary")+ example TEXT,+ updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),+ PRIMARY KEY (kb_id, document_id, reason, detail)+);++CREATE INDEX extraction_drops_doc_idx ON extraction_drops (document_id);+diff --git a/migrations/0004_ontology.sql b/migrations/0004_ontology.sqlindex cfaf31f4..d68e3534 100644--- a/migrations/0004_ontology.sql+++ b/migrations/0004_ontology.sql@@ -1,4 +1,4 @@--- 抽取未匹配统计:LLM 建议流的信号源+-- 本体:抽取未匹配统计、导入、提案与人认可过的细化配对。-- 抽取过程中命中白名单之外的类型/关系:不是垃圾,是本体扩展的信号CREATE TABLE ontology_misses (@@ -18,3 +18,89 @@ CREATE TABLE ontology_misses (dismissed_at TIMESTAMPTZ,PRIMARY KEY (kb_id, kind, key));++-- 本体导入的第一层:原文保真。+--+-- 投影只覆盖今天能消费的那部分(类、标签、rdfs:comment、subClassOf、+-- 对象/数据属性、functional、domain/range)。**读不懂的不是错误,是"暂未投影"**——+-- 原文按内容寻址存进 blob,将来推理机上线或我们补上新消费者时重跑,+-- 用户什么都不用做。这样"我们表达不了"从能力缺口降级成"投影暂未覆盖"。+CREATE TABLE ontology_imports (+ id UUID PRIMARY KEY,+ kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,+ -- blob 的内容指纹;同一份文件重复导入不重复占空间+ sha256 TEXT NOT NULL,+ filename TEXT NOT NULL,+ -- turtle | rdfxml+ format TEXT NOT NULL,+ byte_size BIGINT NOT NULL,+ -- 投影版本:将来投影逻辑变了,据此知道哪些导入该重跑+ projection_version INT NOT NULL DEFAULT 1,+ -- 这次投影做了什么(新建/更新/暂未投影的计数与明细),预览与事后审计共用+ summary JSONB NOT NULL DEFAULT '{}'::jsonb,+ -- 谁导的。删号后留 NULL,与审计台账同规矩+ imported_by UUID REFERENCES users(id) ON DELETE SET NULL,+ imported_at TIMESTAMPTZ NOT NULL DEFAULT now()+);++CREATE INDEX ontology_imports_kb_idx ON ontology_imports (kb_id, imported_at DESC);+++-- 本体提案落库。+--+-- 从前它只活在浏览器内存里(`Ontology.tsx` 的 `useState<OntologyProposals>`):+-- 刷新一次、切走一次、崩一次,整批提议就没了,想再看只能重跑一次模型。+--+-- **丢的不是原材料。** 未匹配的说法一直存在 `ontology_misses` 里。丢的是**聚类+-- 结果**——哪些说法被归到同一条提议底下、以及"采纳后将重新归类 N 条"那个估算。+-- 而那正是唯一能查证过并的东西:0003 记着模型建议把 `optimized_for` 并进+-- `runs_on`("为 RTX 优化"不等于"跑在 RTX 上"),**它是靠 tooltip 里看得见归并了+-- 哪些说法才被抓出来的**,并且成了"不该全自动归并"的直接证据。能查证的东西不该+-- 只活在一个页面的生命周期里。+CREATE TABLE ontology_proposals (+ id UUID PRIMARY KEY,+ kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,+ -- 提案分档,与接口返回的四个小节同名:+ -- entity_types | relation_types | attribute_types | map_to+ section TEXT NOT NULL,+ key TEXT NOT NULL,+ -- 那一条提案的原样:label、description、reason、forms、datatype、temporal…+ --+ -- **存 JSONB 而不是拆成列**:四个小节的形状本来就不同(关系有 temporal 与+ -- forms,属性有 datatype,map_to 有目标),拆开要么四张表要么一张稀疏宽表。+ -- 前端消费的也正是这个 JSON,存原样等于不改契约。要查归并了哪些说法仍然+ -- 查得动(`payload->'forms'`)+ payload JSONB NOT NULL,+ -- open = 还等着人看;adopted / rejected = 已经有人表过态+ status TEXT NOT NULL DEFAULT 'open'+ CHECK (status IN ('open', 'adopted', 'rejected')),+ decided_by UUID REFERENCES users(id),+ decided_at TIMESTAMPTZ,+ created_at TIMESTAMPTZ NOT NULL DEFAULT now(),+ -- 同一个库里同一档下的同一个 key 只有一条。重跑 Suggest 是刷新它,不是再堆一条+ UNIQUE (kb_id, section, key)+);++-- "还有多少条等着看"是这张表最常被问的问题(0003 的另一个缺口:关掉自动扩展+-- 开关之后没有"自上次以来有 N 个新说法"的提醒,信号在面板里但没人主动看)+CREATE INDEX ontology_proposals_open_idx+ ON ontology_proposals (kb_id, created_at DESC)+ WHERE status = 'open';++-- 人认可过的"粗类 → 细类"配对。认可一次,之后同一对不再进人工。+--+-- 为什么需要它:待人工那一档由"选中的类在不在粗类子树里"触发,而实测那条+-- 判据测的往往不是风险,是**种子类跟导入词汇表的分类树连没连上**。+-- schema.org 的 Place 另起了 place 这个 key,内置 location 一个子类都没有,+-- 于是每一次 location → city 都算跨轴——24 个实体里报了 14 条,条条正确。+--+-- 跨轴是 (粗类, 目标类) 这一对的属性,不是实体的属性。人看过一次+-- "location 下面的东西可以是 city",第二个城市就不该再问一遍。+CREATE TABLE type_refinement_pairs (+ kb_id uuid NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,+ from_type_id uuid NOT NULL REFERENCES entity_types(id) ON DELETE CASCADE,+ to_type_id uuid NOT NULL REFERENCES entity_types(id) ON DELETE CASCADE,+ approved_by uuid REFERENCES users(id),+ approved_at timestamptz NOT NULL DEFAULT now(),+ PRIMARY KEY (kb_id, from_type_id, to_type_id)+);diff --git a/migrations/0005_resolution.sql b/migrations/0005_resolution.sqlindex a6a57453..d8f3b033 100644--- a/migrations/0005_resolution.sql+++ b/migrations/0005_resolution.sql@@ -1,4 +1,4 @@--- 0006: 实体消解 v2 —— 同名≠同人。+-- 实体消解:同名≠同人。-- 设计见 docs/DESIGN.md §4:名字只是候选召回线索,身份由上下文(画像向量 + 关系兼容性)决定;-- 宁分勿合,灰区先落审核队列,LLM 攒批裁决在后台跑,人工终审兜底。diff --git a/migrations/0019_a_mapping_is_not_a_fact.sql b/migrations/0006_semantic_layer.sqlsimilarity index 80%rename from migrations/0019_a_mapping_is_not_a_fact.sqlrename to migrations/0006_semantic_layer.sqlindex b3efc044..884ea50b 100644--- a/migrations/0019_a_mapping_is_not_a_fact.sql+++ b/migrations/0006_semantic_layer.sql@@ -1,3 +1,29 @@+-- 语义层:问数的数据源,与「业务概念 → 数据资产」的口径映射。+--+-- 数据源两层模型:+-- 系统层注册连接(凭据集中、跨 KB 复用),知识库层挂载授权(问数权限跟 KB 走)。++CREATE TABLE data_sources (+ id UUID PRIMARY KEY,+ name TEXT NOT NULL UNIQUE,+ -- 首发仅 postgres;mysql/clickhouse 后续加驱动+ engine TEXT NOT NULL CHECK (engine IN ('postgres')),+ -- 连接串(含凭据)。与 llm_settings 的 api key 同待遇:静态加密尚未实现,见 README 的 Status 段+ conn_string TEXT NOT NULL,+ created_by UUID REFERENCES users(id) ON DELETE SET NULL,+ created_at TIMESTAMPTZ NOT NULL DEFAULT now(),+ last_test_at TIMESTAMPTZ,+ last_test_ok BOOLEAN+);++-- KB 挂载:本库的 Chat 才能问到挂载的源+CREATE TABLE kb_data_sources (+ kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,+ data_source_id UUID NOT NULL REFERENCES data_sources(id) ON DELETE CASCADE,+ mounted_at TIMESTAMPTZ NOT NULL DEFAULT now(),+ PRIMARY KEY (kb_id, data_source_id)+);+-- 语义层的「概念 → 数据资产」映射搬出本体,见 docs/decisions/0011。---- 从前它是一条 `mapped_to` 事实:主语是概念实体,宾语是塞在 `object_value`diff --git a/migrations/0006_sync_runs.sql b/migrations/0006_sync_runs.sqldeleted file mode 100644index ed59a21f..00000000--- a/migrations/0006_sync_runs.sql+++ /dev/null@@ -1,14 +0,0 @@--- 0011: 来源同步运行记录 —— 每次同步一行(时间/状态/产出/错误),渠道的可审计历史。--- 每来源仅保留最近 50 条(finish_run 时修剪)。--CREATE TABLE source_sync_runs (- id UUID PRIMARY KEY,- source_id UUID NOT NULL REFERENCES sources(id) ON DELETE CASCADE,- started_at TIMESTAMPTZ NOT NULL DEFAULT now(),- finished_at TIMESTAMPTZ,- status TEXT NOT NULL DEFAULT 'running' CHECK (status IN ('running', 'ok', 'failed')),- created_docs INTEGER NOT NULL DEFAULT 0,- updated_docs INTEGER NOT NULL DEFAULT 0,- error TEXT-);-CREATE INDEX source_sync_runs_source_idx ON source_sync_runs (source_id, started_at DESC);diff --git a/migrations/0008_audit_events.sql b/migrations/0007_audit.sqlsimilarity index 100%rename from migrations/0008_audit_events.sqlrename to migrations/0007_audit.sqldiff --git a/migrations/0007_kb_access.sql b/migrations/0007_kb_access.sqldeleted file mode 100644index 6bd7edb7..00000000--- a/migrations/0007_kb_access.sql+++ /dev/null@@ -1,55 +0,0 @@--- KB 级访问控制 + 部署配置。--- 部署角色挂隐形 workspace(memberships 不动);每个 KB 自带角色矩阵,--- 在库自己的 Settings 里配置。注册开关是库内配置而不是 env(/admin 可切)。--CREATE TABLE kb_members (- kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,- user_id UUID NOT NULL REFERENCES users(id) ON DELETE CASCADE,- role TEXT NOT NULL CHECK (role IN ('viewer', 'editor', 'admin')),- created_at TIMESTAMPTZ NOT NULL DEFAULT now(),- -- 谁把这个成员加进来的(无人可归时留 NULL,展示退化为只有时间)- added_by uuid REFERENCES users(id) ON DELETE SET NULL,- PRIMARY KEY (kb_id, user_id)-);--CREATE TABLE deployment_settings (- singleton BOOLEAN PRIMARY KEY DEFAULT TRUE CHECK (singleton),- open_registration BOOLEAN NOT NULL DEFAULT TRUE,- -- 任务 worker 并发数(系统设置可改;调度循环热读,改动即时生效)。- -- **这是外层兜底而不是节流**:真正的节流交给按模型的信号量(见- -- model_concurrency),这里只防任务无限堆积。要明显大于各模型限额之和,- -- 否则被限流的任务会占满槽位把别的饿死- worker_concurrency INT NOT NULL DEFAULT 32- CHECK (worker_concurrency BETWEEN 1 AND 32),- -- 本体铺进抽取提示词的字符预算,超了就改成按分块检索候选。- -- 放部署设置而不是环境变量:这一档要能不重启就改——定它需要每个本体规模- -- 下全量内联与按块检索各一组对照,靠重启服务改一档的话,那条曲线不会有人- -- 跑第二遍。24000 字符(约 6000 token)是拍的,正等那条曲线来定- ontology_prompt_budget INTEGER NOT NULL DEFAULT 24000,- -- 没在 model_concurrency 里配过的模型走这个缺省- default_model_concurrency INT NOT NULL DEFAULT 10,- -- JWT 签名密钥。**首次启动自动生成**,于是「照 README 跑起来」和「安全」- -- 不再是两件要分别做的事——默认值 dev-secret-change-me 上生产这类事故,- -- 靠提醒是防不住的。UTOPIA_JWT_SECRET 仍然优先于本列:轮换密钥、或者要- -- 多个实例显式对齐时填环境变量即可,那条路没有被关掉- jwt_secret TEXT,- -- 新库的 ontology_lang 缺省,含义见 knowledge_bases.ontology_lang- default_ontology_lang TEXT NOT NULL DEFAULT 'en',- CONSTRAINT deployment_default_ontology_lang_chk- CHECK (default_ontology_lang IN ('en', 'zh'))-);-INSERT INTO deployment_settings DEFAULT VALUES;---- 并发限制**按模型算,不按部署算**。真正的约束是模型供应商的速率限制,那是--- 按模型(连同 base_url)来的:本地 Ollama 可能只扛 2 个并发,托管 API 能吃--- 50——一个全局数字管两者本来就不对。------ 限流放在 LLM 调用处而不是任务调度处:不调模型的任务(文件夹同步)不该受它--- 约束,调不同模型的任务(抽取用 chat、摄入用 embedding)之间也不该互相挤。-CREATE TABLE model_concurrency (- base_url TEXT NOT NULL,- model TEXT NOT NULL,- max_concurrent INT NOT NULL CHECK (max_concurrent BETWEEN 1 AND 256),- updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),- PRIMARY KEY (base_url, model)-);diff --git a/migrations/0009_conversations.sql b/migrations/0008_conversations.sqlsimilarity index 95%rename from migrations/0009_conversations.sqlrename to migrations/0008_conversations.sqlindex 96cc05b7..ee6ba018 100644--- a/migrations/0009_conversations.sql+++ b/migrations/0008_conversations.sql@@ -1,4 +1,4 @@--- 0019: Chat 会话持久化——对话、消息、行动轨迹与引用随消息落库。+-- Chat 会话持久化——对话、消息、行动轨迹与引用随消息落库。-- 上下文由服务端从这里拼装(前端只传 conversation_id + 新消息);-- steps/sources 与实时 SSE 事件同构,历史回放与流式渲染共用一套组件。diff --git a/migrations/0017_alerts.sql b/migrations/0009_alerts.sqlsimilarity index 100%rename from migrations/0017_alerts.sqlrename to migrations/0009_alerts.sqldiff --git a/migrations/0010_data_sources.sql b/migrations/0010_data_sources.sqldeleted file mode 100644index 2782e783..00000000--- a/migrations/0010_data_sources.sql+++ /dev/null@@ -1,23 +0,0 @@--- 问数:数据源两层模型。--- 系统层注册连接(凭据集中、跨 KB 复用),知识库层挂载授权(问数权限跟 KB 走)。--CREATE TABLE data_sources (- id UUID PRIMARY KEY,- name TEXT NOT NULL UNIQUE,- -- 首发仅 postgres;mysql/clickhouse 后续加驱动- engine TEXT NOT NULL CHECK (engine IN ('postgres')),- -- 连接串(含凭据)。与 llm_settings 的 api key 同待遇:静态加密尚未实现,见 README 的 Status 段- conn_string TEXT NOT NULL,- created_by UUID REFERENCES users(id) ON DELETE SET NULL,- created_at TIMESTAMPTZ NOT NULL DEFAULT now(),- last_test_at TIMESTAMPTZ,- last_test_ok BOOLEAN-);---- KB 挂载:本库的 Chat 才能问到挂载的源-CREATE TABLE kb_data_sources (- kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,- data_source_id UUID NOT NULL REFERENCES data_sources(id) ON DELETE CASCADE,- mounted_at TIMESTAMPTZ NOT NULL DEFAULT now(),- PRIMARY KEY (kb_id, data_source_id)-);diff --git a/migrations/0014_least_privilege_role.sql b/migrations/0010_least_privilege_role.sqlsimilarity index 100%rename from migrations/0014_least_privilege_role.sqlrename to migrations/0010_least_privilege_role.sqldiff --git a/migrations/0011_extraction_transparency.sql b/migrations/0011_extraction_transparency.sqldeleted file mode 100644index 2ffd1e40..00000000--- a/migrations/0011_extraction_transparency.sql+++ /dev/null@@ -1,24 +0,0 @@--- 被挡掉的事实不留痕。抽取器有七处 `continue`:主语类型不明、属性 domain--- 不匹配、值不合 datatype、置信度不够……事实抽出来了、被挡掉、什么都不说,--- 用户只看到图里少了东西。与"账本 append-only、每条事实都有证据、不确定性--- 浮到人面前"三条原则直接冲突。---- 按 document 归集:既能算单篇的"多少条没落地",也能在 KB 层聚合。--- 同时天然修好生命周期——ontology_misses 只在整库重建时清(graph.rs),--- 来源级重抽不清,会攒陈旧计数;按 document 清则每次重抽自动作数。-CREATE TABLE extraction_drops (- kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,- document_id UUID NOT NULL REFERENCES documents(id) ON DELETE CASCADE,- -- 机器可聚合的原因码(attr_domain_mismatch / low_confidence / ...)- reason TEXT NOT NULL,- -- 该原因下的具体对象(属性 key、谓词名、"salary@organization")- detail TEXT NOT NULL,- count INT NOT NULL DEFAULT 1,- -- 一个样例,让人一眼看出丢的是什么("Acme Corp → salary")- example TEXT,- updated_at TIMESTAMPTZ NOT NULL DEFAULT now(),- PRIMARY KEY (kb_id, document_id, reason, detail)-);--CREATE INDEX extraction_drops_doc_idx ON extraction_drops (document_id);-diff --git a/migrations/0012_fact_adoptions.sql b/migrations/0012_fact_adoptions.sqldeleted file mode 100644index ea22235c..00000000--- a/migrations/0012_fact_adoptions.sql+++ /dev/null@@ -1,29 +0,0 @@--- 采纳表层谓词时,哪条事实被改写成了哪条。------ 没有这张表时改写只留下 facts.supersedes 一个指针,而它覆盖不了"并入已存在--- 事实"那种情形:旧行被作废、没有任何后继指向它。后果有两个——撤销时找不回--- 它去了哪,以及实体历史把"已作废且无后继"判成 rejected,于是界面会说--- "这条记录被撤回了",而它其实原封不动地并进了另一条断言。------ 顺带补上治理要求的那一半:审计行此前只记了"改写 49 条"这个总数,--- 答不出"具体哪 49 条"。-CREATE TABLE fact_adoptions (- -- 一次采纳动作的批次;撤销以它为单位- batch_id UUID NOT NULL,- kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,- predicate_id UUID NOT NULL REFERENCES relation_types(id) ON DELETE CASCADE,- old_fact_id UUID NOT NULL REFERENCES facts(id) ON DELETE CASCADE,- new_fact_id UUID NOT NULL REFERENCES facts(id) ON DELETE CASCADE,- -- superseded = 新写一行取代旧行;merged = 并入已存在的行- mode TEXT NOT NULL,- -- 撤销不删行:抹掉"发生过什么"与账本的规矩相反,而且撤销本身也是- -- 一次人的决定,实体历史要据此归因- reverted_at TIMESTAMPTZ,- created_at TIMESTAMPTZ NOT NULL DEFAULT now(),- PRIMARY KEY (batch_id, old_fact_id)-);---- 实体历史逐条问"这条是不是被并走了",走这个索引-CREATE INDEX fact_adoptions_old_idx ON fact_adoptions (old_fact_id);--- 按库列出可撤销的批次-CREATE INDEX fact_adoptions_kb_idx ON fact_adoptions (kb_id, created_at DESC);diff --git a/migrations/0013_entity_retypes.sql b/migrations/0013_entity_retypes.sqldeleted file mode 100644index 52fe2650..00000000--- a/migrations/0013_entity_retypes.sql+++ /dev/null@@ -1,28 +0,0 @@--- 采纳一个实体类型时,哪些实体被改了类。------ 与 fact_adoptions 对称,理由也一样:只建类型不动实体的话,本体长大了、图没变好。--- 而改完必须能撤销,否则没人敢让系统自动建类。------ 实体不是 append-only 的(它是可变行,P0 的 PATCH 就直接改),所以撤销靠记下--- 改之前的类型,而不是靠 supersedes 链。-CREATE TABLE entity_retypes (- batch_id UUID NOT NULL,- kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,- entity_id UUID NOT NULL REFERENCES entities(id) ON DELETE CASCADE,- -- **可空**:0009 之后最常见的一次改类正是「从没有类到有类」,而这张表是- -- 撤销的唯一依据。非空的话第一次赋类就写不进账,那批改动不可撤- from_type_id UUID REFERENCES entity_types(id) ON DELETE CASCADE,- to_type_id UUID NOT NULL REFERENCES entity_types(id) ON DELETE CASCADE,- -- 与 fact_adoptions 一致:撤销标记而非删除,采纳发生过、撤销也发生过- reverted_at TIMESTAMPTZ,- created_at TIMESTAMPTZ NOT NULL DEFAULT now(),- -- 谁改的。可空 = 引擎自动裁决,跟 `entity_merges.merged_by` 一个约定。- --- -- **它只回答「谁发起了这次改动」**,不回答「这个类是不是人判的」——- -- 那两件事被混为一谈过一次:类型消解把点「运行」的人传了下来,于是每个- -- 被引擎裁决的实体都成了 `type_source = human`,从此再不被消解(见 #117)- actor_id UUID REFERENCES users(id),- PRIMARY KEY (batch_id, entity_id)-);--CREATE INDEX entity_retypes_kb_idx ON entity_retypes (kb_id, created_at DESC);diff --git a/migrations/0015_ontology_imports.sql b/migrations/0015_ontology_imports.sqldeleted file mode 100644index f2a5ebb4..00000000--- a/migrations/0015_ontology_imports.sql+++ /dev/null@@ -1,26 +0,0 @@--- 本体导入的第一层:原文保真。------ 投影只覆盖今天能消费的那部分(类、标签、rdfs:comment、subClassOf、--- 对象/数据属性、functional、domain/range)。**读不懂的不是错误,是"暂未投影"**——--- 原文按内容寻址存进 blob,将来推理机上线或我们补上新消费者时重跑,--- 用户什么都不用做。这样"我们表达不了"从能力缺口降级成"投影暂未覆盖"。-CREATE TABLE ontology_imports (- id UUID PRIMARY KEY,- kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,- -- blob 的内容指纹;同一份文件重复导入不重复占空间- sha256 TEXT NOT NULL,- filename TEXT NOT NULL,- -- turtle | rdfxml- format TEXT NOT NULL,- byte_size BIGINT NOT NULL,- -- 投影版本:将来投影逻辑变了,据此知道哪些导入该重跑- projection_version INT NOT NULL DEFAULT 1,- -- 这次投影做了什么(新建/更新/暂未投影的计数与明细),预览与事后审计共用- summary JSONB NOT NULL DEFAULT '{}'::jsonb,- -- 谁导的。删号后留 NULL,与审计台账同规矩- imported_by UUID REFERENCES users(id) ON DELETE SET NULL,- imported_at TIMESTAMPTZ NOT NULL DEFAULT now()-);--CREATE INDEX ontology_imports_kb_idx ON ontology_imports (kb_id, imported_at DESC);-diff --git a/migrations/0016_type_refinement_pairs.sql b/migrations/0016_type_refinement_pairs.sqldeleted file mode 100644index d35cf8ff..00000000--- a/migrations/0016_type_refinement_pairs.sql+++ /dev/null@@ -1,17 +0,0 @@--- 人认可过的"粗类 → 细类"配对。认可一次,之后同一对不再进人工。------ 为什么需要它:待人工那一档由"选中的类在不在粗类子树里"触发,而实测那条--- 判据测的往往不是风险,是**种子类跟导入词汇表的分类树连没连上**。--- schema.org 的 Place 另起了 place 这个 key,内置 location 一个子类都没有,--- 于是每一次 location → city 都算跨轴——24 个实体里报了 14 条,条条正确。------ 跨轴是 (粗类, 目标类) 这一对的属性,不是实体的属性。人看过一次--- "location 下面的东西可以是 city",第二个城市就不该再问一遍。-CREATE TABLE type_refinement_pairs (- kb_id uuid NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,- from_type_id uuid NOT NULL REFERENCES entity_types(id) ON DELETE CASCADE,- to_type_id uuid NOT NULL REFERENCES entity_types(id) ON DELETE CASCADE,- approved_by uuid REFERENCES users(id),- approved_at timestamptz NOT NULL DEFAULT now(),- PRIMARY KEY (kb_id, from_type_id, to_type_id)-);diff --git a/migrations/0018_ontology_proposals.sql b/migrations/0018_ontology_proposals.sqldeleted file mode 100644index 147593d9..00000000--- a/migrations/0018_ontology_proposals.sql+++ /dev/null@@ -1,40 +0,0 @@--- 本体提案落库。------ 从前它只活在浏览器内存里(`Ontology.tsx` 的 `useState<OntologyProposals>`):--- 刷新一次、切走一次、崩一次,整批提议就没了,想再看只能重跑一次模型。------ **丢的不是原材料。** 未匹配的说法一直存在 `ontology_misses` 里。丢的是**聚类--- 结果**——哪些说法被归到同一条提议底下、以及"采纳后将重新归类 N 条"那个估算。--- 而那正是唯一能查证过并的东西:0003 记着模型建议把 `optimized_for` 并进--- `runs_on`("为 RTX 优化"不等于"跑在 RTX 上"),**它是靠 tooltip 里看得见归并了--- 哪些说法才被抓出来的**,并且成了"不该全自动归并"的直接证据。能查证的东西不该--- 只活在一个页面的生命周期里。-CREATE TABLE ontology_proposals (- id UUID PRIMARY KEY,- kb_id UUID NOT NULL REFERENCES knowledge_bases(id) ON DELETE CASCADE,- -- 提案分档,与接口返回的四个小节同名:- -- entity_types | relation_types | attribute_types | map_to- section TEXT NOT NULL,- key TEXT NOT NULL,- -- 那一条提案的原样:label、description、reason、forms、datatype、temporal…- --- -- **存 JSONB 而不是拆成列**:四个小节的形状本来就不同(关系有 temporal 与- -- forms,属性有 datatype,map_to 有目标),拆开要么四张表要么一张稀疏宽表。- -- 前端消费的也正是这个 JSON,存原样等于不改契约。要查归并了哪些说法仍然- -- 查得动(`payload->'forms'`)- payload JSONB NOT NULL,- -- open = 还等着人看;adopted / rejected = 已经有人表过态- status TEXT NOT NULL DEFAULT 'open'- CHECK (status IN ('open', 'adopted', 'rejected')),- decided_by UUID REFERENCES users(id),- decided_at TIMESTAMPTZ,- created_at TIMESTAMPTZ NOT NULL DEFAULT now(),- -- 同一个库里同一档下的同一个 key 只有一条。重跑 Suggest 是刷新它,不是再堆一条- UNIQUE (kb_id, section, key)-);---- "还有多少条等着看"是这张表最常被问的问题(0003 的另一个缺口:关掉自动扩展--- 开关之后没有"自上次以来有 N 个新说法"的提醒,信号在面板里但没人主动看)-CREATE INDEX ontology_proposals_open_idx- ON ontology_proposals (kb_id, created_at DESC)- WHERE status = 'open';