World's first open-source enterprise world model.
Rust agent-memorybitemporalgraphragknowledge-baseknowledge-graphllmontologypgvectorpostgresqlragrustself-hostedsemantic-searchtemporal-knowledge-graphworld-model
//! 抽取丢弃信号:哪些事实抽出来了却没能落地,以及为什么。
//!
//! 与 `ontology_misses` 分开是刻意的——那张表说的是"你的本体缺这些",读者是
//! 本体维护者,动作是加类型;这张说的是"这些事实没落地",读者是上传文档的人,
//! 动作是改文档或改本体。混在一个面板里两边都讲不清。
//!
//! 记录失败不影响抽取(调用方一律 `let _ =`)——信号缺一条,远好过因为记信号
//! 失败而中断整篇文档的抽取。
use sqlx::PgPool;
use utopia_core::models::ExtractionDrop;
use utopia_core::AppResult;
use uuid::Uuid;
/// 原因码。前端按这个查文案,所以是稳定契约,不要改字面量。
/// 都由开放抽取那条路(0044)发出;类型化那条路的原因码随它一起退场了
pub mod reason {
/// 这一块整个没抽成:调用失败(端点不可用、请求没送到、等太久)或回复解析不了。
///
/// **与别的原因码不同,它丢的是一整块原文,不是一条陈述。** 任务的 `last_error`
/// 里也有这句话,可那是给排查的人看的;文档抽完之后还能看见「这一块没进去」的,
/// 只有这张表(0001:丢弃是一行,不是沉默)
pub const CHUNK_UNEXTRACTED: &str = "chunk_unextracted";
/// 陈述缺宾语也缺值
pub const OBJECT_MISSING: &str = "object_missing";
/// 模型给的这一条不合结构(缺短语之类)→ 只跳这一条,不牵连整块
pub const MALFORMED_ITEM: &str = "malformed_item";
/// 模型输出被截断(撞上 max_tokens)→ 已完整的那些留下,尾巴丢掉
pub const TRUNCATED_REPLY: &str = "truncated_reply";
/// 这条陈述的值不在它自己的引文里(#729):证据没写着这个数。
///
/// 表格是这个错的产地——模型把一行五列压成五条只有值不同的陈述,引文却指向表上面
/// 那句导语。五条里至多一条对,而图上没有任何东西分得出是哪一条。**引文是这条陈述
/// 的全部依据**:值不在里面,它就不是文档说的
pub const VALUE_NOT_IN_QUOTE: &str = "value_not_in_quote";
/// 模型报的别名(或它的引文)不在这一块原文里(0041 决定 2):不记这个名字。
/// 名字是召回的桥,一座凭空的桥会把两个不相干的实体接到一起
pub const NAME_NOT_IN_TEXT: &str = "name_not_in_text";
/// 模型报的别名,这次回复(或本文档前面几块)里已经是另一个实体的名字(0041 决定 2):
/// 一个名字不会同时是两样东西的名字。「海探1项目」声明成了一个机构,就不是探测器的别名
pub const NAME_CLAIMED_BY_ANOTHER: &str = "name_claimed_by_another";
/// 宾语既没在回复里列出、库里也没有叫这个名字的东西:陈述照落,
/// 宾语落成字面值而不是节点(#559)。记下来是为了量:这一类里有多少
/// 本该是实体(模型漏报),有多少本来就是描述
pub const OBJECT_UNDECLARED: &str = "object_undeclared";
/// 模型的引文在这一块里找不到原样的一句:陈述照落、引文照记,只是没有偏移
/// (`quote_start` / `quote_end` 留空)。这个信号数的是有多少条没定位到
pub const QUOTE_NOT_IN_CHUNK: &str = "quote_not_in_chunk";
/// 时间词不在它的引文里、也不在这一块里:不记这条时间提及。时间词是照抄的字,
/// 抄不出来的字就不是文档说的
pub const TIME_NOT_IN_QUOTE: &str = "time_not_in_quote";
/// 陈述、属性或名字指着一个回复里不存在的实体编号或已知句柄:跳过这一条
pub const UNKNOWN_REF: &str = "unknown_ref";
/// 短语就是那个值(「director nominees —ten (10)→ ten (10)」):表格丢了列头时模型
/// 的写法之一。陈述照落(主语和值都在,信息没丢),记一笔让它可量。
/// 纯结构判断:两串字去掉首尾空白后相同
pub const PHRASE_IS_VALUE: &str = "phrase_is_value";
/// 短语就是主语的名字(「实物商品网上零售额 —实物商品网上零售额→ 127878亿元」):
/// 同上,另一种写法,同样照落
pub const PHRASE_IS_SUBJECT: &str = "phrase_is_subject";
/// 宾语其实是个值(一个量、一个日期、表格的一格):挪进值那一格,不建实体
/// (`open::values_are_not_things`)。数的是规则 2 和表格规则还有多少次没管住模型
pub const OBJECT_IS_VALUE: &str = "object_is_value";
}
pub async fn record(
pool: &PgPool,
kb_id: Uuid,
document_id: Uuid,
reason: &str,
detail: &str,
example: Option<&str>,
) -> AppResult<()> {
sqlx::query(
"INSERT INTO extraction_drops (kb_id, document_id, reason, detail, example)
VALUES ($1, $2, $3, left($4, 120), left($5, 200))
ON CONFLICT (kb_id, document_id, reason, detail)
DO UPDATE SET count = extraction_drops.count + 1,
example = COALESCE(EXCLUDED.example, extraction_drops.example),
updated_at = now()",
)
.bind(kb_id)
.bind(document_id)
.bind(reason)
.bind(detail)
.bind(example)
.execute(pool)
.await?;
Ok(())
}
/// 重抽开始时清掉这篇文档的旧信号——本轮要从头讲一遍这篇文档的故事。
pub async fn clear_for_document(pool: &PgPool, document_id: Uuid) -> AppResult<()> {
sqlx::query("DELETE FROM extraction_drops WHERE document_id = $1")
.bind(document_id)
.execute(pool)
.await?;
Ok(())
}
/// 一个 KB 的全部丢弃信号。行数按 (文档 × 原因 × 具体对象) 聚合后很小,
/// 一次取回让 Library 既能算每篇的总数、又能直接展开详情,不必逐行发请求。
pub async fn for_kb(pool: &PgPool, kb_id: Uuid) -> AppResult<Vec<ExtractionDrop>> {
Ok(sqlx::query_as(
"SELECT document_id, reason, detail, count, example FROM extraction_drops
WHERE kb_id = $1 ORDER BY count DESC, reason LIMIT 2000",
)
.bind(kb_id)
.fetch_all(pool)
.await?)
}