World's first open-source enterprise world model.
Rust agent-memorybitemporalgraphragknowledge-baseknowledge-graphllmontologypgvectorpostgresqlragrustself-hostedsemantic-searchtemporal-knowledge-graphworld-model
A lead-in ending in a full-width colon stays with its table at any length (#1282)
Maya Kidce961d99dae5
diff --git a/crates/utopia-ingest/src/chunker.rs b/crates/utopia-ingest/src/chunker.rsindex bbbb625c..28b2ed82 100644--- a/crates/utopia-ingest/src/chunker.rs+++ b/crates/utopia-ingest/src/chunker.rs@@ -45,7 +45,8 @@ pub struct ChunkPiece {pub const BUDGET_TOKENS: usize = 300;/// 说明句最长多少字节还算说明句:表上面那一段要短、或者以冒号结尾,-/// 才当成表的一部分带着走;一整段分析不是说明句+/// 才当成表的一部分带着走;一整段分析不是说明句。全角冒号也算:200 字节只有六十几个汉字,+/// 长一点的「……如下:」全靠结尾的冒号认;从前只认半角,表落在另一块里就看不见这句话const CAPTION_MAX_BYTES: usize = 200;/// 表前最多几段短说明一起当说明句const CAPTION_RUN_MAX: usize = 5;@@ -110,7 +111,7 @@ fn units(text: &str, blocks: Vec<Block>) -> Vec<Unit> {let caption_like = |blk: &Block| {matches!(blk.kind, Kind::Paragraph)&& (blk.range.len() <= CAPTION_MAX_BYTES- || text[blk.range.clone()].trim_end().ends_with(':'))+ || text[blk.range.clone()].trim_end().ends_with([':', ':']))};let mut k = i + 1;while k - i < CAPTION_RUN_MAX && blocks.get(k).is_some_and(caption_like) {@@ -905,6 +906,27 @@ The tenant pays rent monthly.}}+ /// 中文年报的形状:「……主要会计数据如下:」一句长过 `CAPTION_MAX_BYTES`,只能靠结尾的+ /// 全角冒号认出是说明句。表切开的每一块都以这句话和表头开头,它不自己成一块+ #[test]+ fn a_caption_ending_in_a_full_width_colon_stays_with_its_table_at_any_length() {+ let lead = "根据公司第三届董事会第十二次会议审议通过的二〇二五年半年度报告,本报告期内公司按照企业会计准则编制合并财务报表,经营情况总体平稳,现金流量充足,主要会计数据如下:";+ assert!(lead.len() > CAPTION_MAX_BYTES);+ let rows: String = (0..60)+ .map(|i| format!("| 科目{i} | {} |\n", 10_000 + i))+ .collect();+ let text = format!("{lead}\n\n| 项目 | 本期 |\n| --- | --- |\n{rows}");+ let pieces = chunk_with_budget(&text, BUDGET_TOKENS);+ assert!(pieces.len() >= 2, "表该被切成几块: {}", pieces.len());+ for (i, p) in pieces.iter().enumerate() {+ assert!(+ p.text.starts_with(&format!("{lead}\n\n| 项目 | 本期 |")),+ "第 {i} 块不以说明句和表头开头:\n{}",+ p.text+ );+ }+ }+/// 十位董事的形状:一句说明、一串表。每张表不论落在哪一块都看得见那句说明;/// 同一块里的几张表,说明只念一遍。#[test]