World's first open-source enterprise world model.
Rust agent-memorybitemporalgraphragknowledge-baseknowledge-graphllmontologypgvectorpostgresqlragrustself-hostedsemantic-searchtemporal-knowledge-graphworld-model
The backstop's ceiling was its own default (#133)
WaylandYangac2e96bff9b7
diff --git a/crates/utopia-store/src/access.rs b/crates/utopia-store/src/access.rsindex 0a478789..9f57a2c8 100644--- a/crates/utopia-store/src/access.rs+++ b/crates/utopia-store/src/access.rs@@ -224,7 +224,10 @@ pub async fn worker_concurrency(pool: &PgPool) -> AppResult<i32> {sqlx::query_as("SELECT worker_concurrency FROM deployment_settings LIMIT 1").fetch_optional(pool).await?;- Ok(row.map(|(v,)| v).unwrap_or(32))+ // 与 `deployment_settings.worker_concurrency` 的列缺省保持一致(迁移 0011)。+ // 两处分开写是因为一处在 SQL、一处在 Rust,改一处不会带上另一处——+ // `the_backstop_can_be_raised` 那条测试盯着这件事+ Ok(row.map(|(v,)| v).unwrap_or(64))}pub async fn set_worker_concurrency(pool: &PgPool, value: i32) -> AppResult<()> {diff --git a/crates/utopia-store/src/db.rs b/crates/utopia-store/src/db.rsindex a43708c2..b5fdbbff 100644--- a/crates/utopia-store/src/db.rs+++ b/crates/utopia-store/src/db.rs@@ -4,10 +4,14 @@ use std::time::Duration;/// 连接池上限的缺省。///-/// 与 worker 并发的缺省(32)对齐:任务大部分时间在等 HTTP 应答、并不占着连接,-/// 但每分块的 epoch 检查、未匹配统计这些短查询会成串涌来,池子太小就变成排队。+/// **它不再与 worker 并发相等**(worker 缺省已是 64,见迁移 0011),这是有意的:+/// 后台任务大部分时间在等模型应答,那段时间既不占连接、也被按模型的信号量压在+/// 十来个以内。池子要覆盖的是**真在干活**的那些——每块的 epoch 检查、向量检索、+/// 未匹配统计这类短查询,它们会成串涌来。+////// 曾经写死 10,而 worker 默认 32——三倍超发,撞上来会先是请求变慢再是超时,-/// 而不是任何一处报错说"池子不够"。+/// 而不是任何一处报错说"池子不够"。所以这个数的判据是"同时在跑的短查询有多少",+/// 不是"有多少个任务槽位";worker 再往上提时该重量的是前者。const DEFAULT_MAX_CONNECTIONS: u32 = 32;pub async fn connect(database_url: &str, max_connections: Option<u32>) -> anyhow::Result<PgPool> {diff --git a/crates/utopia-store/tests/the_backstop_can_be_raised.rs b/crates/utopia-store/tests/the_backstop_can_be_raised.rsnew file mode 100644index 00000000..3bc916c1--- /dev/null+++ b/crates/utopia-store/tests/the_backstop_can_be_raised.rs@@ -0,0 +1,102 @@+//! 外层兜底**调得上去**,而且两处缺省说的是同一个数(迁移 0011)。+//!+//! 为什么非要连库:这个 bug 的形态是**约束在 SQL、校验在 Rust,两边各自漂移**。+//! `set_worker_concurrency` 放行 1..=256,而列上的 CHECK 曾是 `BETWEEN 1 AND 32`——+//! 从设置页填 33 到 256 之间任何一个值,Rust 说行、数据库说不行,用户看到的是+//! 一条 CHECK 约束报错。`cargo check` 和 clippy 对此一个字都不说,因为两边+//! 根本不在同一种语言里。+//!+//! 约束的上限当初等于列的缺省(都是 32),于是**兜底一格都调不上去**——+//! 而 0001 的注释写着它"要明显大于各模型限额之和,否则被限流的任务会占满槽位+//! 把别的饿死"。约束堵死了它自己的设计。+//!+//! 没有 `UTOPIA_DATABASE_URL` 时跳过而不是失败。只读 + 改完还原,绝不留下痕迹。++use sqlx::PgPool;++/// Rust 放行的值,数据库必须也放行。+///+/// 逐个试边界而不是只试一个:漂移可能出在任何一档上,而这几次查询很便宜。+#[tokio::test]+async fn every_value_rust_accepts_the_database_accepts_too() -> anyhow::Result<()> {+ let Ok(url) = std::env::var("UTOPIA_DATABASE_URL") else {+ eprintln!("跳过:未设 UTOPIA_DATABASE_URL");+ return Ok(());+ };+ let pool = PgPool::connect(&url).await?;++ let before = utopia_store::access::worker_concurrency(&pool).await?;++ let run = async {+ // 33 是当初被卡死的第一格;256 是 Rust 侧的上限+ for v in [1_i32, 33, 64, 255, 256] {+ utopia_store::access::set_worker_concurrency(&pool, v)+ .await+ .map_err(|e| anyhow::anyhow!("Rust 放行了 {v},数据库却拒绝:{e}"))?;+ let got = utopia_store::access::worker_concurrency(&pool).await?;+ assert_eq!(got, v, "写进去 {v} 读回来却是 {got}");+ }++ // 反向:Rust 拒绝的,不该悄悄落库+ for v in [0_i32, 257, -1] {+ assert!(+ utopia_store::access::set_worker_concurrency(&pool, v)+ .await+ .is_err(),+ "{v} 越界了却被接受"+ );+ }+ Ok::<(), anyhow::Error>(())+ }+ .await;++ // 还原:这是共享的部署设置,测试不该改变别人的运行参数+ utopia_store::access::set_worker_concurrency(&pool, before).await?;+ run+}++/// 表里没有行时 Rust 的兜底值,必须与列的缺省是同一个数。+///+/// 两处分开写(一处 SQL、一处 Rust),改一处不会带上另一处。不一致的后果很隐蔽:+/// 有行的库跑一个数、空表的库跑另一个数,而两者都不报错。+#[tokio::test]+async fn the_two_defaults_say_the_same_number() -> anyhow::Result<()> {+ let Ok(url) = std::env::var("UTOPIA_DATABASE_URL") else {+ eprintln!("跳过:未设 UTOPIA_DATABASE_URL");+ return Ok(());+ };+ let pool = PgPool::connect(&url).await?;++ // 列的缺省:直接问 information_schema,不猜+ let column_default: Option<String> = sqlx::query_scalar(+ "SELECT column_default FROM information_schema.columns+ WHERE table_name = 'deployment_settings' AND column_name = 'worker_concurrency'",+ )+ .fetch_one(&pool)+ .await?;+ let column_default: i32 = column_default+ .as_deref()+ .and_then(|s| s.split("::").next())+ .and_then(|s| s.trim().parse().ok())+ .ok_or_else(|| anyhow::anyhow!("读不出列缺省:{column_default:?}"))?;++ // Rust 的兜底:把行藏起来再问一次+ let mut tx = pool.begin().await?;+ sqlx::query("DELETE FROM deployment_settings")+ .execute(&mut *tx)+ .await?;+ let fallback: Option<(i32,)> =+ sqlx::query_as("SELECT worker_concurrency FROM deployment_settings LIMIT 1")+ .fetch_optional(&mut *tx)+ .await?;+ assert!(fallback.is_none(), "行没删掉,下面这句就白测了");+ tx.rollback().await?; // **一定回滚**:deployment_settings 是单例,删了服务就没设置了++ // access.rs 的 unwrap_or 里那个数+ let rust_fallback = 64;+ assert_eq!(+ column_default, rust_fallback,+ "列缺省是 {column_default},Rust 兜底是 {rust_fallback}——两处漂开了"+ );+ Ok(())+}diff --git a/migrations/0011_the_backstop_can_actually_be_raised.sql b/migrations/0011_the_backstop_can_actually_be_raised.sqlnew file mode 100644index 00000000..6a6d2065--- /dev/null+++ b/migrations/0011_the_backstop_can_actually_be_raised.sql@@ -0,0 +1,39 @@+-- 外层兜底的上限恰好等于它自己的缺省,于是一格都调不上去。+--+-- `worker_concurrency` 的设计写在 0001 的注释里:**这是外层兜底而不是节流**,+-- 真正的节流交给按模型的信号量,兜底"要明显大于各模型限额之和,否则被限流的+-- 任务会占满槽位把别的饿死"。+--+-- 但约束是 `BETWEEN 1 AND 32`,而缺省也是 32——**约束堵死了它自己的设计**。+-- 来历是分两步走的:约束写于缺省还是 4 的时候(上限 32 是八倍余量),+-- 后来缺省从 4 提到 32,没人回头看那条约束。Rust 侧的校验倒是改成了 `1..=256`,+-- 于是两边对不上:从设置页填 33 到 256 之间任何一个值,Rust 放行、数据库拒绝,+-- 用户看到的是一条 CHECK 约束报错而不是"超出范围"。+--+-- 上限跟 Rust 对齐到 256。+--+-- **缺省提到 64**,因为那句"否则会把别的饿死"是实测发生过的:一次 219 篇文档的+-- 抽取里,32 个 `extract_document` 占满槽位,`embed_ontology` 排在 queued 进不来。+-- 32 对模型限额 10 只有 3.2 倍,抽取一来就把队列糊死。+--+-- 为什么是 64 而不是更大:卡在信号量上的任务几乎零成本(不持有连接——抽取路径+-- 上没有跨 await 的事务),但**它在够到信号量之前**每块还要做两件带数据库的事——+-- `extract_epoch` 查一次、大本体时还要对全部关系与类做一次向量检索。这两件不受+-- 模型信号量约束。所以并发数直接决定同时砸向数据库的检索数,而池子是 32。+-- 64 是 2 倍超发,还在"变慢"而不是"超时"那一侧;再往上就该先把许可前移到+-- 每块工作的最前面,让槽位真的接近零成本,那是另一个改动。+--+-- 只改没被人动过的那些(值还等于旧缺省 32),谁手工调过就尊重他的选择——+-- 与当初 4 → 32 那次同一个口径。++ALTER TABLE deployment_settings+ DROP CONSTRAINT IF EXISTS deployment_settings_worker_concurrency_check;++ALTER TABLE deployment_settings+ ADD CONSTRAINT deployment_settings_worker_concurrency_check+ CHECK (worker_concurrency BETWEEN 1 AND 256);++ALTER TABLE deployment_settings+ ALTER COLUMN worker_concurrency SET DEFAULT 64;++UPDATE deployment_settings SET worker_concurrency = 64 WHERE worker_concurrency = 32;