Skip to content

World's first open-source enterprise world model.

The backstop's ceiling was its own default (#133)

WaylandYangac2e96bff9b7
diff --git a/crates/utopia-store/src/access.rs b/crates/utopia-store/src/access.rs
index 0a478789..9f57a2c8 100644
--- a/crates/utopia-store/src/access.rs
+++ b/crates/utopia-store/src/access.rs
@@ -224,7 +224,10 @@ pub async fn worker_concurrency(pool: &PgPool) -> AppResult<i32> {
sqlx::query_as("SELECT worker_concurrency FROM deployment_settings LIMIT 1")
.fetch_optional(pool)
.await?;
- Ok(row.map(|(v,)| v).unwrap_or(32))
+ // 与 `deployment_settings.worker_concurrency` 的列缺省保持一致(迁移 0011)。
+ // 两处分开写是因为一处在 SQL、一处在 Rust,改一处不会带上另一处——
+ // `the_backstop_can_be_raised` 那条测试盯着这件事
+ Ok(row.map(|(v,)| v).unwrap_or(64))
}
pub async fn set_worker_concurrency(pool: &PgPool, value: i32) -> AppResult<()> {
diff --git a/crates/utopia-store/src/db.rs b/crates/utopia-store/src/db.rs
index a43708c2..b5fdbbff 100644
--- a/crates/utopia-store/src/db.rs
+++ b/crates/utopia-store/src/db.rs
@@ -4,10 +4,14 @@ use std::time::Duration;
/// 连接池上限的缺省。
///
-/// 与 worker 并发的缺省(32)对齐:任务大部分时间在等 HTTP 应答、并不占着连接,
-/// 但每分块的 epoch 检查、未匹配统计这些短查询会成串涌来,池子太小就变成排队。
+/// **它不再与 worker 并发相等**(worker 缺省已是 64,见迁移 0011),这是有意的:
+/// 后台任务大部分时间在等模型应答,那段时间既不占连接、也被按模型的信号量压在
+/// 十来个以内。池子要覆盖的是**真在干活**的那些——每块的 epoch 检查、向量检索、
+/// 未匹配统计这类短查询,它们会成串涌来。
+///
/// 曾经写死 10,而 worker 默认 32——三倍超发,撞上来会先是请求变慢再是超时,
-/// 而不是任何一处报错说"池子不够"。
+/// 而不是任何一处报错说"池子不够"。所以这个数的判据是"同时在跑的短查询有多少",
+/// 不是"有多少个任务槽位";worker 再往上提时该重量的是前者。
const DEFAULT_MAX_CONNECTIONS: u32 = 32;
pub async fn connect(database_url: &str, max_connections: Option<u32>) -> anyhow::Result<PgPool> {
diff --git a/crates/utopia-store/tests/the_backstop_can_be_raised.rs b/crates/utopia-store/tests/the_backstop_can_be_raised.rs
new file mode 100644
index 00000000..3bc916c1
--- /dev/null
+++ b/crates/utopia-store/tests/the_backstop_can_be_raised.rs
@@ -0,0 +1,102 @@
+//! 外层兜底**调得上去**,而且两处缺省说的是同一个数(迁移 0011)。
+//!
+//! 为什么非要连库:这个 bug 的形态是**约束在 SQL、校验在 Rust,两边各自漂移**。
+//! `set_worker_concurrency` 放行 1..=256,而列上的 CHECK 曾是 `BETWEEN 1 AND 32`——
+//! 从设置页填 33 到 256 之间任何一个值,Rust 说行、数据库说不行,用户看到的是
+//! 一条 CHECK 约束报错。`cargo check` 和 clippy 对此一个字都不说,因为两边
+//! 根本不在同一种语言里。
+//!
+//! 约束的上限当初等于列的缺省(都是 32),于是**兜底一格都调不上去**——
+//! 而 0001 的注释写着它"要明显大于各模型限额之和,否则被限流的任务会占满槽位
+//! 把别的饿死"。约束堵死了它自己的设计。
+//!
+//! 没有 `UTOPIA_DATABASE_URL` 时跳过而不是失败。只读 + 改完还原,绝不留下痕迹。
+
+use sqlx::PgPool;
+
+/// Rust 放行的值,数据库必须也放行。
+///
+/// 逐个试边界而不是只试一个:漂移可能出在任何一档上,而这几次查询很便宜。
+#[tokio::test]
+async fn every_value_rust_accepts_the_database_accepts_too() -> anyhow::Result<()> {
+ let Ok(url) = std::env::var("UTOPIA_DATABASE_URL") else {
+ eprintln!("跳过:未设 UTOPIA_DATABASE_URL");
+ return Ok(());
+ };
+ let pool = PgPool::connect(&url).await?;
+
+ let before = utopia_store::access::worker_concurrency(&pool).await?;
+
+ let run = async {
+ // 33 是当初被卡死的第一格;256 是 Rust 侧的上限
+ for v in [1_i32, 33, 64, 255, 256] {
+ utopia_store::access::set_worker_concurrency(&pool, v)
+ .await
+ .map_err(|e| anyhow::anyhow!("Rust 放行了 {v},数据库却拒绝:{e}"))?;
+ let got = utopia_store::access::worker_concurrency(&pool).await?;
+ assert_eq!(got, v, "写进去 {v} 读回来却是 {got}");
+ }
+
+ // 反向:Rust 拒绝的,不该悄悄落库
+ for v in [0_i32, 257, -1] {
+ assert!(
+ utopia_store::access::set_worker_concurrency(&pool, v)
+ .await
+ .is_err(),
+ "{v} 越界了却被接受"
+ );
+ }
+ Ok::<(), anyhow::Error>(())
+ }
+ .await;
+
+ // 还原:这是共享的部署设置,测试不该改变别人的运行参数
+ utopia_store::access::set_worker_concurrency(&pool, before).await?;
+ run
+}
+
+/// 表里没有行时 Rust 的兜底值,必须与列的缺省是同一个数。
+///
+/// 两处分开写(一处 SQL、一处 Rust),改一处不会带上另一处。不一致的后果很隐蔽:
+/// 有行的库跑一个数、空表的库跑另一个数,而两者都不报错。
+#[tokio::test]
+async fn the_two_defaults_say_the_same_number() -> anyhow::Result<()> {
+ let Ok(url) = std::env::var("UTOPIA_DATABASE_URL") else {
+ eprintln!("跳过:未设 UTOPIA_DATABASE_URL");
+ return Ok(());
+ };
+ let pool = PgPool::connect(&url).await?;
+
+ // 列的缺省:直接问 information_schema,不猜
+ let column_default: Option<String> = sqlx::query_scalar(
+ "SELECT column_default FROM information_schema.columns
+ WHERE table_name = 'deployment_settings' AND column_name = 'worker_concurrency'",
+ )
+ .fetch_one(&pool)
+ .await?;
+ let column_default: i32 = column_default
+ .as_deref()
+ .and_then(|s| s.split("::").next())
+ .and_then(|s| s.trim().parse().ok())
+ .ok_or_else(|| anyhow::anyhow!("读不出列缺省:{column_default:?}"))?;
+
+ // Rust 的兜底:把行藏起来再问一次
+ let mut tx = pool.begin().await?;
+ sqlx::query("DELETE FROM deployment_settings")
+ .execute(&mut *tx)
+ .await?;
+ let fallback: Option<(i32,)> =
+ sqlx::query_as("SELECT worker_concurrency FROM deployment_settings LIMIT 1")
+ .fetch_optional(&mut *tx)
+ .await?;
+ assert!(fallback.is_none(), "行没删掉,下面这句就白测了");
+ tx.rollback().await?; // **一定回滚**:deployment_settings 是单例,删了服务就没设置了
+
+ // access.rs 的 unwrap_or 里那个数
+ let rust_fallback = 64;
+ assert_eq!(
+ column_default, rust_fallback,
+ "列缺省是 {column_default},Rust 兜底是 {rust_fallback}——两处漂开了"
+ );
+ Ok(())
+}
diff --git a/migrations/0011_the_backstop_can_actually_be_raised.sql b/migrations/0011_the_backstop_can_actually_be_raised.sql
new file mode 100644
index 00000000..6a6d2065
--- /dev/null
+++ b/migrations/0011_the_backstop_can_actually_be_raised.sql
@@ -0,0 +1,39 @@
+-- 外层兜底的上限恰好等于它自己的缺省,于是一格都调不上去。
+--
+-- `worker_concurrency` 的设计写在 0001 的注释里:**这是外层兜底而不是节流**,
+-- 真正的节流交给按模型的信号量,兜底"要明显大于各模型限额之和,否则被限流的
+-- 任务会占满槽位把别的饿死"。
+--
+-- 但约束是 `BETWEEN 1 AND 32`,而缺省也是 32——**约束堵死了它自己的设计**。
+-- 来历是分两步走的:约束写于缺省还是 4 的时候(上限 32 是八倍余量),
+-- 后来缺省从 4 提到 32,没人回头看那条约束。Rust 侧的校验倒是改成了 `1..=256`,
+-- 于是两边对不上:从设置页填 33 到 256 之间任何一个值,Rust 放行、数据库拒绝,
+-- 用户看到的是一条 CHECK 约束报错而不是"超出范围"。
+--
+-- 上限跟 Rust 对齐到 256。
+--
+-- **缺省提到 64**,因为那句"否则会把别的饿死"是实测发生过的:一次 219 篇文档的
+-- 抽取里,32 个 `extract_document` 占满槽位,`embed_ontology` 排在 queued 进不来。
+-- 32 对模型限额 10 只有 3.2 倍,抽取一来就把队列糊死。
+--
+-- 为什么是 64 而不是更大:卡在信号量上的任务几乎零成本(不持有连接——抽取路径
+-- 上没有跨 await 的事务),但**它在够到信号量之前**每块还要做两件带数据库的事——
+-- `extract_epoch` 查一次、大本体时还要对全部关系与类做一次向量检索。这两件不受
+-- 模型信号量约束。所以并发数直接决定同时砸向数据库的检索数,而池子是 32。
+-- 64 是 2 倍超发,还在"变慢"而不是"超时"那一侧;再往上就该先把许可前移到
+-- 每块工作的最前面,让槽位真的接近零成本,那是另一个改动。
+--
+-- 只改没被人动过的那些(值还等于旧缺省 32),谁手工调过就尊重他的选择——
+-- 与当初 4 → 32 那次同一个口径。
+
+ALTER TABLE deployment_settings
+ DROP CONSTRAINT IF EXISTS deployment_settings_worker_concurrency_check;
+
+ALTER TABLE deployment_settings
+ ADD CONSTRAINT deployment_settings_worker_concurrency_check
+ CHECK (worker_concurrency BETWEEN 1 AND 256);
+
+ALTER TABLE deployment_settings
+ ALTER COLUMN worker_concurrency SET DEFAULT 64;
+
+UPDATE deployment_settings SET worker_concurrency = 64 WHERE worker_concurrency = 32;