Skip to content

Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

C

mimo Brio: gated in CI; Brio runs on all ten families

JustVugge928261c3d02
diff --git a/.github/workflows/check.yml b/.github/workflows/check.yml
index 49968656..3d5f2bf6 100644
--- a/.github/workflows/check.yml
+++ b/.github/workflows/check.yml
@@ -98,12 +98,17 @@ jobs:
run: python -m pip install -r c/tools/requirements-mimo-tiny.txt
- name: Generate fixture and run vendor oracle
run: make -C c mimo-tiny-check
+ - name: "Brio and the prompt cache: photos exact against a cold engine"
+ run: make -C c mimo-tiny-serve-check
- name: Same oracle under ASan and UBSan
run: |
make -C c clean >/dev/null
make -C c mimo EXTRA_CFLAGS="-fsanitize=address,undefined -fno-omit-frame-pointer -g"
ASAN_OPTIONS=detect_leaks=0 UBSAN_OPTIONS=halt_on_error=1:print_stacktrace=1 \
python c/tests/mimo_tiny_harness.py --binary c/mimo --fixture c/mimo_tiny
+ cd c && ASAN_OPTIONS=detect_leaks=0 UBSAN_OPTIONS=halt_on_error=1:print_stacktrace=1 \
+ python -m unittest tests.test_mimo_prefix_serve tests.test_brio_serve.MimoBrioServe \
+ tests.test_brio_api.MimoBrioEndToEnd
v4-tiny:
name: Linux (generated tiny V4 target oracle)
diff --git a/README.it.md b/README.it.md
index 003085d5..b22891d1 100644
--- a/README.it.md
+++ b/README.it.md
@@ -585,8 +585,8 @@ quale coda, quale verdetto, quale dei quattro valori può prendere un campo. La
modalità Brio passa al motore le opzioni e legge la probabilità di ciascuna
invece di generare: `completion_tokens` è 0, nessuna risposta può uscire dalla
tua lista, e ogni risposta arriva con un'entropia, così "il modello non è
-sicuro" è un numero su cui mettere una soglia. Funziona su nove delle dieci
-famiglie (tutte tranne MiMo), sullo stesso server, ed è opzionale per richiesta: la chat resta
+sicuro" è un numero su cui mettere una soglia. Funziona su tutte e dieci le
+famiglie, sullo stesso server, ed è opzionale per richiesta: la chat resta
identica byte per byte per chi non la chiede.
```bash
diff --git a/README.ja.md b/README.ja.md
index 37bf757c..3dfbd590 100644
--- a/README.ja.md
+++ b/README.ja.md
@@ -534,7 +534,7 @@ COLI_MODEL=/nvme/glm52_i4 ./coli tune # このマシンで最速かつ安全
人がモデルに求めることの多くは、段落ではなく選択です: どのキューか、どの判定か、あるフィールドが取り得る
4 つの値のどれか。Brio モードはエンジンに選択肢を渡し、生成する代わりにそれぞれの確率を読み取ります:
`completion_tokens` は 0 で、どの回答もリストの外に出ることはなく、すべての回答にエントロピーが付くため、
-「モデルに確信がない」ことが閾値を設定できる数値になります。10 のファミリーのうち 9 つ(MiMo 以外のすべて)で、同じサーバー上で
+「モデルに確信がない」ことが閾値を設定できる数値になります。10 のファミリーすべてで、同じサーバー上で
動作し、リクエストごとのオプトインです: 求めない人にとって、チャットはバイト単位で同一のままです。
```bash
diff --git a/README.md b/README.md
index c84ac2a0..828771fd 100644
--- a/README.md
+++ b/README.md
@@ -561,7 +561,7 @@ which verdict, which of the four values a field may take. Brio mode hands the
engine the options and reads the probability of each one instead of
generating: `completion_tokens` is 0, no answer can fall outside your list,
and every answer comes with an entropy, so "the model is not sure" is a
-number you can put a threshold on. It runs on nine of the ten families (every one but MiMo), on the same
+number you can put a threshold on. It runs on all ten families, on the same
server, and it is opt-in per request: chat is byte-identical for everyone who
does not ask for it.
diff --git a/README.zh-CN.md b/README.zh-CN.md
index a3b2f12a..5f119952 100644
--- a/README.zh-CN.md
+++ b/README.zh-CN.md
@@ -485,7 +485,7 @@ COLI_MODEL=/nvme/glm52_i4 ./coli tune # 测量并保存本机最快且安全
人们向模型提出的大多数请求是一次选择,而不是一段文字:哪个队列、哪个结论、某个字段应取四个值中的哪一个。
Brio 模式把允许的选项交给引擎,读出每个选项的概率,而不是生成文本:`completion_tokens` 为 0,
答案不可能落在你的列表之外,并且每个答案都附带一个熵,"模型没有把握"因此成为一个可以设阈值的数字。
-它在十个模型家族中的九个上可用(除 MiMo 外全部),运行在同一个服务器上,且按请求可选:不请求它的聊天,输出逐字节保持不变。
+它在全部十个模型家族上可用,运行在同一个服务器上,且按请求可选:不请求它的聊天,输出逐字节保持不变。
```bash
# 在 TUI 中:同一个模型,只是不再让它写
diff --git a/README.zh-TW.md b/README.zh-TW.md
index 8d941b7c..8b70e84e 100644
--- a/README.zh-TW.md
+++ b/README.zh-TW.md
@@ -486,7 +486,7 @@ COLI_MODEL=/nvme/glm52_i4 ./coli tune # 測量並儲存本機最快且安全
人們向模型提出的大多數請求是一次選擇,而不是一段文字:哪個佇列、哪個結論、某個欄位應取四個值中的哪一個。
Brio 模式把允許的選項交給引擎,讀出每個選項的機率,而不是生成文字:`completion_tokens` 為 0,
答案不可能落在你的清單之外,並且每個答案都附帶一個熵,"模型沒有把握"因此成為一個可以設門檻的數字。
-它在十個模型家族中的九個上可用(除 MiMo 外全部),執行在同一個伺服器上,且按請求可選:不請求它的聊天,輸出逐位元組保持不變。
+它在全部十個模型家族上可用,執行在同一個伺服器上,且按請求可選:不請求它的聊天,輸出逐位元組保持不變。
```bash
# 在 TUI 中:同一個模型,只是不再讓它寫