Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
C
mimo Brio: gated in CI; Brio runs on all ten families
JustVugge928261c3d02
diff --git a/.github/workflows/check.yml b/.github/workflows/check.ymlindex 49968656..3d5f2bf6 100644--- a/.github/workflows/check.yml+++ b/.github/workflows/check.yml@@ -98,12 +98,17 @@ jobs:run: python -m pip install -r c/tools/requirements-mimo-tiny.txt- name: Generate fixture and run vendor oraclerun: make -C c mimo-tiny-check+ - name: "Brio and the prompt cache: photos exact against a cold engine"+ run: make -C c mimo-tiny-serve-check- name: Same oracle under ASan and UBSanrun: |make -C c clean >/dev/nullmake -C c mimo EXTRA_CFLAGS="-fsanitize=address,undefined -fno-omit-frame-pointer -g"ASAN_OPTIONS=detect_leaks=0 UBSAN_OPTIONS=halt_on_error=1:print_stacktrace=1 \python c/tests/mimo_tiny_harness.py --binary c/mimo --fixture c/mimo_tiny+ cd c && ASAN_OPTIONS=detect_leaks=0 UBSAN_OPTIONS=halt_on_error=1:print_stacktrace=1 \+ python -m unittest tests.test_mimo_prefix_serve tests.test_brio_serve.MimoBrioServe \+ tests.test_brio_api.MimoBrioEndToEndv4-tiny:name: Linux (generated tiny V4 target oracle)diff --git a/README.it.md b/README.it.mdindex 003085d5..b22891d1 100644--- a/README.it.md+++ b/README.it.md@@ -585,8 +585,8 @@ quale coda, quale verdetto, quale dei quattro valori può prendere un campo. Lamodalità Brio passa al motore le opzioni e legge la probabilità di ciascunainvece di generare: `completion_tokens` è 0, nessuna risposta può uscire dallatua lista, e ogni risposta arriva con un'entropia, così "il modello non è-sicuro" è un numero su cui mettere una soglia. Funziona su nove delle dieci-famiglie (tutte tranne MiMo), sullo stesso server, ed è opzionale per richiesta: la chat resta+sicuro" è un numero su cui mettere una soglia. Funziona su tutte e dieci le+famiglie, sullo stesso server, ed è opzionale per richiesta: la chat restaidentica byte per byte per chi non la chiede.```bashdiff --git a/README.ja.md b/README.ja.mdindex 37bf757c..3dfbd590 100644--- a/README.ja.md+++ b/README.ja.md@@ -534,7 +534,7 @@ COLI_MODEL=/nvme/glm52_i4 ./coli tune # このマシンで最速かつ安全人がモデルに求めることの多くは、段落ではなく選択です: どのキューか、どの判定か、あるフィールドが取り得る4 つの値のどれか。Brio モードはエンジンに選択肢を渡し、生成する代わりにそれぞれの確率を読み取ります:`completion_tokens` は 0 で、どの回答もリストの外に出ることはなく、すべての回答にエントロピーが付くため、-「モデルに確信がない」ことが閾値を設定できる数値になります。10 のファミリーのうち 9 つ(MiMo 以外のすべて)で、同じサーバー上で+「モデルに確信がない」ことが閾値を設定できる数値になります。10 のファミリーすべてで、同じサーバー上で動作し、リクエストごとのオプトインです: 求めない人にとって、チャットはバイト単位で同一のままです。```bashdiff --git a/README.md b/README.mdindex c84ac2a0..828771fd 100644--- a/README.md+++ b/README.md@@ -561,7 +561,7 @@ which verdict, which of the four values a field may take. Brio mode hands theengine the options and reads the probability of each one instead ofgenerating: `completion_tokens` is 0, no answer can fall outside your list,and every answer comes with an entropy, so "the model is not sure" is a-number you can put a threshold on. It runs on nine of the ten families (every one but MiMo), on the same+number you can put a threshold on. It runs on all ten families, on the sameserver, and it is opt-in per request: chat is byte-identical for everyone whodoes not ask for it.diff --git a/README.zh-CN.md b/README.zh-CN.mdindex a3b2f12a..5f119952 100644--- a/README.zh-CN.md+++ b/README.zh-CN.md@@ -485,7 +485,7 @@ COLI_MODEL=/nvme/glm52_i4 ./coli tune # 测量并保存本机最快且安全人们向模型提出的大多数请求是一次选择,而不是一段文字:哪个队列、哪个结论、某个字段应取四个值中的哪一个。Brio 模式把允许的选项交给引擎,读出每个选项的概率,而不是生成文本:`completion_tokens` 为 0,答案不可能落在你的列表之外,并且每个答案都附带一个熵,"模型没有把握"因此成为一个可以设阈值的数字。-它在十个模型家族中的九个上可用(除 MiMo 外全部),运行在同一个服务器上,且按请求可选:不请求它的聊天,输出逐字节保持不变。+它在全部十个模型家族上可用,运行在同一个服务器上,且按请求可选:不请求它的聊天,输出逐字节保持不变。```bash# 在 TUI 中:同一个模型,只是不再让它写diff --git a/README.zh-TW.md b/README.zh-TW.mdindex 8d941b7c..8b70e84e 100644--- a/README.zh-TW.md+++ b/README.zh-TW.md@@ -486,7 +486,7 @@ COLI_MODEL=/nvme/glm52_i4 ./coli tune # 測量並儲存本機最快且安全人們向模型提出的大多數請求是一次選擇,而不是一段文字:哪個佇列、哪個結論、某個欄位應取四個值中的哪一個。Brio 模式把允許的選項交給引擎,讀出每個選項的機率,而不是生成文字:`completion_tokens` 為 0,答案不可能落在你的清單之外,並且每個答案都附帶一個熵,"模型沒有把握"因此成為一個可以設門檻的數字。-它在十個模型家族中的九個上可用(除 MiMo 外全部),執行在同一個伺服器上,且按請求可選:不請求它的聊天,輸出逐位元組保持不變。+它在全部十個模型家族上可用,執行在同一個伺服器上,且按請求可選:不請求它的聊天,輸出逐位元組保持不變。```bash# 在 TUI 中:同一個模型,只是不再讓它寫