Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
C
docs: the GLM-5.2 and Qwen3.6 download sizes as Hugging Face reports them
JustVuggb14d9ba892d9
diff --git a/README.it.md b/README.it.mdindex 01ea067d..a35421e5 100644--- a/README.it.md+++ b/README.it.md@@ -397,7 +397,7 @@ int4 e le ablazioni su granularità delle scale e rotazione sono in## Per iniziareTi servono due cose: **il programma** (poche centinaia di KB) e **il modello**-(372 GB). Guida passo passo per tutte le piattaforme nella+(429 GB). Guida passo passo per tutte le piattaforme nella[Quick Start](docs/quickstart.md).### In un solo passo@@ -455,7 +455,7 @@ resta in `c/` — è un'installazione editabile dal clone, non un wheel).### 2. Scarica il modelloUn container **GLM-5.2 int4** pre-convertito è su Hugging Face — usa la build-**group-scaled (gs64) con la testa MTP int8**. Pesa circa **372 GB**, quindi mettilo su un+**group-scaled (gs64) con la testa MTP int8**. Pesa circa **429 GB**, quindi mettilo su undisco che abbia lo spazio, meglio se veloce:**https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp**@@ -503,7 +503,7 @@ altre nove famiglie di modelli linguistici, e un motore genera immagini. Ognuna> | Modello | Disco per i pesi | RAM | GPU |> |---|---|---|---|> | **OLMoE** | ~7 GB (container int8) | 8 GB | non serve; Vulkan opzionale |-> | **GLM-5.2/5.3** | ~372 GB (5.2) / ~419 GB (5.3) | 16 GB minimo, 24 GB comodi | non serve; Vulkan opzionale |+> | **GLM-5.2/5.3** | ~429 GB (5.2) / ~419 GB (5.3) | 16 GB minimo, 24 GB comodi | non serve; Vulkan opzionale |> | **GLM-5.3-Flash** | ~195 GB dopo la conversione | 25 GB (12 GB di pesi a int4 + cache degli expert) | non serve; Vulkan opzionale |> | **Inkling** | ~469 GB | 25 GB con il container denso int4, ~120 GB senza | non serve; Vulkan opzionale |> | **Kimi K3** | ~1,6 TB | 32 GB+ | non serve; Vulkan opzionale |@@ -513,7 +513,7 @@ altre nove famiglie di modelli linguistici, e un motore genera immagini. Ognuna> | **MiMo-V2.6 Pro** | ~574 GB (~564 GB senza i tre file che il motore non carica mai) | parte densa 30,2 GiB come rilasciata, 21,7 GiB in int8; 48,0 GB residenti misurati con 12 expert in cache per layer (parte densa come rilasciata), 50,7 GB con 20 (parte densa in int8) | non serve; Vulkan opzionale |> | **Qwen3.8-Flash-Next** | ~185,5 GB (checkpoint FP8 ufficiale), più 68,0 GB per il sidecar opzionale degli expert int4-g64 | 24 GB comodi al contesto predefinito con gli expert FP8 (cap 32; 16 GB sono sotto il minimo); 11,6 GB di RSS misurati a cap 32 con il sidecar int4-g64 | opzionale; il livello expert CUDA in VRAM (solo expert FP8) con il tronco denso quantizzato a int8 in VRAM; Vulkan opzionale |> | **Qwen3.8-27B** (denso, testo e immagini) | ~51 GB dopo la conversione (f16) | 20 GB con pesi densi int4, 30 GB in int8 | non serve; ancora nessun livello CUDA; Vulkan opzionale |-> | **Qwen3.6-35B-A3B** | ~20 GB (container int4-gs64) | 24 GB (richiede la residenza completa in RAM) | opzionale; il livello expert CUDA in VRAM ha misurato **1,44 -> 10,05 tok/s (7,0x)** su due schede da 8 GB, output identico bit per bit alla CPU; Vulkan opzionale |+> | **Qwen3.6-35B-A3B** | ~23 GB (container int4-gs64) | 24 GB (richiede la residenza completa in RAM) | opzionale; il livello expert CUDA in VRAM ha misurato **1,44 -> 10,05 tok/s (7,0x)** su due schede da 8 GB, output identico bit per bit alla CPU; Vulkan opzionale |> | **Qwen3-Coder-30B-A3B** | ~19 GB (container int4-gs64; 30 GB in int8) | 6,5 GB residenti misurati con 32 expert in cache per layer, 15,2 GB con tutti i 128 | non serve; Vulkan opzionale |> | **Qwen-Image-2.1** (da testo a immagine) | ~33 GB (checkpoint diffusers ufficiale) | 16,0 GB con tutto residente, 8,5 GB di picco con il text encoder caricato a ogni prompt, più i buffer di lavoro (9,0 GB di picco misurati per un'immagine 768x512) | non serve; Vulkan opzionale, non ancora cronometrato su GPU |>@@ -536,7 +536,7 @@ altre nove famiglie di modelli linguistici, e un motore genera immagini. Ognuna| Famiglia | Totali / attivi | Pesi | Build | Documentazione ||---|---|---|---|---|-| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/…-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp) (372 GB) o [`Justvugg/GLM-5.3-colibri-int4-g64`](https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64) (419 GB) | `make -C c glm` | questa pagina |+| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/…-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp) (429 GB) o [`Justvugg/GLM-5.3-colibri-int4-g64`](https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64) (419 GB) | `make -C c glm` | questa pagina || **Inkling** (Thinking Machines) | 975B / 41B | [`nbeerbower/Inkling-colibri-int4`](https://huggingface.co/nbeerbower/Inkling-colibri-int4) (469 GB) | `make -C c inkling` | [inkling.md](docs/inkling.md) || **GLM-5.3-Flash** (Z.ai) | 321B / 18B | [`zai-org/GLM-5.3-Flash`](https://huggingface.co/zai-org/GLM-5.3-Flash), convertito con gli expert instradati in **int4-gs64**; la parte densa resta BF16 e la sua precisione si sceglie al caricamento; visione inclusa | `make -C c glm53` | [glm53-flash.md](docs/glm53-flash.md) || **Kimi K3** (Moonshot) | 2,8T / 104B | [`moonshotai/Kimi-K3`](https://huggingface.co/moonshotai/Kimi-K3): checkpoint originale, gli expert instradati restano **MXFP4 nativi** | `make -C c kimi_k3` | [kimi_k3.md](docs/kimi_k3.md) |@@ -545,7 +545,7 @@ altre nove famiglie di modelli linguistici, e un motore genera immagini. Ognuna| **MiMo-V2.6 Flash** (Xiaomi) | 309B / 15B | [`XiaomiMiMo/MiMo-V2.6-Flash-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Flash-MOPD) (178 GB), checkpoint ufficiale, **nessuna conversione**: gli expert instradati restano **MXFP4 nativi**, la parte densa resta FP8/BF16. 39 dei suoi 48 layer guardano una finestra di 128 token, quindi un contesto lungo costa il KV di 9. Visione e tool calling attivi | `make -C c mimo` | [mimo.md](docs/mimo.md) || **MiMo-V2.6 Pro** (Xiaomi) | 1,02T / 42B | [`XiaomiMiMo/MiMo-V2.6-Pro-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-MOPD) (573,5 GB), checkpoint ufficiale, **nessuna conversione**, sul motore MiMo: la stessa architettura a 70 layer e 384 expert. Verificato contro il codice di modellazione di Xiaomi sui primi 32 dei suoi 70 layer. Visione e tool calling attivi | `make -C c mimo` | [mimo.md](docs/mimo.md#pro) || **Qwen3.8-Flash-Next** (Alibaba) | 125B + 51B n-gram / 6B | [`Qwen/Qwen3.8-Flash-Next-FP8`](https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8), checkpoint originale; la PLE resta paginabile e gli expert restano **block-FP8 nativi**, oppure vengono letti come **int4-g64** da un sidecar opzionale (vedi sotto). Draft MTP opt-in (`Q38_MTP=1`) | `make -C c qwen38` (`CUDA=1` per il livello expert in VRAM) | [qwen38.md](docs/qwen38.md) |-| **Qwen3.6** (Alibaba) | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64) (~20 GB, **consigliato**): ibrido Gated Attention + Gated DeltaNet | `make -C c qwen36` (`CUDA=1` per il livello expert in VRAM) | [qwen36.md](docs/qwen36.md) |+| **Qwen3.6** (Alibaba) | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64) (~23 GB, **consigliato**): ibrido Gated Attention + Gated DeltaNet | `make -C c qwen36` (`CUDA=1` per il livello expert in VRAM) | [qwen36.md](docs/qwen36.md) || **Qwen3.8-27B** (Alibaba) | 27B, denso | [`Qwen/Qwen3.8-27B`](https://huggingface.co/Qwen/Qwen3.8-27B) convertito con `c/tools/convert_qwen36.py` in un container f16 (51 GB); il motore lo quantizza a int8, o a int4 con `COLI_DENSE_BITS=4`, durante il caricamento. Un MLP per layer e nessun router, sul motore Qwen3.6. Testo e immagini | `make -C c qwen36` | [qwen36.md](docs/qwen36.md#the-dense-27b) || **Qwen3-Coder-30B-A3B** (Alibaba) | 30B / 3B | [`Justvugg/Qwen3-Coder-30B-A3B-colibri-int4`](https://huggingface.co/Justvugg/Qwen3-Coder-30B-A3B-colibri-int4) (19 GB, int4-gs64), convertito da [`Qwen/Qwen3-Coder-30B-A3B-Instruct`](https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct). MoE Qwen3 di sola attenzione sul motore Qwen3.6, 128 expert top-8, una sua forma XML per le chiamate ai tool e nessun thinking; in teacher forcing il container int4 sceglie il token top-1 della release bf16 nel 96,9% delle posizioni | `make -C c qwen36` | [qwen36.md](docs/qwen36.md#qwen3-coder-30b-a3b) || **OLMoE** (AI2) | 7B / 1B | convertito con `c/tools/convert_olmoe_merged.py`: container **int8**, ~7 GB | `make -C c olmoe` | - |diff --git a/README.ja.md b/README.ja.mdindex 4fa4218f..89a53120 100644--- a/README.ja.md+++ b/README.ja.md@@ -365,7 +365,7 @@ n=64 の GLM-5.2 ではまだ捕捉されていません。## はじめに-必要なものは 2 つです: **プログラム**(数百 KB)と **モデル**(372 GB)。+必要なものは 2 つです: **プログラム**(数百 KB)と **モデル**(429 GB)。全プラットフォーム向けの手順は [クイックスタートガイド](docs/quickstart.md) にあります。### ワンステップで始める@@ -422,7 +422,7 @@ git clone https://github.com/JustVugg/colibri && cd colibri/c### 2. モデルを入手する変換済みの **GLM-5.2 int4** コンテナが Hugging Face にあります — **int8 MTP ヘッド** 付きの-**グループスケール(gs64)** ビルドを使ってください。サイズは約 **372 GB** なので、+**グループスケール(gs64)** ビルドを使ってください。サイズは約 **429 GB** なので、十分な容量のある、できれば高速なディスクに置いてください:**https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp**@@ -466,7 +466,7 @@ GLM-5.2 がリファレンスモデルですが、同じストリーミング手> | モデル | 重み用のディスク | RAM | GPU |> |---|---|---|---|> | **OLMoE** | 約 7 GB(int8 コンテナ) | 8 GB | 不要。Vulkan はオプトイン |-> | **GLM-5.2/5.3** | 約 372 GB(5.2)/ 約 419 GB(5.3) | 最低 16 GB、快適には 24 GB | 不要。Vulkan はオプトイン |+> | **GLM-5.2/5.3** | 約 429 GB(5.2)/ 約 419 GB(5.3) | 最低 16 GB、快適には 24 GB | 不要。Vulkan はオプトイン |> | **GLM-5.3-Flash** | 変換後 約 195 GB | 25 GB(int4 の重み 12 GB + エキスパートキャッシュ) | 不要。Vulkan はオプトイン |> | **Inkling** | 約 469 GB | int4 密コンテナ使用時 25 GB、未使用時 約 120 GB | 不要。Vulkan はオプトイン |> | **Kimi K3** | 約 1.6 TB | 32 GB 以上 | 不要。Vulkan はオプトイン |@@ -476,7 +476,7 @@ GLM-5.2 がリファレンスモデルですが、同じストリーミング手> | **MiMo-V2.6 Pro** | 約 574 GB(エンジンが読み込まない 3 ファイルを除くと約 564 GB) | 密部分はリリースのままで 30.2 GiB、int8 で 21.7 GiB。レイヤーあたり 12 エキスパート(密部分はリリースのまま)で常駐 48.0 GB、20(密部分は int8)で 50.7 GB を計測 | 不要。Vulkan はオプトイン |> | **Qwen3.8-Flash-Next** | 約 185.5 GB(公式 FP8 チェックポイント)、オプションの int4-g64 エキスパートサイドカーに追加で 68.0 GB | FP8 エキスパートならデフォルトのコンテキストで快適には 24 GB(cap 32。16 GB では足りない)。int4-g64 サイドカー使用時は cap 32 で RSS 11.6 GB を計測 | オプション。CUDA VRAM エキスパートティア(FP8 エキスパートのみ)、密なトランクは VRAM 上で int8 に量子化。Vulkan はオプトイン |> | **Qwen3.8-27B**(密モデル、テキストと画像) | 変換後 約 51 GB(f16) | int4 の密な重みで 20 GB、int8 で 30 GB | 不要。CUDA ティアはまだなし。Vulkan はオプトイン |-> | **Qwen3.6-35B-A3B** | 約 20 GB(int4-gs64 コンテナ) | 24 GB(RAM への完全常駐が必要) | オプション。CUDA VRAM エキスパートティアは 8 GB カード 2 枚で **1.44 -> 10.05 tok/s(7.0 倍)** を計測、出力は CPU とビット単位で同一。Vulkan はオプトイン |+> | **Qwen3.6-35B-A3B** | 約 23 GB(int4-gs64 コンテナ) | 24 GB(RAM への完全常駐が必要) | オプション。CUDA VRAM エキスパートティアは 8 GB カード 2 枚で **1.44 -> 10.05 tok/s(7.0 倍)** を計測、出力は CPU とビット単位で同一。Vulkan はオプトイン |> | **Qwen3-Coder-30B-A3B** | 約 19 GB(int4-gs64 コンテナ。int8 では 30 GB) | レイヤーあたり 32 エキスパートをキャッシュして常駐 6.5 GB、128 個すべてで 15.2 GB を計測 | 不要。Vulkan はオプトイン |> | **Qwen-Image-2.1**(テキストから画像) | 約 33 GB(公式 diffusers チェックポイント) | すべて常駐で 16.0 GB、テキストエンコーダをプロンプトごとに読み込むとピーク 8.5 GB、これに作業バッファが加わる(768x512 の画像 1 枚でピーク 9.0 GB を計測) | 不要。Vulkan はオプトイン、GPU での計時はまだなし |>@@ -496,7 +496,7 @@ GLM-5.2 がリファレンスモデルですが、同じストリーミング手| ファミリー | 総数 / アクティブ | 重み | ビルド | ドキュメント ||---|---|---|---|---|-| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/…-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp)(372 GB)または [`Justvugg/GLM-5.3-colibri-int4-g64`](https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64)(419 GB) | `make -C c glm` | このページ |+| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/…-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp)(429 GB)または [`Justvugg/GLM-5.3-colibri-int4-g64`](https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64)(419 GB) | `make -C c glm` | このページ || **Inkling**(Thinking Machines) | 975B / 41B | [`nbeerbower/Inkling-colibri-int4`](https://huggingface.co/nbeerbower/Inkling-colibri-int4)(469 GB) | `make -C c inkling` | [inkling.md](docs/inkling.md) || **GLM-5.3-Flash**(Z.ai) | 321B / 18B | [`zai-org/GLM-5.3-Flash`](https://huggingface.co/zai-org/GLM-5.3-Flash)。ルーティングエキスパートを **int4-gs64** に変換、密部分は BF16 のままで精度はロード時に選択。ビジョン対応 | `make -C c glm53` | [glm53-flash.md](docs/glm53-flash.md) || **Kimi K3**(Moonshot) | 2.8T / 104B | [`moonshotai/Kimi-K3`](https://huggingface.co/moonshotai/Kimi-K3) — オリジナルのチェックポイント、ルーティングエキスパートは **ネイティブ MXFP4** のまま | `make -C c kimi_k3` | [kimi_k3.md](docs/kimi_k3.md) |@@ -505,7 +505,7 @@ GLM-5.2 がリファレンスモデルですが、同じストリーミング手| **MiMo-V2.6 Pro**(Xiaomi) | 1.02T / 42B | [`XiaomiMiMo/MiMo-V2.6-Pro-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-MOPD)(573.5 GB)、公式チェックポイント、**変換不要**、MiMo エンジンで動作: 同じアーキテクチャで 70 層、384 エキスパート。全 70 層のうち最初の 32 層について Xiaomi 自身のモデリングコードと照合済み。ビジョンとツール呼び出しに対応 | `make -C c mimo` | [mimo.md](docs/mimo.md#pro) || **DeepSeek V4.1 Flash** | 552B / 16B | 公式チェックポイント、**変換不要**: エキスパートはすでに fp4、密部分は fp8-e4m3。そのうち 203 GB は一度に数百バイトずつディスクから読まれる n-gram メモリで、ルーティングエキスパートのコストは GLM-5.2 の 12.7 GB に対して **1 トークンあたり 4.5 GB**。ビジョン、ツール呼び出し、DSpark ドラフトヘッドはすべて有効 | `make -C c deepseek_v41` | [deepseek-v41.md](docs/deepseek-v41.md) || **Qwen3.8-Flash-Next**(Alibaba) | 125B + 51B n-gram / 6B | [`Qwen/Qwen3.8-Flash-Next-FP8`](https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8)、オリジナルのチェックポイント。PLE はページング可能なまま、エキスパートは **ネイティブのブロック FP8** のまま、またはオプションのサイドカーから **int4-g64** として読み込み(下記参照)。MTP ドラフトはオプトイン(`Q38_MTP=1`) | `make -C c qwen38`(VRAM エキスパートティアには `CUDA=1`) | [qwen38.md](docs/qwen38.md) |-| **Qwen3.6**(Alibaba) | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64)(約 20 GB、**推奨**)— Gated Attention + Gated DeltaNet のハイブリッド | `make -C c qwen36`(VRAM エキスパートティアには `CUDA=1`) | [qwen36.md](docs/qwen36.md) |+| **Qwen3.6**(Alibaba) | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64)(約 23 GB、**推奨**)— Gated Attention + Gated DeltaNet のハイブリッド | `make -C c qwen36`(VRAM エキスパートティアには `CUDA=1`) | [qwen36.md](docs/qwen36.md) || **Qwen3.8-27B**(Alibaba) | 27B、密モデル | [`Qwen/Qwen3.8-27B`](https://huggingface.co/Qwen/Qwen3.8-27B) を `c/tools/convert_qwen36.py` で f16 コンテナ(51 GB)に変換。エンジンはロード時に int8、`COLI_DENSE_BITS=4` なら int4 に量子化。レイヤーごとに MLP が 1 つでルーターはなく、Qwen3.6 エンジンで動作。テキストと画像に対応 | `make -C c qwen36` | [qwen36.md](docs/qwen36.md#the-dense-27b) || **Qwen3-Coder-30B-A3B**(Alibaba) | 30B / 3B | [`Justvugg/Qwen3-Coder-30B-A3B-colibri-int4`](https://huggingface.co/Justvugg/Qwen3-Coder-30B-A3B-colibri-int4)(19 GB、int4-gs64)、[`Qwen/Qwen3-Coder-30B-A3B-Instruct`](https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct) から変換。Qwen3.6 エンジンで動く全層アテンションの Qwen3 MoE で、128 エキスパートの top-8、独自の XML 形式のツール呼び出しを持ち、思考モードはなし。teacher forcing で、int4 コンテナは 96.9% の位置で bf16 リリースと同じ top-1 トークンを選ぶ | `make -C c qwen36` | [qwen36.md](docs/qwen36.md#qwen3-coder-30b-a3b) || **OLMoE**(AI2) | 7B / 1B | `c/tools/convert_olmoe_merged.py` で変換 — **int8** コンテナ、約 7 GB | `make -C c olmoe` | — |diff --git a/README.md b/README.mdindex 9c832821..02230e22 100644--- a/README.md+++ b/README.md@@ -379,7 +379,7 @@ scale-granularity/rotation ablations live in## Get startedYou need two things: **the program** (a few hundred KB) and **the model**-(372 GB). Step-by-step for every platform in the+(429 GB). Step-by-step for every platform in the[Quick Start guide](docs/quickstart.md).### The one-step way@@ -438,7 +438,7 @@ engine still lives in `c/` — an editable install from the clone, not a wheel).### 2. Get the modelA pre-converted **GLM-5.2 int4** container is on Hugging Face — use the-**group-scaled (gs64)** build with the **int8 MTP head**. It is about **372 GB**,+**group-scaled (gs64)** build with the **int8 MTP head**. It is about **429 GB**,so put it on a disk with the room, ideally a fast one:**https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp**@@ -484,7 +484,7 @@ or from `model_index.json` for the image model):> | Model | Disk for the weights | RAM | GPU |> |---|---|---|---|> | **OLMoE** | ~7 GB (int8 container) | 8 GB | not needed; Vulkan opt-in |-> | **GLM-5.2/5.3** | ~372 GB (5.2) / ~419 GB (5.3) | 16 GB min, 24 GB comfortable | not needed; Vulkan opt-in |+> | **GLM-5.2/5.3** | ~429 GB (5.2) / ~419 GB (5.3) | 16 GB min, 24 GB comfortable | not needed; Vulkan opt-in |> | **GLM-5.3-Flash** | ~195 GB converted | 25 GB (12 GB weights at int4 + expert cache) | not needed; Vulkan opt-in |> | **Inkling** | ~469 GB | 25 GB with the int4 dense container, ~120 GB without | not needed; Vulkan opt-in |> | **Kimi K3** | ~1.6 TB | 32 GB+ | not needed; Vulkan opt-in |@@ -494,7 +494,7 @@ or from `model_index.json` for the image model):> | **MiMo-V2.6 Pro** | ~574 GB (~564 GB without the three files the engine never loads) | dense set 30.2 GiB as released, 21.7 GiB in int8; 48.0 GB resident measured with 12 experts cached per layer (dense as released), 50.7 GB with 20 (dense in int8) | not needed; Vulkan opt-in |> | **Qwen3.8-Flash-Next** | ~185.5 GB (official FP8 checkpoint), plus 68.0 GB for the optional int4-g64 expert sidecar | 24 GB comfortable at the default context with the FP8 experts (cap 32; 16 GB is below the floor); 11.6 GB RSS measured at cap 32 with the int4-g64 sidecar | optional; the CUDA VRAM expert tier (FP8 experts only) with dense trunk quantized to int8 in VRAM; Vulkan opt-in |> | **Qwen3.8-27B** (dense, text and images) | ~51 GB converted (f16) | 20 GB with int4 dense weights, 30 GB in int8 | not needed; no CUDA tier yet; Vulkan opt-in |-> | **Qwen3.6-35B-A3B** | ~20 GB (int4-gs64 container) | 24 GB (needs full RAM residency) | optional; the CUDA VRAM expert tier measured **1.44 -> 10.05 tok/s (7.0x)** on two 8 GB cards, output bit-identical to CPU; Vulkan opt-in |+> | **Qwen3.6-35B-A3B** | ~23 GB (int4-gs64 container) | 24 GB (needs full RAM residency) | optional; the CUDA VRAM expert tier measured **1.44 -> 10.05 tok/s (7.0x)** on two 8 GB cards, output bit-identical to CPU; Vulkan opt-in |> | **Qwen3-Coder-30B-A3B** | ~19 GB (int4-gs64 container; 30 GB in int8) | 6.5 GB resident measured with 32 experts cached per layer, 15.2 GB with all 128 | not needed; Vulkan opt-in |> | **Qwen-Image-2.1** (text to image) | ~33 GB (official diffusers checkpoint) | 16.0 GB with everything resident, 8.5 GB peak with the text encoder loaded per prompt, plus working buffers (9.0 GB peak measured for one 768x512 image) | not needed; Vulkan opt-in, not timed on a GPU yet |>@@ -517,7 +517,7 @@ or from `model_index.json` for the image model):| Family | Total / active | Weights | Build | Docs ||---|---|---|---|---|-| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/…-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp) (372 GB) or [`Justvugg/GLM-5.3-colibri-int4-g64`](https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64) (419 GB) | `make -C c glm` | this page |+| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/…-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp) (429 GB) or [`Justvugg/GLM-5.3-colibri-int4-g64`](https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64) (419 GB) | `make -C c glm` | this page || **Inkling** (Thinking Machines) | 975B / 41B | [`nbeerbower/Inkling-colibri-int4`](https://huggingface.co/nbeerbower/Inkling-colibri-int4) (469 GB) | `make -C c inkling` | [inkling.md](docs/inkling.md) || **GLM-5.3-Flash** (Z.ai) | 321B / 18B | [`zai-org/GLM-5.3-Flash`](https://huggingface.co/zai-org/GLM-5.3-Flash), converted to **int4-gs64** routed experts, dense stays BF16 and the precision is a load-time choice; vision included | `make -C c glm53` | [glm53-flash.md](docs/glm53-flash.md) || **Kimi K3** (Moonshot) | 2.8T / 104B | [`moonshotai/Kimi-K3`](https://huggingface.co/moonshotai/Kimi-K3) — original checkpoint, routed experts stay **native MXFP4** | `make -C c kimi_k3` | [kimi_k3.md](docs/kimi_k3.md) |@@ -526,7 +526,7 @@ or from `model_index.json` for the image model):| **MiMo-V2.6 Flash** (Xiaomi) | 309B / 15B | [`XiaomiMiMo/MiMo-V2.6-Flash-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Flash-MOPD) (178 GB), official checkpoint, **no conversion**: routed experts stay **native MXFP4**, dense stays FP8/BF16. 39 of its 48 layers attend a 128-token window, so a long context costs the KV of 9. Vision and tool calling on | `make -C c mimo` | [mimo.md](docs/mimo.md) || **MiMo-V2.6 Pro** (Xiaomi) | 1.02T / 42B | [`XiaomiMiMo/MiMo-V2.6-Pro-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-MOPD) (573.5 GB), official checkpoint, **no conversion**, on the MiMo engine: the same architecture at 70 layers and 384 experts. Checked against Xiaomi's own modeling code on the first 32 of its 70 layers. Vision and tool calling on | `make -C c mimo` | [mimo.md](docs/mimo.md#pro) || **Qwen3.8-Flash-Next** (Alibaba) | 125B + 51B n-gram / 6B | [`Qwen/Qwen3.8-Flash-Next-FP8`](https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8), original checkpoint; PLE stays pageable and experts stay **native block-FP8**, or are read as **int4-g64** from an optional sidecar (see below). Opt-in MTP drafting (`Q38_MTP=1`) | `make -C c qwen38` (`CUDA=1` for the VRAM expert tier) | [qwen38.md](docs/qwen38.md) |-| **Qwen3.6** (Alibaba) | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64) (~20 GB, **recommended**) — hybrid Gated Attention + Gated DeltaNet | `make -C c qwen36` (`CUDA=1` for the VRAM expert tier) | [qwen36.md](docs/qwen36.md) |+| **Qwen3.6** (Alibaba) | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64) (~23 GB, **recommended**) — hybrid Gated Attention + Gated DeltaNet | `make -C c qwen36` (`CUDA=1` for the VRAM expert tier) | [qwen36.md](docs/qwen36.md) || **Qwen3.8-27B** (Alibaba) | 27B, dense | [`Qwen/Qwen3.8-27B`](https://huggingface.co/Qwen/Qwen3.8-27B) converted with `c/tools/convert_qwen36.py` to an f16 container (51 GB); the engine quantizes it to int8, or int4 with `COLI_DENSE_BITS=4`, while loading. One MLP per layer and no router, on the Qwen3.6 engine. Text and images | `make -C c qwen36` | [qwen36.md](docs/qwen36.md#the-dense-27b) || **Qwen3-Coder-30B-A3B** (Alibaba) | 30B / 3B | [`Justvugg/Qwen3-Coder-30B-A3B-colibri-int4`](https://huggingface.co/Justvugg/Qwen3-Coder-30B-A3B-colibri-int4) (19 GB, int4-gs64), converted from [`Qwen/Qwen3-Coder-30B-A3B-Instruct`](https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct). All-attention Qwen3 MoE on the Qwen3.6 engine, 128 experts top-8, its own XML tool-call form and no thinking; teacher forced, the int4 container picks the bf16 release's top-1 token at 96.9% of positions | `make -C c qwen36` | [qwen36.md](docs/qwen36.md#qwen3-coder-30b-a3b) || **OLMoE** (AI2) | 7B / 1B | converted with `c/tools/convert_olmoe_merged.py` — **int8** container, ~7 GB | `make -C c olmoe` | — |diff --git a/README.zh-CN.md b/README.zh-CN.mdindex f265e3e0..e005f76a 100644--- a/README.zh-CN.md+++ b/README.zh-CN.md@@ -326,7 +326,7 @@ context 点积改为累加整数乘积并只舍入一次,因此验证行中的## 开始使用-你需要两样东西:**程序本体**(几百 KB)和**模型**(372 GB)。各平台的分步+你需要两样东西:**程序本体**(几百 KB)和**模型**(429 GB)。各平台的分步指引见 [Quick Start 指南](docs/quickstart.md)。### 一步完成@@ -380,7 +380,7 @@ git clone https://github.com/JustVugg/colibri && cd colibri/c### 2. 获取模型Hugging Face 上已有预转换的 **GLM-5.2 int4** 容器——请务必使用-**含 int8 MTP head 的 group-scaled(gs64)版本**。它约为 **372 GB**,请放在空间足够的磁盘上,最好是快盘:+**含 int8 MTP head 的 group-scaled(gs64)版本**。它约为 **429 GB**,请放在空间足够的磁盘上,最好是快盘:**https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp**@@ -421,7 +421,7 @@ GLM-5.2 是参考模型,但同样的流式方法还能运行另外九个语言> | 模型 | 权重所需磁盘 | RAM | GPU |> |---|---|---|---|> | **OLMoE** | 约 7 GB(int8 容器) | 8 GB | 不需要;可选 Vulkan |-> | **GLM-5.2/5.3** | 约 372 GB(5.2)/约 419 GB(5.3) | 最低 16 GB,舒适 24 GB | 不需要;可选 Vulkan |+> | **GLM-5.2/5.3** | 约 429 GB(5.2)/约 419 GB(5.3) | 最低 16 GB,舒适 24 GB | 不需要;可选 Vulkan |> | **GLM-5.3-Flash** | 转换后约 195 GB | 25 GB(int4 权重 12 GB + 专家缓存) | 不需要;可选 Vulkan |> | **Inkling** | 约 469 GB | 使用 int4 稠密容器时 25 GB,不使用时约 120 GB | 不需要;可选 Vulkan |> | **Kimi K3** | 约 1.6 TB | 32 GB 以上 | 不需要;可选 Vulkan |@@ -431,7 +431,7 @@ GLM-5.2 是参考模型,但同样的流式方法还能运行另外九个语言> | **MiMo-V2.6 Pro** | 约 574 GB(不含引擎从不加载的三个文件时约 564 GB) | 稠密部分按发布格式为 30.2 GiB,int8 下为 21.7 GiB;每层缓存 12 个专家时实测常驻 48.0 GB(稠密部分按发布格式),20 个时 50.7 GB(稠密部分为 int8) | 不需要;可选 Vulkan |> | **Qwen3.8-Flash-Next** | 约 185.5 GB(官方 FP8 checkpoint),可选的 int4-g64 专家 sidecar 另需 68.0 GB | 使用 FP8 专家、默认上下文时舒适为 24 GB(cap 32;16 GB 低于下限);使用 int4-g64 sidecar 时 cap 32 实测 RSS 11.6 GB | 可选;CUDA VRAM 专家层级(仅限 FP8 专家),稠密主干在 VRAM 中量化为 int8;可选 Vulkan |> | **Qwen3.8-27B**(稠密,文本与图像) | 转换后约 51 GB(f16) | 稠密权重为 int4 时 20 GB,int8 时 30 GB | 不需要;暂无 CUDA 层级;可选 Vulkan |-> | **Qwen3.6-35B-A3B** | 约 20 GB(int4-gs64 容器) | 24 GB(需要完全常驻 RAM) | 可选;CUDA VRAM 专家层级在两张 8 GB 显卡上实测 **1.44 -> 10.05 tok/s(7.0x)**,输出与 CPU 逐位一致;可选 Vulkan |+> | **Qwen3.6-35B-A3B** | 约 23 GB(int4-gs64 容器) | 24 GB(需要完全常驻 RAM) | 可选;CUDA VRAM 专家层级在两张 8 GB 显卡上实测 **1.44 -> 10.05 tok/s(7.0x)**,输出与 CPU 逐位一致;可选 Vulkan |> | **Qwen3-Coder-30B-A3B** | 约 19 GB(int4-gs64 容器;int8 为 30 GB) | 每层缓存 32 个专家时实测常驻 6.5 GB,全部 128 个时 15.2 GB | 不需要;可选 Vulkan |> | **Qwen-Image-2.1**(文生图) | 约 33 GB(官方 diffusers checkpoint) | 全部常驻 16.0 GB;每个 prompt 加载文本编码器时峰值 8.5 GB,另加工作缓冲区(生成一张 768x512 图像实测峰值 9.0 GB) | 不需要;可选 Vulkan,尚未在 GPU 上计时 |>@@ -449,7 +449,7 @@ GLM-5.2 是参考模型,但同样的流式方法还能运行另外九个语言| 家族 | 总参数 / 激活参数 | 权重 | 构建 | 文档 ||---|---|---|---|---|-| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/…-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp)(372 GB)或 [`Justvugg/GLM-5.3-colibri-int4-g64`](https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64)(419 GB) | `make -C c glm` | 本页 |+| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/…-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp)(429 GB)或 [`Justvugg/GLM-5.3-colibri-int4-g64`](https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64)(419 GB) | `make -C c glm` | 本页 || **Inkling**(Thinking Machines) | 975B / 41B | [`nbeerbower/Inkling-colibri-int4`](https://huggingface.co/nbeerbower/Inkling-colibri-int4)(469 GB) | `make -C c inkling` | [inkling.md](docs/inkling.md) || **GLM-5.3-Flash**(Z.ai) | 321B / 18B | [`zai-org/GLM-5.3-Flash`](https://huggingface.co/zai-org/GLM-5.3-Flash),路由专家转换为 **int4-gs64**,稠密部分保持 BF16,精度在加载时选择;含视觉 | `make -C c glm53` | [glm53-flash.md](docs/glm53-flash.md) || **Kimi K3**(Moonshot) | 2.8T / 104B | [`moonshotai/Kimi-K3`](https://huggingface.co/moonshotai/Kimi-K3),原始 checkpoint,路由专家保持**原生 MXFP4** | `make -C c kimi_k3` | [kimi_k3.md](docs/kimi_k3.md) |@@ -458,7 +458,7 @@ GLM-5.2 是参考模型,但同样的流式方法还能运行另外九个语言| **MiMo-V2.6 Flash**(Xiaomi) | 309B / 15B | [`XiaomiMiMo/MiMo-V2.6-Flash-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Flash-MOPD)(178 GB),官方 checkpoint,**无需转换**:路由专家保持**原生 MXFP4**,稠密部分保持 FP8/BF16。48 层中有 39 层只关注 128 个 token 的窗口,因此长上下文只需 9 层的 KV。支持视觉与工具调用 | `make -C c mimo` | [mimo.md](docs/mimo.md) || **MiMo-V2.6 Pro**(Xiaomi) | 1.02T / 42B | [`XiaomiMiMo/MiMo-V2.6-Pro-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-MOPD)(573.5 GB),官方 checkpoint,**无需转换**,运行在 MiMo 引擎上:同一架构,70 层、384 个专家。已在 70 层中的前 32 层上与 Xiaomi 自己的建模代码对照验证。支持视觉与工具调用 | `make -C c mimo` | [mimo.md](docs/mimo.md#pro) || **Qwen3.8-Flash-Next**(Alibaba) | 125B + 51B n-gram / 6B | [`Qwen/Qwen3.8-Flash-Next-FP8`](https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8),原始 checkpoint;PLE 保持可分页,专家保持**原生 block-FP8**,或从可选的 sidecar 以 **int4-g64** 读取(见下文)。可选 MTP 草稿(`Q38_MTP=1`) | `make -C c qwen38`(VRAM 专家层级需 `CUDA=1`) | [qwen38.md](docs/qwen38.md) |-| **Qwen3.6**(Alibaba) | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64)(约 20 GB,**推荐**),Gated Attention + Gated DeltaNet 混合架构 | `make -C c qwen36`(VRAM 专家层级需 `CUDA=1`) | [qwen36.md](docs/qwen36.md) |+| **Qwen3.6**(Alibaba) | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64)(约 23 GB,**推荐**),Gated Attention + Gated DeltaNet 混合架构 | `make -C c qwen36`(VRAM 专家层级需 `CUDA=1`) | [qwen36.md](docs/qwen36.md) || **Qwen3.8-27B**(Alibaba) | 27B,稠密 | 用 `c/tools/convert_qwen36.py` 将 [`Qwen/Qwen3.8-27B`](https://huggingface.co/Qwen/Qwen3.8-27B) 转换为 f16 容器(51 GB);引擎在加载时将其量化为 int8,设置 `COLI_DENSE_BITS=4` 时量化为 int4。每层一个 MLP,没有路由器,运行在 Qwen3.6 引擎上。支持文本与图像 | `make -C c qwen36` | [qwen36.md](docs/qwen36.md#the-dense-27b) || **Qwen3-Coder-30B-A3B**(Alibaba) | 30B / 3B | [`Justvugg/Qwen3-Coder-30B-A3B-colibri-int4`](https://huggingface.co/Justvugg/Qwen3-Coder-30B-A3B-colibri-int4)(19 GB,int4-gs64),由 [`Qwen/Qwen3-Coder-30B-A3B-Instruct`](https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct) 转换而来。运行在 Qwen3.6 引擎上的全注意力 Qwen3 MoE,128 个专家 top-8,有自己的 XML 工具调用格式,不带思考;在 teacher forcing 下,int4 容器在 96.9% 的位置上选出与 bf16 发布版相同的 top-1 token | `make -C c qwen36` | [qwen36.md](docs/qwen36.md#qwen3-coder-30b-a3b) || **OLMoE**(AI2) | 7B / 1B | 用 `c/tools/convert_olmoe_merged.py` 转换,**int8** 容器,约 7 GB | `make -C c olmoe` | 无 |diff --git a/README.zh-TW.md b/README.zh-TW.mdindex 7c41a3bc..d7ff606f 100644--- a/README.zh-TW.md+++ b/README.zh-TW.md@@ -327,7 +327,7 @@ context 內積改為累加整數乘積並只捨入一次,因此驗證列中的## 開始使用-你需要兩樣東西:**程式本體**(幾百 KB)與**模型**(372 GB)。各平台的逐步+你需要兩樣東西:**程式本體**(幾百 KB)與**模型**(429 GB)。各平台的逐步指引請見 [Quick Start 指南](docs/quickstart.md)。### 一步完成@@ -381,7 +381,7 @@ git clone https://github.com/JustVugg/colibri && cd colibri/c### 2. 取得模型Hugging Face 上已有預先轉換的 **GLM-5.2 int4** 容器——請務必使用-**含 int8 MTP head 的 group-scaled(gs64)版本**。它約為 **372 GB**,請放在空間足夠的硬碟上,最好是快碟:+**含 int8 MTP head 的 group-scaled(gs64)版本**。它約為 **429 GB**,請放在空間足夠的硬碟上,最好是快碟:**https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp**@@ -422,7 +422,7 @@ GLM-5.2 是參考模型,但同樣的串流方法還能執行另外九個語言> | 模型 | 權重所需硬碟空間 | RAM | GPU |> |---|---|---|---|> | **OLMoE** | 約 7 GB(int8 容器) | 8 GB | 不需要;可選用 Vulkan |-> | **GLM-5.2/5.3** | 約 372 GB(5.2)/約 419 GB(5.3) | 最低 16 GB,舒適 24 GB | 不需要;可選用 Vulkan |+> | **GLM-5.2/5.3** | 約 429 GB(5.2)/約 419 GB(5.3) | 最低 16 GB,舒適 24 GB | 不需要;可選用 Vulkan |> | **GLM-5.3-Flash** | 轉換後約 195 GB | 25 GB(int4 權重 12 GB + 專家快取) | 不需要;可選用 Vulkan |> | **Inkling** | 約 469 GB | 使用 int4 稠密容器時 25 GB,不使用時約 120 GB | 不需要;可選用 Vulkan |> | **Kimi K3** | 約 1.6 TB | 32 GB 以上 | 不需要;可選用 Vulkan |@@ -432,7 +432,7 @@ GLM-5.2 是參考模型,但同樣的串流方法還能執行另外九個語言> | **MiMo-V2.6 Pro** | 約 574 GB(不含引擎從不載入的三個檔案時約 564 GB) | 稠密部分按發布格式為 30.2 GiB,int8 下為 21.7 GiB;每層快取 12 個專家時實測常駐 48.0 GB(稠密部分按發布格式),20 個時 50.7 GB(稠密部分為 int8) | 不需要;可選用 Vulkan |> | **Qwen3.8-Flash-Next** | 約 185.5 GB(官方 FP8 checkpoint),選用的 int4-g64 專家 sidecar 另需 68.0 GB | 使用 FP8 專家、預設上下文時舒適為 24 GB(cap 32;16 GB 低於下限);使用 int4-g64 sidecar 時 cap 32 實測 RSS 11.6 GB | 選用;CUDA VRAM 專家層級(僅限 FP8 專家),稠密主幹在 VRAM 中量化為 int8;可選用 Vulkan |> | **Qwen3.8-27B**(稠密,文字與圖像) | 轉換後約 51 GB(f16) | 稠密權重為 int4 時 20 GB,int8 時 30 GB | 不需要;尚無 CUDA 層級;可選用 Vulkan |-> | **Qwen3.6-35B-A3B** | 約 20 GB(int4-gs64 容器) | 24 GB(需要完全常駐 RAM) | 選用;CUDA VRAM 專家層級在兩張 8 GB 顯示卡上實測 **1.44 -> 10.05 tok/s(7.0x)**,輸出與 CPU 逐位元一致;可選用 Vulkan |+> | **Qwen3.6-35B-A3B** | 約 23 GB(int4-gs64 容器) | 24 GB(需要完全常駐 RAM) | 選用;CUDA VRAM 專家層級在兩張 8 GB 顯示卡上實測 **1.44 -> 10.05 tok/s(7.0x)**,輸出與 CPU 逐位元一致;可選用 Vulkan |> | **Qwen3-Coder-30B-A3B** | 約 19 GB(int4-gs64 容器;int8 為 30 GB) | 每層快取 32 個專家時實測常駐 6.5 GB,全部 128 個時 15.2 GB | 不需要;可選用 Vulkan |> | **Qwen-Image-2.1**(文字生成圖像) | 約 33 GB(官方 diffusers checkpoint) | 全部常駐 16.0 GB;每個 prompt 載入文字編碼器時峰值 8.5 GB,另加工作緩衝區(生成一張 768x512 圖像實測峰值 9.0 GB) | 不需要;可選用 Vulkan,尚未在 GPU 上計時 |>@@ -450,7 +450,7 @@ GLM-5.2 是參考模型,但同樣的串流方法還能執行另外九個語言| 家族 | 總參數 / 啟用參數 | 權重 | 建置 | 文件 ||---|---|---|---|---|-| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/…-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp)(372 GB)或 [`Justvugg/GLM-5.3-colibri-int4-g64`](https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64)(419 GB) | `make -C c glm` | 本頁 |+| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/…-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp)(429 GB)或 [`Justvugg/GLM-5.3-colibri-int4-g64`](https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64)(419 GB) | `make -C c glm` | 本頁 || **Inkling**(Thinking Machines) | 975B / 41B | [`nbeerbower/Inkling-colibri-int4`](https://huggingface.co/nbeerbower/Inkling-colibri-int4)(469 GB) | `make -C c inkling` | [inkling.md](docs/inkling.md) || **GLM-5.3-Flash**(Z.ai) | 321B / 18B | [`zai-org/GLM-5.3-Flash`](https://huggingface.co/zai-org/GLM-5.3-Flash),路由專家轉換為 **int4-gs64**,稠密部分保持 BF16,精度在載入時選擇;含視覺 | `make -C c glm53` | [glm53-flash.md](docs/glm53-flash.md) || **Kimi K3**(Moonshot) | 2.8T / 104B | [`moonshotai/Kimi-K3`](https://huggingface.co/moonshotai/Kimi-K3),原始 checkpoint,路由專家保持**原生 MXFP4** | `make -C c kimi_k3` | [kimi_k3.md](docs/kimi_k3.md) |@@ -459,7 +459,7 @@ GLM-5.2 是參考模型,但同樣的串流方法還能執行另外九個語言| **MiMo-V2.6 Flash**(Xiaomi) | 309B / 15B | [`XiaomiMiMo/MiMo-V2.6-Flash-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Flash-MOPD)(178 GB),官方 checkpoint,**無需轉換**:路由專家保持**原生 MXFP4**,稠密部分保持 FP8/BF16。48 層中有 39 層只關注 128 個 token 的視窗,因此長上下文只需 9 層的 KV。支援視覺與工具呼叫 | `make -C c mimo` | [mimo.md](docs/mimo.md) || **MiMo-V2.6 Pro**(Xiaomi) | 1.02T / 42B | [`XiaomiMiMo/MiMo-V2.6-Pro-MOPD`](https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Pro-MOPD)(573.5 GB),官方 checkpoint,**無需轉換**,執行在 MiMo 引擎上:同一架構,70 層、384 個專家。已在 70 層中的前 32 層上與 Xiaomi 自己的建模程式碼對照驗證。支援視覺與工具呼叫 | `make -C c mimo` | [mimo.md](docs/mimo.md#pro) || **Qwen3.8-Flash-Next**(Alibaba) | 125B + 51B n-gram / 6B | [`Qwen/Qwen3.8-Flash-Next-FP8`](https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8),原始 checkpoint;PLE 保持可分頁,專家保持**原生 block-FP8**,或從選用的 sidecar 以 **int4-g64** 讀取(見下文)。可選用 MTP 草稿(`Q38_MTP=1`) | `make -C c qwen38`(VRAM 專家層級需 `CUDA=1`) | [qwen38.md](docs/qwen38.md) |-| **Qwen3.6**(Alibaba) | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64)(約 20 GB,**推薦**),Gated Attention + Gated DeltaNet 混合架構 | `make -C c qwen36`(VRAM 專家層級需 `CUDA=1`) | [qwen36.md](docs/qwen36.md) |+| **Qwen3.6**(Alibaba) | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64)(約 23 GB,**推薦**),Gated Attention + Gated DeltaNet 混合架構 | `make -C c qwen36`(VRAM 專家層級需 `CUDA=1`) | [qwen36.md](docs/qwen36.md) || **Qwen3.8-27B**(Alibaba) | 27B,稠密 | 以 `c/tools/convert_qwen36.py` 將 [`Qwen/Qwen3.8-27B`](https://huggingface.co/Qwen/Qwen3.8-27B) 轉換為 f16 容器(51 GB);引擎在載入時將其量化為 int8,設定 `COLI_DENSE_BITS=4` 時量化為 int4。每層一個 MLP,沒有路由器,執行在 Qwen3.6 引擎上。支援文字與圖像 | `make -C c qwen36` | [qwen36.md](docs/qwen36.md#the-dense-27b) || **Qwen3-Coder-30B-A3B**(Alibaba) | 30B / 3B | [`Justvugg/Qwen3-Coder-30B-A3B-colibri-int4`](https://huggingface.co/Justvugg/Qwen3-Coder-30B-A3B-colibri-int4)(19 GB,int4-gs64),由 [`Qwen/Qwen3-Coder-30B-A3B-Instruct`](https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct) 轉換而來。執行在 Qwen3.6 引擎上的全注意力 Qwen3 MoE,128 個專家 top-8,有自己的 XML 工具呼叫格式,不帶思考;在 teacher forcing 下,int4 容器在 96.9% 的位置上選出與 bf16 發布版相同的 top-1 token | `make -C c qwen36` | [qwen36.md](docs/qwen36.md#qwen3-coder-30b-a3b) || **OLMoE**(AI2) | 7B / 1B | 以 `c/tools/convert_olmoe_merged.py` 轉換,**int8** 容器,約 7 GB | `make -C c olmoe` | 無 |diff --git a/docs/qwen36.md b/docs/qwen36.mdindex a297947c..d0b5a674 100644--- a/docs/qwen36.md+++ b/docs/qwen36.md@@ -13,7 +13,7 @@ KAT-Coder-V2.5-Dev) run on this engine unchanged.## Quickstart-Pre-converted containers (int4 experts, self-contained, ~20 GB):+Pre-converted containers (int4 experts, self-contained, ~23 GB):```sh# group-scaled int4 (gs64) — recommended, see "Which container" belowdiff --git a/site/index.html b/site/index.htmlindex d912f13d..1f7c5ba2 100644--- a/site/index.html+++ b/site/index.html@@ -276,7 +276,7 @@ footer{border-top:1px solid var(--line)}<p class="d">The model colibri was built around. 78 layers, 256 routed experts, streamed from disk on a machine that could never hold them. GLM-5.3 is the same base model on the same engine, from its own container, which has no MTP head.</p><div class="tg"><span class="">MoE</span><span class="e">int4</span><span class="g">MLA</span><span class="a">MTP</span></div><div class="mm"><span><svg viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="1.7"><rect x="4" y="4" width="16" height="16" rx="2"/><path d="M9 9h6v6H9z"/></svg>744B total</span><span><svg viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="1.7"><path d="M13 2 4 14h7l-1 8 9-12h-7z"/></svg>40B active</span>- <a href="https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp"><svg viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="1.7"><path d="M12 3v12m0 0 4-4m-4 4-4-4M4 19h16"/></svg>container, 372 GB</a><a href="https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64"><svg viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="1.7"><path d="M12 3v12m0 0 4-4m-4 4-4-4M4 19h16"/></svg>GLM-5.3 container, 419 GB</a><a href="https://huggingface.co/zai-org/GLM-5.2-FP8">upstream</a>+ <a href="https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp"><svg viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="1.7"><path d="M12 3v12m0 0 4-4m-4 4-4-4M4 19h16"/></svg>container, 429 GB</a><a href="https://huggingface.co/Justvugg/GLM-5.3-colibri-int4-g64"><svg viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="1.7"><path d="M12 3v12m0 0 4-4m-4 4-4-4M4 19h16"/></svg>GLM-5.3 container, 419 GB</a><a href="https://huggingface.co/zai-org/GLM-5.2-FP8">upstream</a><span><svg viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="1.7"><path d="M14 3H7a2 2 0 0 0-2 2v14a2 2 0 0 0 2 2h10a2 2 0 0 0 2-2V8z"/><path d="M14 3v5h5"/></svg>colibri.c</span></div><div class="mget"><code>hf download mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp --local-dir ~/Models/glm52_i4</code><button class="cp" type="button">copy</button></div><div class="mget"><code>hf download Justvugg/GLM-5.3-colibri-int4-g64 --local-dir ~/Models/glm53_i4</code><button class="cp" type="button">copy</button></div>@@ -355,7 +355,7 @@ footer{border-top:1px solid var(--line)}</article><article class="mrow" data-find="qwen3.6-35b-a3b qwen3.6-35b-a3b qwen36 alibaba qwen36.c moe int4-gs64 deltanet cuda tier" data-tags="moe int4-gs64 deltanet cuda tier"><h3><a href="https://github.com/JustVugg/colibri/blob/main/docs/qwen36.md">qwen3.6-35b-a3b</a></h3>- <p class="d">The one to start with: 20 GB on disk, gated attention interleaved with gated DeltaNet. With CUDA=1 the VRAM expert tier measured 1.44 to 10.05 tok/s on two 8 GB cards, output bit-identical to the CPU path.</p>+ <p class="d">The one to start with: 23 GB on disk, gated attention interleaved with gated DeltaNet. With CUDA=1 the VRAM expert tier measured 1.44 to 10.05 tok/s on two 8 GB cards, output bit-identical to the CPU path.</p><div class="tg"><span class="">MoE</span><span class="e">int4-gs64</span><span class="g">DeltaNet</span><span class="a">CUDA tier</span></div><div class="mm"><span><svg viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="1.7"><rect x="4" y="4" width="16" height="16" rx="2"/><path d="M9 9h6v6H9z"/></svg>35B total</span><span><svg viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="1.7"><path d="M13 2 4 14h7l-1 8 9-12h-7z"/></svg>3B active</span><a href="https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64"><svg viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="1.7"><path d="M12 3v12m0 0 4-4m-4 4-4-4M4 19h16"/></svg>container, 20 GB</a><a href="https://huggingface.co/Qwen/Qwen3.6-35B-A3B">upstream</a>