Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
C
docs: how to turn the GPU on or off, with the Iris Xe's numbers
JustVuggd76e9fb2836f
diff --git a/README.id.md b/README.id.mdindex 9ebd44e2..8051b8c4 100644--- a/README.id.md+++ b/README.id.md@@ -316,6 +316,16 @@ Qwen3-Coder, dan Qwen3.8-Flash-Next, dan setiap engine memutuskan sendiri apakahdense chain dijalankan di sana (Qwen3.6 ya, Qwen3.8 tidak). `--backend vulkan`tetap meminta Vulkan secara eksplisit.+**Menyalakan atau mematikan GPU.** `coli setup --backend vulkan` memakai GPU untuk+model apa pun, dan `coli setup --backend cpu` (atau `--no-gpu`) menjalankan+semuanya di CPU. Engine yang di-build dengan Vulkan memakai GPU hanya jika ada+`COLI_VULKAN=1` di environment `coli chat`, `serve` atau `web` (proses penyiapan+mengaturnya ketika memilih Vulkan); tanpanya, engine berjalan di CPU. Dengan GPU+menyala, `COLI_VK_CHAIN=0` mempertahankan expert tier dan menjalankan layer dense+di CPU. Pada GPU terintegrasi, coba keduanya: pada laptop dengan Intel Iris Xe+(Core i7-1355U), Qwen3.6 mendekode 2,1 tok/s di CPU, 1,7 sampai 1,9 dengan Vulkan,+dan 2,1 dengan dense chain dimatikan.+Pada GPU diskret, proses penyiapan membuat build Vulkan untuk setiap engine(CUDA terlebih dahulu jika engine memilikinya dan toolkit sudah terinstal),dengan layer dense berada di kartu. Inilah skenario yang menjadi sasaran desaindiff --git a/README.it.md b/README.it.mdindex b3f36ae7..04c624b4 100644--- a/README.it.md+++ b/README.it.md@@ -307,6 +307,16 @@ GPU integrata solo per Qwen3.6, Qwen3-Coder e Qwen3.8-Flash-Next, e perché ognimotore decide da sé se usare lì la catena densa (Qwen3.6 sì, Qwen3.8 no).`--backend vulkan` chiede Vulkan comunque.+**Accendere o spegnere la GPU.** `coli setup --backend vulkan` usa la GPU per+qualunque modello, e `coli setup --backend cpu` (o `--no-gpu`) tiene tutto sulla+CPU. Un motore compilato con Vulkan usa la GPU solo con `COLI_VULKAN=1`+nell'ambiente di `coli chat`, `serve` o `web` (l'installazione lo imposta quando ha+scelto Vulkan); senza, il motore gira sulla CPU. Con la GPU accesa, `COLI_VK_CHAIN=0`+tiene il tier degli expert e fa girare gli strati densi sulla CPU. Su una GPU+integrata prova entrambe le strade: su un portatile con una Intel Iris Xe (Core+i7-1355U) Qwen3.6 ha decodificato a 2,1 tok/s sulla CPU, da 1,7 a 1,9 con Vulkan+e 2,1 con la catena densa spenta.+Su una GPU dedicata l'installazione compila Vulkan per ogni motore (prima CUDA,dove il motore ce l'ha e il toolkit è installato), con i layer densi sullascheda. È il caso per cui il progetto è pensato. **Non abbiamo ancora misuratodiff --git a/README.ja.md b/README.ja.mdindex f1f9efef..9a1b8e38 100644--- a/README.ja.md+++ b/README.ja.md@@ -210,6 +210,8 @@ Mixture-of-Experts モデルは、ディスク上では巨大でも、1 トー内蔵 GPU は CPU と RAM を共有しています。内蔵 GPU が節約するのは、保持しているエキスパートの計算とディスク読み込みです。そのため Qwen3.6 のようなモデルでは効果がありますが、OLMoE のようにエキスパートがすでに RAM にある小さなモデルでは、かえって遅くなることがあります。だからセットアップは、内蔵 GPU では Qwen3.6、Qwen3-Coder、Qwen3.8-Flash-Next の場合にだけ Vulkan を有効にし、各エンジンもそこで密チェーンを動かすかどうかを自分で判断します(Qwen3.6 は動かし、Qwen3.8 は動かしません)。それでも Vulkan を使いたい場合は `--backend vulkan` を指定します。+**GPU のオンとオフ。** `coli setup --backend vulkan` はどのモデルでも GPU を使い、`coli setup --backend cpu`(または `--no-gpu`)はすべてを CPU で動かします。Vulkan 付きでビルドしたエンジンが GPU を使うのは、`coli chat`、`serve`、`web` の環境に `COLI_VULKAN=1` があるときだけです(セットアップが Vulkan を選んだときは自動で設定します)。なければ CPU で動きます。GPU がオンのとき、`COLI_VK_CHAIN=0` はエキスパートの層 (tier) をそのままにして、密な層を CPU で動かします。内蔵 GPU では両方試してください:Intel Iris Xe(Core i7-1355U)のノートパソコンでは、Qwen3.6 のデコードは CPU で 2.1 tok/s、Vulkan で 1.7〜1.9、密チェーンをオフにして 2.1 でした。+ディスクリート GPU では、セットアップはすべてのエンジンを Vulkan 向けにビルドし(エンジンに CUDA の経路があり、ツールキットがインストールされている場合は CUDA が優先)、密レイヤーをカード上に置きます。これこそこの設計が想定しているケースです。**私たちはまだディスクリート GPU 自体を計測していません。** 最初の数値はあるユーザーから届いたもので、Tesla V100 16 GB 上の Qwen3.6 がエキスパートティアと密チェーンを使って 17 から 19 tok/s でした([#1852](https://github.com/JustVugg/colibri/issues/1852))。(これらより前の、GLM-5.2 の以前の Vulkan 経路は、ディスクリートの RX 9070 で 1.7-1.8 tok/s でデコードしました。)あなたのカードでの数値を歓迎します。**Resizable BAR のないカード** でも動くようになりました。そうしたカード(すべての Turing カード、発売時のファームウェアのままの Ampere カード、このオプションを無効にした古い AMD カード)では、CPU がカードのメモリに直接書き込めるのは約 256 MB だけです。colibri は現在、ステージングバッファを通して重みを自動でコピーします。この経路は、強制的に使わせる方法と、3 つのデバイスで小さなウィンドウをエミュレートする方法でテストされており、780M では計測できるほどのコストはありません。ただし、Resizable BAR のないカードではまだ計測されていません([vulkan.md](docs/vulkan.md#memory-placement-without-resizable-bar))。diff --git a/README.md b/README.mdindex 4a96d4ad..fb60c0cf 100644--- a/README.md+++ b/README.md@@ -292,6 +292,15 @@ Qwen3.8-Flash-Next, and why each engine decides for itself whether to run thedense chain there (Qwen3.6 yes, Qwen3.8 no). `--backend vulkan` asks for Vulkananyway.+**Turning the GPU on or off.** `coli setup --backend vulkan` uses the GPU for any+model, and `coli setup --backend cpu` (or `--no-gpu`) keeps everything on the+CPU. An engine built with Vulkan uses the GPU only with `COLI_VULKAN=1` in the+environment of `coli chat`, `serve` or `web` (the setup sets it when it chose+Vulkan); without it, the engine runs on the CPU. With the GPU on, `COLI_VK_CHAIN=0`+keeps the expert tier and runs the dense layers on the CPU. On an integrated GPU,+try both: on a laptop with an Intel Iris Xe (Core i7-1355U), Qwen3.6 decoded+2.1 tok/s on the CPU, 1.7 to 1.9 with Vulkan, and 2.1 with the dense chain off.+On a discrete GPU the setup builds Vulkan for every engine (CUDA first, wherethe engine has it and the toolkit is installed), with the dense layers on thecard. That is the case the design is for. **We have not measured a discretediff --git a/README.zh-CN.md b/README.zh-CN.mdindex 503bd17e..428cef8b 100644--- a/README.zh-CN.md+++ b/README.zh-CN.md@@ -206,6 +206,8 @@ Starting colibri集成显卡与 CPU 共用内存。它节省的是它所持有的那些专家的计算量和磁盘读取,因此在 Qwen3.6 这样的模型上有收益,而像 OLMoE 这样专家本来就在内存中的小模型,反而可能变慢。正因如此,安装程序只为 Qwen3.6、Qwen3-Coder 和 Qwen3.8-Flash-Next 在集成显卡上开启 Vulkan,并且每个引擎自行决定是否在集成显卡上运行稠密链(Qwen3.6 会,Qwen3.8 不会)。`--backend vulkan` 则无论如何都会使用 Vulkan。+**开启或关闭 GPU。** `coli setup --backend vulkan` 对任何模型都使用 GPU,`coli setup --backend cpu`(或 `--no-gpu`)则全部在 CPU 上运行。用 Vulkan 编译的引擎只有在 `coli chat`、`serve` 或 `web` 的环境中有 `COLI_VULKAN=1` 时才使用 GPU(安装程序选择 Vulkan 时会自动设置);没有它,引擎就在 CPU 上运行。GPU 开启时,`COLI_VK_CHAIN=0` 保留专家层 (tier),让稠密层在 CPU 上运行。在集成显卡上,两种都试一试:在一台 Intel Iris Xe(Core i7-1355U)笔记本上,Qwen3.6 在 CPU 上解码 2.1 tok/s,用 Vulkan 为 1.7 到 1.9,关闭稠密链后为 2.1。+在独立显卡上,安装程序会为每个引擎编译 Vulkan 版本(如果引擎有 CUDA 路径且装有 toolkit,则优先使用 CUDA),并把稠密层放在显卡上。这正是该设计所针对的情形。**我们自己还没有实测过独立显卡。**第一份数据来自一位用户:Qwen3.6 在 Tesla V100 16 GB 上,配合专家层级和稠密链,解码速度为 17 到 19 tok/s([#1852](https://github.com/JustVugg/colibri/issues/1852))。(在它们之前,GLM-5.2 较早的 Vulkan 路径在独立显卡 RX 9070 上的解码速度为 1.7-1.8 tok/s。)欢迎提供你的显卡上的数据。**没有 Resizable BAR 的显卡**现在也能用了。这类显卡(所有 Turing 显卡、使用首发固件的 Ampere 显卡、关闭了该选项的较旧 AMD 显卡)只允许 CPU 直接写入其显存中约 256 MB 的部分;colibri 现在会自动通过一个暂存缓冲区(staging buffer)把权重复制进去。这条路径已通过强制启用以及在三种设备上模拟小窗口进行了测试,在 780M 上没有可测量的开销;尚未在真正没有 Resizable BAR 的显卡上实测([vulkan.md](docs/vulkan.md#memory-placement-without-resizable-bar))。diff --git a/README.zh-TW.md b/README.zh-TW.mdindex db5ca66f..75beaeed 100644--- a/README.zh-TW.md+++ b/README.zh-TW.md@@ -288,6 +288,14 @@ Qwen3.8-Flash-Next 在內建顯示晶片上開啟 Vulkan,也是為什麼每個引擎會自行決定是否在那裡執行稠密鏈(Qwen3.6 會,Qwen3.8 不會)。`--backend vulkan` 則無論如何都會要求使用 Vulkan。+**開啟或關閉 GPU。** `coli setup --backend vulkan` 對任何模型都使用 GPU,+`coli setup --backend cpu`(或 `--no-gpu`)則全部在 CPU 上執行。用 Vulkan 建置的引擎+只有在 `coli chat`、`serve` 或 `web` 的環境中有 `COLI_VULKAN=1` 時才使用 GPU+(安裝程式選擇 Vulkan 時會自動設定);沒有它,引擎就在 CPU 上執行。GPU 開啟時,+`COLI_VK_CHAIN=0` 保留專家層 (tier),讓稠密層在 CPU 上執行。在內建顯示晶片上,+兩種都試試看:在一台 Intel Iris Xe(Core i7-1355U)筆電上,Qwen3.6 在 CPU 上解碼+2.1 tok/s,用 Vulkan 為 1.7 到 1.9,關閉稠密鏈後為 2.1。+在獨立顯示卡上,安裝程式會為每個引擎建置 Vulkan(若引擎有 CUDA 路徑且已安裝 toolkit,則優先使用 CUDA),並把稠密層放在顯示卡上。這正是此設計所針對的情況。**我們自己還沒有實測過獨立顯示卡。** 第一份數據來自一位使用者:Qwen3.6 在diff --git a/site/index.html b/site/index.htmlindex 66d123f4..735bd810 100644--- a/site/index.html+++ b/site/index.html@@ -503,7 +503,8 @@ cd colibri<p class="src">A GPU is optional on every engine. With Vulkan, any GPU keeps the hottestexperts and runs whole layers: on the integrated Radeon 780M of an 8-core desktop,Qwen3.6 went from 6.0 to 9.9 tok/s. A small model can lose on an integrated GPU, so the- setup turns it on only where it was measured faster; no discrete GPU has run the new+ setup turns it on only where it was measured faster (<code>coli setup --backend vulkan</code>+ or <code>--backend cpu</code> decides for you); no discrete GPU has run the newexpert tier yet. With CUDA, NVIDIA cards keep the hottest experts in VRAM. The releasearchives carry these backends ready to run: Vulkan on Linux and Windows, Metal on macOS,and a CUDA package for NVIDIA cards on Windows.