Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
C
docs: the READMEs no longer name Kimi K3's own Vulkan tier
JustVuggd2bb27b54e7b
diff --git a/README.it.md b/README.it.mdindex b22891d1..7a3e5349 100644--- a/README.it.md+++ b/README.it.md@@ -499,8 +499,8 @@ altre nove famiglie di modelli linguistici, e un motore genera immagini. Ognuna>> **Vulkan opzionale** significa una build `VK=1`. Avviato con `COLI_VULKAN=1`, il> motore mette le sue matrici residenti su qualsiasi GPU con un driver Vulkan 1.2-> (GLM-5.2 ha lì un percorso di decode completo, Kimi K3 un suo livello di expert,-> `K3_VK`), e la CI verifica quei motori contro i token della CPU su un driver+> (GLM-5.2 ha lì un percorso di decode completo), e la CI verifica quei motori+> contro i token della CPU su un driver> software ([vulkan.md](docs/vulkan.md#the-other-engines)). Corretto non vuol dire> ancora più veloce. Sulla prima GPU reale misurata per questi motori, una Radeon> 780M integrata (Ryzen 7 PRO 8700GE, stessi binari, page cache fredda), oggi è più@@ -557,8 +557,9 @@ possono attivare i checkpoint dello stato ricorrente (`COLI_K3_CKPT=N` slot in Ro parcheggiati su disco con `COLI_K3_CKPT_DIR`): un prompt modificato o difollow-up ripristina il checkpoint più profondo ancora disponibile e rifà ilprefill solo della coda, invece di ripercorrere l'intera conversazione attraverso i-layer SSM. Sugli host Vulkan `K3_VK_UP=auto` dimensiona il caricamento del livello-degli expert in base alla banda misurata. I percorsi KDA e MLA del motore sono+layer SSM. Sugli host Vulkan (`COLI_VULKAN=1`) i suoi expert instradati entrano nel+livello di expert condiviso, riempito dalla storia degli expert e aggiornato man mano+che il routing cambia. I percorsi KDA e MLA del motore sonovalidati token-esatti in CI contro l'implementazione del vendor.Inkling distribuisce expert int4 ma **pesi densi bf16** (49,4 GB residenti); su undiff --git a/README.ja.md b/README.ja.mdindex 3dfbd590..bb99c535 100644--- a/README.ja.md+++ b/README.ja.md@@ -460,8 +460,8 @@ GLM-5.2 がリファレンスモデルですが、同じストリーミング手> 高速なドライブでキャッシュが温まっていれば 1 秒あたり数トークンを想定してください。>> **Vulkan はオプトイン** とは `VK=1` ビルドのことです。`COLI_VULKAN=1` で実行すると、エンジンは常駐行列を-> Vulkan 1.2 ドライバを持つ任意の GPU に置きます(GLM-5.2 はそこに完全なデコード経路を持ち、Kimi K3 は-> 独自のエキスパートティア `K3_VK` を持ちます)。CI はそれらのエンジンをソフトウェアドライバ上で CPU の+> Vulkan 1.2 ドライバを持つ任意の GPU に置きます(GLM-5.2 はそこに完全なデコード経路を持ちます)。+> CI はそれらのエンジンをソフトウェアドライバ上で CPU の> トークンと照合しています([vulkan.md](docs/vulkan.md#the-other-engines))。正しいことと速いことはまだ> 別です。これらのエンジンで最初に計測した実 GPU である内蔵 Radeon 780M(Ryzen 7 PRO 8700GE、同じ> バイナリ、コールドなページキャッシュ)では、現時点では CPU より遅くなっています: Qwen3.6-35B-A3B の@@ -509,8 +509,9 @@ Kimi K3 は変換不要です。QAT で学習された MXFP4 エキスパートリカレント状態のチェックポイントをオプトインできます(RAM 上に `COLI_K3_CKPT=N` スロット、または`COLI_K3_CKPT_DIR` でディスクに退避)。編集されたプロンプトやフォローアッププロンプトは、残っている最も深いチェックポイントを復元して末尾だけを再プリフィルするため、会話全体を SSM レイヤーで-再生し直す必要がありません。Vulkan ホストでは `K3_VK_UP=auto` が、計測された帯域幅から-エキスパートティアのアップロード量を決めます。エンジンの KDA と MLA の経路は、CI でベンダー実装に+再生し直す必要がありません。Vulkan ホスト(`COLI_VULKAN=1`)では、ルーティングされたエキスパートが+共有のエキスパートティアに載り、エキスパート履歴から埋められ、ルーティングの変化に合わせて+入れ替わります。エンジンの KDA と MLA の経路は、CI でベンダー実装に対してトークン単位で完全一致することが検証されています。Inkling は int4 のエキスパートと **bf16 の密な重み**(常駐 49.4 GB)で提供されています。それをdiff --git a/README.md b/README.mdindex 828771fd..52d01a69 100644--- a/README.md+++ b/README.md@@ -480,7 +480,7 @@ or from `model_index.json` for the image model):>> **Vulkan opt-in** means a `VK=1` build. Run with `COLI_VULKAN=1`, the engine> puts its resident matrices on any GPU with a Vulkan 1.2 driver (GLM-5.2 has a-> full decode path there, Kimi K3 its own expert tier, `K3_VK`), and CI checks+> full decode path there), and CI checks> those engines against the CPU's tokens on a software driver> ([vulkan.md](docs/vulkan.md#the-other-engines)). Correct is not yet faster. On> the first real GPU measured for these engines, an integrated Radeon 780M (Ryzen 7@@ -533,7 +533,8 @@ Long agent sessions can opt into recurrent-state checkpoints (`COLI_K3_CKPT=N`slots in RAM, or parked on disk with `COLI_K3_CKPT_DIR`): an edited or follow-upprompt restores the deepest surviving checkpoint and re-prefills only the tail,instead of replaying the whole conversation through the SSM layers. On Vulkan-hosts `K3_VK_UP=auto` sizes the expert tier upload from measured bandwidth. The+hosts (`COLI_VULKAN=1`) its routed experts join the shared expert tier, filled from+the expert history and evicting as the routing moves. Theengine's KDA and MLA paths are validated token-exact in CI against the vendorimplementation.diff --git a/README.zh-CN.md b/README.zh-CN.mdindex 5f119952..ded0c3c1 100644--- a/README.zh-CN.md+++ b/README.zh-CN.md@@ -416,8 +416,8 @@ GLM-5.2 是参考模型,但同样的流式方法还能运行另外九个语言> 流式读取的:慢盘上每秒不到一个 token,快盘在缓存预热后每秒几个 token。>> **可选 Vulkan** 指的是 `VK=1` 构建。以 `COLI_VULKAN=1` 运行时,引擎会把常驻矩阵放到任何-> 具有 Vulkan 1.2 驱动的 GPU 上(GLM-5.2 在那里有完整的解码路径,Kimi K3 有自己的专家层级-> `K3_VK`),CI 在软件驱动上将这些引擎与 CPU 的 token 对照检查+> 具有 Vulkan 1.2 驱动的 GPU 上(GLM-5.2 在那里有完整的解码路径),CI 在软件驱动上将这些+> 引擎与 CPU 的 token 对照检查> ([vulkan.md](docs/vulkan.md#the-other-engines))。正确还不等于更快。在这些引擎首次实测的> 真实 GPU,即集成显卡 Radeon 780M(Ryzen 7 PRO 8700GE,同样的二进制文件,冷页缓存)上,> 目前比 CPU 慢:Qwen3.6-35B-A3B 解码 3.06 tok/s,CPU 为 5.97,输出完全相同;使用 int4 专家的@@ -461,8 +461,9 @@ cap 170 时从 4.15 到 4.74)。在那台机器上收益不大,因为从磁Kimi K3 无需转换:其 QAT 训练的 MXFP4 专家直接从原始 Hugging Face shard 流式读取,bf16 稠密部分在加载时量化。长时间的 agent 会话可以选用循环状态检查点(RAM 中 `COLI_K3_CKPT=N` 个 slot,或用`COLI_K3_CKPT_DIR` 存到磁盘):编辑过的或后续的 prompt 会恢复仍然保留的最深检查点,只对尾部重新-prefill,而不是让整个对话重新经过 SSM 层回放。在 Vulkan 主机上,`K3_VK_UP=auto` 根据实测带宽-决定专家层级的上传量。引擎的 KDA 与 MLA 路径在 CI 中与厂商实现逐 token 对照验证。+prefill,而不是让整个对话重新经过 SSM 层回放。在 Vulkan 主机上(`COLI_VULKAN=1`),路由专家进入+共享的专家层级:按专家历史预先填充,并随路由变化逐出。引擎的 KDA 与 MLA 路径在 CI 中与厂商实现逐+token 对照验证。Inkling 提供 int4 专家,但稠密权重为 **bf16**(常驻 49.4 GB);对于放不下这些权重的主机,[inkling.md](docs/inkling.md) 提供一个单次处理工具,把稠密部分降到 15.3 GB,让 975B 能在diff --git a/README.zh-TW.md b/README.zh-TW.mdindex 8b70e84e..8af6c6d4 100644--- a/README.zh-TW.md+++ b/README.zh-TW.md@@ -417,8 +417,8 @@ GLM-5.2 是參考模型,但同樣的串流方法還能執行另外九個語言> 串流讀取的:慢速硬碟上每秒不到一個 token,快速硬碟在快取預熱後每秒幾個 token。>> **可選用 Vulkan** 指的是 `VK=1` 建置。以 `COLI_VULKAN=1` 執行時,引擎會把常駐矩陣放到任何-> 具有 Vulkan 1.2 驅動程式的 GPU 上(GLM-5.2 在那裡有完整的解碼路徑,Kimi K3 有自己的專家層級-> `K3_VK`),CI 在軟體驅動程式上將這些引擎與 CPU 的 token 對照檢查+> 具有 Vulkan 1.2 驅動程式的 GPU 上(GLM-5.2 在那裡有完整的解碼路徑),CI 在軟體驅動程式上將+> 這些引擎與 CPU 的 token 對照檢查> ([vulkan.md](docs/vulkan.md#the-other-engines))。正確還不等於更快。在這些引擎首次實測的> 真實 GPU,即內建顯示晶片 Radeon 780M(Ryzen 7 PRO 8700GE,同樣的二進位檔,冷頁面快取)上,> 目前比 CPU 慢:Qwen3.6-35B-A3B 解碼 3.06 tok/s,CPU 為 5.97,輸出完全相同;使用 int4 專家的@@ -462,8 +462,9 @@ cap 170 時從 4.15 到 4.74)。在那台機器上收益不大,因為從硬Kimi K3 無需轉換:其 QAT 訓練的 MXFP4 專家直接從原始 Hugging Face shard 串流讀取,bf16 稠密部分在載入時量化。長時間的 agent 工作階段可以選用循環狀態檢查點(RAM 中 `COLI_K3_CKPT=N` 個 slot,或用`COLI_K3_CKPT_DIR` 存到硬碟):編輯過的或後續的 prompt 會恢復仍然保留的最深檢查點,只對尾端重新-prefill,而不是讓整個對話重新經過 SSM 層回放。在 Vulkan 主機上,`K3_VK_UP=auto` 根據實測頻寬-決定專家層級的上傳量。引擎的 KDA 與 MLA 路徑在 CI 中與廠商實作逐 token 對照驗證。+prefill,而不是讓整個對話重新經過 SSM 層回放。在 Vulkan 主機上(`COLI_VULKAN=1`),路由專家進入+共享的專家層級:依專家歷史預先填入,並隨路由變化逐出。引擎的 KDA 與 MLA 路徑在 CI 中與廠商實作逐+token 對照驗證。Inkling 提供 int4 專家,但稠密權重為 **bf16**(常駐 49.4 GB);對於放不下這些權重的主機,[inkling.md](docs/inkling.md) 提供一個單次處理工具,把稠密部分降到 15.3 GB,讓 975B 能在