Skip to content

Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐊

C

docs: add Japanese README

Ikko Eltociear Ashimine90d115f007bb
diff --git a/README.it.md b/README.it.md
index a6329fea..ef689868 100644
--- a/README.it.md
+++ b/README.it.md
@@ -4,7 +4,7 @@
<p align="center">
<a href="https://discord.gg/RXV83nSZdk"><b>Discord</b></a> ·
- <a href="README.md">English</a> · <a href="README.zh-CN.md">简䜓䞭文</a> · <a href="README.zh-TW.md">繁體䞭文</a> · Italiano
+ <a href="README.md">English</a> · <a href="README.zh-CN.md">简䜓䞭文</a> · <a href="README.zh-TW.md">繁體䞭文</a> · Italiano · <a href="README.ja.md">日本語</a>
</p>
**Motore piccolo, modello immenso.** Esegui **modelli MoE di frontiera — da 744
diff --git a/README.ja.md b/README.ja.md
new file mode 100644
index 00000000..51c77847
--- /dev/null
+++ b/README.ja.md
@@ -0,0 +1,699 @@
+<p align="center">
+ <img src="assets/colibri-logo.svg" width="560" alt="colibrì — 小さな゚ンゞン、巚倧なモデル">
+</p>
+
+<p align="center">
+ <a href="https://justvugg.github.io/colibri"><img src="https://img.shields.io/badge/website-justvugg.github.io%2Fcolibri-1f6feb" alt="Website"></a>
+ <a href="https://github.com/JustVugg/colibri/releases"><img src="https://img.shields.io/github/v/release/JustVugg/colibri?color=2ea043" alt="Latest release"></a>
+</p>
+
+<p align="center">
+ <a href="https://justvugg.github.io/colibri"><b>Website</b></a> ·
+ <a href="https://discord.gg/RXV83nSZdk"><b>Discord</b></a> ·
+ <a href="README.md">English</a> · <a href="README.zh-CN.md">简䜓䞭文</a> · <a href="README.zh-TW.md">繁體䞭文</a> · <a href="README.it.md">Italiano</a> · 日本語
+</p>
+
+**小さな゚ンゞン、巚倧なモデル。** ストレヌゞ・RAM・VRAM を単䞀の掚論階局ずしお扱う
+AI メモリのマルチティア化こずで、**744B から 2.8T パラメヌタのフロンティア MoE モデル**を、
+コンシュヌマヌ向けや異皮混圚のハヌドりェア䞊で、゚ンゞン䟝存れロの玔粋な C で実行したす。
+
+珟圚動䜜するのは 9 ぀のファミリヌです: **GLM-5.2/5.3**744B、**GLM-5.3-Flash**321B、
+ビゞョン察応、**Inkling**975B、**Kimi K3**2.8T、**DeepSeek V4 Flash**284B、**DeepSeek V4.1 Flash**552B、ビゞョン察応、
+**Qwen3.8-Flash-Next**125B + 51B n-gram、**Qwen3.6**35B-A3B、そしお
+**OLMoE**7B——
+それぞれが C ファむル 1 ぀で、同じ `coli chat` / `coli serve` / `coli web` フロント゚ンドを共有したす。
+[党モデル䞀芧 ↓](#other-supported-models)
+
+> **Colibrì は今日すぐに動かせる掚論゚ンゞンであり、同時にオヌプンな研究
+> プラットフォヌムでもありたす。** 䞻な目暙は、゜フトりェアずハヌドりェアの境界党䜓——
+> モデルフォヌマット、メモリ階局、ストレヌゞ I/O、配眮、スケゞュヌリング、カヌネル、
+> 投機的デコヌド、CPU/GPU のオヌバヌラップ——にわたっお掚論偎の性胜を远求し、
+> 倧芏暡モデルが垌少なハヌドりェアに䟝存せず、より䜎コストで動くようにするこずです。
+
+Colibrì は VRAM・RAM・ストレヌゞを単䞀のマルチティア階局ずしお扱い、意図的に
+攻めたシステム䞊のアむデアを詊す堎ずなっおいたす。そのため **速床に SLA はありたせんが、
+セマンティクスは厳栌に保蚌したす**。実隓は再珟可胜な゚ンドツヌ゚ンドの蚈枬によっお
+採甚に倀するこずを瀺さなければならず、デフォルトのポリシヌは **モデルの粟床やルヌタヌの
+セマンティクスを黙っお倉曎するこずは決しおありたせん**。高速メモリが䞍足するず速床は
+萜ちるかもしれたせんが、それによっおモデルが密かに別物になるこずはあっおはなりたせん。
+
+```
+$ ./coli chat
+ 🐊 colibri v1.11.0 — GLM-5.2 · 744B MoE · int4 · streaming CPU
+ ✓ ready in 32s · resident 9.9 GB
+ › ciao!
+ ◆ Ciao! 😊 Come posso aiutarti oggi?
+```
+
+## 動䜜の様子
+
+<p align="center">
+ <img src="docs/media/colibri-dashboard.png" width="900" alt="colibrì Web ダッシュボヌド — ラむブメトリクス、ハヌドりェアパネル、゚キスパヌトのティア">
+</p>
+<p align="center"><em>Web ダッシュボヌド<code>./coli web</code>: 744B モデルが <strong>4 tok/s、TTFT 1.6 秒、ディスク 0</strong> で動䜜 —
+6× RTX 5090 䞊で゚キスパヌトを完党垞駐させ、ラむブのトヌクンメトリクス、タヌンごずの時間内蚳、
+VRAM/RAM/ディスクのティアバヌ、隅にはラむブのミニ脳を衚瀺しおいたす。</em></p>
+
+<p align="center">
+ <img src="docs/media/colibri-brain.png" width="900" alt="Brain ペヌゞ — 19,456 個の゚キスパヌトを生きた皮質ずしお衚瀺">
+</p>
+<p align="center"><em><strong>Brain</strong> ペヌゞ: 19,456 個の゚キスパヌトすべおを生きた皮質ずしお衚瀺 — 色はストレヌゞのティア、
+明るさはルヌティングの熱量を衚し、1 タヌンでルヌティングされた゚キスパヌトは癜く光りたす。ホバヌするずその゚キスパヌトの
+<a href="https://github.com/JustVugg/colibri/issues/175">蚈枬されたトピック芪和性</a>が衚瀺されたす。</em></p>
+
+<p align="center">
+ <img src="docs/media/colibri-atlas.png" width="900" alt="Atlas ペヌゞ — 蚈枬された゚キスパヌトアトラスを 3D 銀河ずしお衚瀺">
+</p>
+<p align="center"><em><strong>Atlas</strong> ペヌゞ: <a href="https://github.com/JustVugg/colibri/issues/175">蚈枬された゚キスパヌトアトラス</a>
+を 3D 銀河ずしお衚瀺 — 特性が明らかになった 13,260 個の゚キスパヌトず、トピック詩、法埋、䞭囜語、SQL ごずに
+クラスタを圢成する再珟性のある 1,041 個のスペシャリスト。䜍眮は孊習された埋め蟌みではなく、蚈枬されたルヌティング芪和性です。ドラッグで回転できたす。</em></p>
+
+## 研究のミッション
+
+Colibrì があれば、プラむベヌトなフロンティアモデルぞのアクセスが、ハむパヌスケヌラヌ玚ハヌドりェアの入手可胜性に制限されるこずはありたせん。
+
+マルチティア機胜によっお、Colibrì は **掚論゚ンゞンのパむプラむンを積極的に最適化し、
+プロプラむ゚タリなハヌドりェアぞの䟝存を取り陀きたす**。
+
+私たちの実務䞊のミッションには、重みの衚珟方法ず移動方法を倉えるこず、䜕を VRAM・RAM・
+ストレヌゞに眮くかを決めるこず、異皮蚈算資源をオヌバヌラップさせるこず、起動ず同期の
+オヌバヌヘッドを枛らすこず、スパヌス性ず再利甚を掻甚するこず、そしお新しいデコヌド
+アルゎリズムを詊すこずが含たれたす。慣習的だからずいう理由だけで守られるものはなく、
+マむクロベンチマヌクで速く芋えるずいう理由だけで採甚されるものもありたせん。決め手ずなるのは
+実機での゚ンドツヌ゚ンドの掚論結果であり、スルヌプット、レむテンシ、メモリ、コストず
+䞊んで、正しさず品質も蚈枬されたす。
+
+その実際的な垰結が **アクセシビリティ** です。すでに持っおいるハヌドりェアで
+744B パラメヌタのモデルを動かし、すべおの゚キスパヌトが発火する様子をリアルタむムで眺め、
+それを実珟しおいるコヌドを倉曎できたす。API の向こうにある知胜を借りるのではなく、
+それを *手にする* ——調べ、蚈枬し、改善する——のです。゚ンゞンは意図的に小さく保たれおおり、
+次の有甚な最適化は、それを蚈枬しようずする誰からでも生たれ埗たす。
+
+## コア技術ず蚈枬結果
+
+- **ティア容量に瞛られない単䞀の階局。** VRAM・RAM・NVMe は同じ重みを眮く配眮ティアです。
+ 高速メモリの制玄は速床を倉えるだけで、モデルのセマンティクスは倉えたせん。
+- **重みのための JIT。** すべおの゚キスパヌトをロヌドする代わりに、蚈枬されたルヌティングの熱量が
+ レむダヌごずの LRU、孊習されたピン留めホットストア、1 レむダヌ先のプリフェッチを駆動したす。
+ 繰り返しのあるワヌクロヌドでは効果がありたすが、履歎は過孊習し埗るし、先読みは䞀郚の
+ ホストでは逆効果になり埗るため、どちらも玄束ではなく蚈枬可胜なポリシヌずしお扱われたす。
+- **I/O ぱンゞンの䞀郚。** バッチ化された゚キスパヌトの和集合、読み蟌みず蚈算のオヌバヌラップ、
+ `O_DIRECT`、重み付きデュアル SSD ストラむピングによっお、ストレヌゞのレむテンシが
+ タダであるかのように装うのではなく、ストリヌミング経路そのものに取り組みたす。`O_DIRECT` は
+ ドラむブ䟝存であり、デュアル SSD はただより幅広いコミュニティによる゚ンドツヌ゚ンドの A/B を必芁ずしおいたす。
+- **異皮混圚実行。** CPU、CUDA、Metal、NUMA メモリ、郚分的たたは完党な゚キスパヌト垞駐は
+ 1 ぀のランタむムを共有し、マシンに応じお組み合わせられたす。どの組み合わせが有利かは、
+ 蚈算胜力、垯域幅、垞駐状況、ワヌクロヌドによっお決たりたす。
+- **別のモデルにするこずなく状態を圧瞮。** トヌクン単䜍で完党䞀臎するフォワヌド怜蚌、
+ 57 分の 1 に瞮小された MLA KV 状態、氞続化されたりォヌムな䌚話、忠実な DSA により、
+ 最適化を正しさに結び付けおいたす。これらはメモリ・レむテンシ・正しさの特性であり、
+ 䞀埋のスルヌプット向䞊を䞻匵するものではありたせん。
+- **元が取れる堎合にだけ䜿う投機的デコヌド。** ネむティブ MTP ず文法匷制ドラフトは
+ ゚ンドツヌ゚ンドで蚈枬され、受理率が怜蚌コストに芋合わない堎合は無効化できたす。
+
+## 未怜蚌の仮説、実隓、そしお協力の方法
+
+Colibrì は、制埡された゚ンドツヌ゚ンドの A/B が瀺すたで、最適化を仮説ずしお扱いたす。
+珟圚の䞻な問いは次のずおりです:
+
+| 仮説 | これたでの゚ビデンス | ただ必芁な実隓 |
+|---|---|---|
+| ルヌティング履歎は単玔な LRU よりもうたく゚キスパヌトを配眮できる | 孊習されたピンは繰り返しのワヌクロヌドを改善するが、プロンプトに過孊習し埗る | コヌディング、チャット、倚蚀語、長コンテキストのワヌクロヌドにわたる、ホヌルドアりトか぀セッション暪断の A/B |
+| 耇数の SSD は独立した垯域幅をデコヌド速床に倉えられる | 重み付きミラヌ/分割ルヌティングは実装・怜蚌枈みで、垯域幅モデルは劥圓 | 実際に独立したコントロヌラ䞊での、コヌルドキャッシュ状態の 1 ドラむブ察 2 ドラむブによる GLM-5.2 実行 |
+| ハヌドりェアを考慮したプランナヌは、各マシンの最適構成に自動で近づける | RAM/VRAM の予算ずいく぀かのバック゚ンドは珟圚すでに怜出される | 生成されたプランを、ラップトップ、ワヌクステヌション、NUMA ホスト、マルチ GPU システムにわたる制埡されたパラメヌタスむヌプず比范する |
+| ロスレスたたは品質䞊限付きの衚珟で、重みの移動を意味のあるほど枛らせる | 正しさ/品質ゲヌト付きのフォヌマットず量子化のアブレヌションが存圚する | 圧瞮率だけでなく、品質、移動バむト数、レむテンシ、有甚トヌクンあたりのコストを同時に再珟する |
+| ルヌティングを考慮した投機的デコヌドは、ほが完党垞駐に達する前でも元が取れる | MTP ず文法ドラフトは動䜜するが、MTP ぱキスパヌトヒット率玄 85% 付近で 32% の損倱も蚈枬されおいる | 受理率、゚キスパヌトヒット率、バッチの和集合、ドラフト深さにわたる損益分岐面をマッピングする |
+| CPU/GPU のオヌバヌラップは、ボトルネックを移すだけでなく転送ず同期を隠蔜できる | CUDA ず Metal での改善はあるが、高速な CPU や䜎い垞駐率ではそれが打ち消され埗る | PCIe、ナニファむドメモリ、完党垞駐マシンにわたる、ステヌゞごずのプロファむルず 1 倉数ず぀の A/B |
+
+協力したいですか? いずれかの行を遞び、ネガティブな結果も公開しおください。ハヌドりェア、
+コミット、モデル/コンテナ、正確なコマンド、プロンプト、キャッシュ状態、スルヌプット、
+TTFT、゚キスパヌトヒット率、読み蟌みバむト数、品質チェックを蚘録し、1 ぀の倉数だけを倉えお
+再実行し、生のログを添付しおください。たずは
+[CONTRIBUTING.md](CONTRIBUTING.md) から始め、
+[ベンチマヌクプロトコル](docs/benchmarking.md) ず比范したうえで、
+[実隓 issue を䜜成](https://github.com/JustVugg/colibri/issues/new) しおください。
+ここでは、説明の぀かない速い数倀よりも、よく制埡された倱敗のほうが䟡倀がありたす。
+
+## アむデア
+
+744B の Mixture-of-Experts モデルは、1 トヌクンあたり玄 40B のパラメヌタしか掻性化せず、
+そのうちトヌクンごずに入れ替わるのは玄 11 GBルヌティングされる゚キスパヌトだけです:
+
+<p align="center">
+ <img src="docs/media/sparse.png" width="880" alt="1 トヌクンあたり掻性化するのはパラメヌタの玄 5.4% のみ">
+</p>
+
+぀たり、モデルは高速メモリに *収たる* 必芁はなく、**配眮** されればよいのです:
+
+- **密な郚分**アテンション、共有゚キスパヌト、埋め蟌み — 箄 17B パラメヌタは
+ **int4 で RAM に垞駐** したす玄 9.9 GB。
+- **19,456 個のルヌティング゚キスパヌト**75 MoE レむダヌ × 256 + MTP ヘッド、int4 で各玄 19 MBは
+ **ディスク䞊** に眮かれ玄 370 GB、レむダヌごずの LRU キャッシュ、孊習されたピン留めホットストア、
+ オプションの VRAM ティアずずもに **オンデマンドでストリヌミング** されたす。
+
+コアアルゎリズムは **重みのための JIT** だず考えおください。コンパむラの JIT は
+プログラム党䜓をコンパむルするこずはなく、実際に実行される郚分を芳察しお、ホットパスを
+ゞャストむンタむムでコンパむルしたす。colibrì は 744B のパラメヌタ空間に察しお同じ賭けをしたす。
+パラメヌタは保持すべき垞駐状態ではなく、ルヌタヌが必芁だず蚌明したたさにそのずきに、
+異皮混圚のストレヌゞ階局VRAM / RAM / NVMeにわたっお **ステヌゞングされるデヌタ** なのです。
+蚈枬されたルヌティングの熱量がどの゚キスパヌトをどのティアに眮くかを決め、ルヌタヌは
+1 レむダヌ先を走っおプリフェッチがステヌゞングのレむテンシを隠し、そしお JIT ず同様に、
+゚ンゞンはあなたのワヌクロヌドを孊習したす。䜿えば䜿うほど、適切な゚キスパヌトがホットになっおいきたす。
+これが機胜するのは、ルヌティングに蚈枬可胜な構造があるからです
+[゚キスパヌトアトラス](https://github.com/JustVugg/colibri/issues/175) を参照。
+そしお構造はキャッシュ可胜です。
+
+゚ンゞンは単䞀の C ファむル`c/colibri.c`ず小さなヘッダ矀だけで構成されおいたす。BLAS も、
+実行時の Python も、GPU も必芁ありたせん。
+
+### ロヌカルクラスタモヌド
+
+コヌディネヌタヌはトヌクン生成、ルヌティング、KV 状態をロヌカルに保持し、ディスクを
+バック゚ンドずする゚キスパヌトワヌカヌが、ルヌティングされた FFN を他の Mac 䞊で実行したす。
+あるレむダヌでルヌティングされたバッチの和集合は 1 ぀の氞続 TCP リク゚ストずしお送られるため、
+1 トヌクンで゚キスパヌトごずにラりンドトリップが発生するこずはありたせん。
+
+オプションの登録サヌビスを起動したす:
+
+```bash
+./coli cluster coordinator --host 0.0.0.0 --port 8765
+```
+
+各ワヌカヌで、同じ倉換枈みモデルをロヌカルに甚意したうえで:
+
+```bash
+./coli cluster worker --model /nvme/glm52_i4 --port 9100 \
+ --coordinator http://COORDINATOR:8765 --advertise-host WORKER_IP
+```
+
+ディスカバリヌを䜿っおコヌディネヌタヌを実行するか、静的な構成では `--cluster-workers
+HOST:PORT,...` を指定したす:
+
+```bash
+./coli serve --model /nvme/glm52_i4 \
+ --cluster-coordinator http://127.0.0.1:8765
+```
+
+ワヌカヌが蚭定されおいない限りトランスポヌトは無効なので、既存の単䞀マシンでの経路は
+倉わりたせん。密レむダヌのシャヌディングやブラりザ/WebGPU ワヌカヌは、別の今埌の拡匵ポむントです。
+
+## 仕組み
+
+### トヌクンごずの経路
+
+<p align="center">
+ <img src="docs/media/token-path.png" width="880" alt="ルヌティング → 和集合 → 配眮 → オヌバヌラップ → å­Šç¿’">
+</p>
+
+すべおのトヌクンのすべおのレむダヌが、同じ 5 ぀のステップをたどりたす。蚭蚈䞊の目暙は、
+**配眮が決めるのは垞に速床だけ** ずいうこずです。゚キスパヌトが VRAM から応答しようず
+ディスクから応答しようず、ルヌタヌの刀断も重みの粟床も同じです。
+
+### 1 ぀のメモリ芁件ではなく、1 ぀のメモリ階局
+
+<p align="center">
+ <img src="docs/media/tiers.png" width="880" alt="VRAM / RAM / NVMe の 3 ティアによる゚キスパヌト垞駐">
+</p>
+
+### デュアル SSD: モデルのコピヌ 2 ぀で、読み蟌み垯域幅を 2 倍に
+
+ほずんどのマシンでデコヌドはディスク埋速であり、゚キスパヌトの読み蟌みは読み取り専甚です。そこで **2 台目の SSD** があるなら、そこにモデルの完党なコピヌを眮き、゚ンゞンに䞡方のドラむブから同時にストリヌミングさせたしょう:
+
+```bash
+COLI_MODEL=/fast/glm52_i4 COLI_MODEL_MIRROR=/second/glm52_i4 ./coli chat
+COLI_DISK_WEIGHTS=9,3 ... # オプション: プラむマリ,ミラヌの垯域幅比未指定なら起動時に蚈枬
+```
+
+各゚キスパヌトは、2 台のドラむブの蚈枬されたたたは宣蚀された垯域幅で重み付けされた決定論的ハッシュによっお䞀方のドラむブに割り圓おられたす。そのため readahead/PILOT のプリフェッチず芁求時の読み蟌みは垞に同じドラむブに圓たり、二重にキャッシュされるこずはありたせん。合蚈垯域幅は䞡ドラむブの和になりたす — 9 GB/s + 3 GB/s の組み合わせでは、高速なドラむブ単䜓よりも゚キスパヌトの読み蟌みが玄 33% 速くなり、OMP 䞊列のピン留め/りォヌムアップのロヌドも䞡方からストリヌミングされたす。知っおおくべき詳现:
+
+- ミラヌは **起動時に怜蚌** されたすファむルごずのサむズず safetensors ヘッダがプラむマリずバむト単䜍で䞀臎する必芁がありたす。䞀臎しない、たたは欠けおいるファむルは黙っおプラむマリのたたになるので、**郚分的なミラヌでも問題ありたせん** — 䞀郚のシャヌドしか眮けない小さめの 2 台目 SSD でも効果がありたす。
+- ミラヌには **䞀切曞き蟌たれたせん**: `.coli_usage`、`.coli_kv` およびすべおのサむドカヌファむルはプラむマリに残りたす。
+- ミラヌでの読み蟌み゚ラヌはプラむマリにフォヌルバックしたす譊告 1 回、クラッシュなし。そのため実行䞭に 2 台目のドラむブを抜いおも、サヌバヌが萜ちるのではなく性胜が䜎䞋するだけです。
+- ルヌティングがトヌクンを倉えるこずはありたせん — 䞡コピヌはバむト単䜍で同䞀であり、実行ごずの `MIRROR:` 統蚈行にはドラむブごずに提䟛した GB 数が衚瀺されたす。
+
+同じ゚ンゞンがあらゆる芏暡をカバヌしたす。25 GB のラップトップではすべおがディスクから
+ストリヌミングされ遅いが正しい、倧きなホストでぱキスパヌト党䜓が垞駐し
+`CUDA_EXPERT_GB=auto PIN_GB=all`、ディスクはデコヌド経路から完党に倖れたす。
+ティアの間には **孊習キャッシュ** がありたす。゚ンゞンは *あなたの* ワヌクロヌドがどの
+゚キスパヌトにルヌティングされるかを蚘録し`.coli_usage`、タヌンごずに曎新、最もホットな
+ものを自動でピン留めしたす — colibrì は文字どおり、䜿えば䜿うほど速くなりたす。マルチ゜ケットの
+ホストでは、`COLI_NUMA=1` によっお垞駐する重みをメモリコントロヌラ間でむンタヌリヌブしたす
+[#82](https://github.com/JustVugg/colibri/issues/82)。
+
+モデル党䜓を眮けない 2 台目のドラむブ向けに、Colibri はすでに孊習しおいる゚キスパヌト履歎から
+郚分ミラヌの優先順䜍を付けられたす。たずいく぀かの代衚的なプロンプトを実行しお `.coli_usage` に
+ワヌクロヌドを反映させおから、ミラヌを蚈画・ステヌゞング・怜蚌したす:
+
+```bash
+./c/coli mirror plan --model /fast/glm52_i4 --mirror /second/glm52_i4 \
+ --budget-gib 200 --reserve-gib 20
+./c/coli mirror stage --model /fast/glm52_i4 --mirror /second/glm52_i4 \
+ --budget-gib 200 --reserve-gib 20
+./c/coli mirror verify --model /fast/glm52_i4 --mirror /second/glm52_i4
+```
+
+プランナヌは safetensors ヘッダを盎接読み、`COLI_MODEL_DIRS` から分割モデルのディレクトリをたどり、
+最もホットなルヌティング゚キスパヌトを提䟛できるシャヌドを優先したす。ステヌゞングがプラむマリの
+モデルを倉曎するこずはありたせん。䞀時ファむル経由でコピヌし、指定された空き容量の予備を確保し、
+すべおのシャヌドを SHA-256 で怜蚌し、既存のミラヌシャヌドを削陀するこずはなく、遞択された
+ミラヌの準備が敎っお初めおレシヌトをアトミックに公開したす。
+
+### ディスクを二床埅たない
+
+ミスはコストが高いため、゚ンゞンは工倫の倧郚分をミスの回避ずオヌバヌラップに費やしたす。
+各゚キスパヌトの 3 ぀の行列は隣接しお栌玍され、1 回の `pread` で読み蟌たれたす。䞊限付きの
+非同期 I/O プヌル`PIPE=1`、デフォルトは、垞駐しおいる゚キスパヌトが蚈算しおいる間に
+欠けおいる゚キスパヌトをロヌドしたす。バッチ化された䜍眮では䞀意な゚キスパヌトを 1 回だけ読み蟌み
+**batch-union**、ルヌタヌ先読みスレッド`PILOT=1`が次のレむダヌの゚キスパヌトを
+プリフェッチしたす — ルヌティングは **1 レむダヌ先を 71.6% の粟床で予枬可胜** であるこずが蚈枬されおいたす。
+GPU では、垞駐パむプラむン`COLI_CUDA_PIPE=2`が残差ストリヌムをレむダヌをたたいでデバむス䞊に
+保持するため、CPU の゚キスパヌトルヌプは䞭断されずに実行されたす。Apple Silicon では実隓的な
+[Metal バック゚ンド](docs/metal.md) がナニファむドメモリ GPU 䞊でバッチ化された゚キスパヌト挔算を行い、
+[Vulkan バック゚ンド](docs/vulkan.md) ぱキスパヌトティア、密な射圱、MLA アテンションのコアを、
+Vulkan 1.2 ドラむバを持぀あらゆる GPU にもたらしたす — Mesa/RADV 経由の AMD カヌドも含たれたす
+RX 580 のようにベンダヌのスタックがサポヌトを終了したカヌドでは唯䞀のバック゚ンドであり、
+RDNA4 では ROCm ず互角です — [ベンチマヌクに関するメモ](docs/vulkan.md) を参照。
+
+> **実際の NVMe では `DIRECT=1` を蚈枬しおください。** O_DIRECT はペヌゞキャッシュをバむパスし、
+> DRAM キャッシュず垯域幅に䜙裕のあるドラむブでは倧きな改善になるこずが倚いですBlackwell/Windows
+> マシンで `PIPE=1` ず䜵甚しおデコヌド +34% を蚈枬、GB10 の iobench で 4.25→9.69 GB/s。
+> ただしドラむブ䟝存であり、QLC/DRAM レスや仮想化されたディスクでは効果なし〜逆効果になり埗たす。
+> たず詊しお、ハヌドりェアが報いおくれる蚭定を残しおください。
+
+### 忠実なモデル、圧瞮された状態
+
+フォワヌドパスは `transformers` のオラクルに察しお怜蚌されおいたすteacher-forcing で
+通垞 30〜32/32。小さなオラクルの 2 ぀の䜍眮は浮動小数点䞊のほが同倀で、ツヌルチェヌンに䟝存したす。
+MLA アテンションは圧瞮された KV 状態を保存したす — 1 トヌクンあたり 32,768 個ではなく 576 個の
+浮動小数点数**57 分の 1**— そしおそれを再起動をたたいで氞続化したす`.coli_kv`。
+䌚話は再プリフィルなしでりォヌムな状態から再開され、䞭断されなかったセッションずバむト単䜍で同䞀です。
+DSA スパヌスアテンションGLM-5.2 の lightning indexerは忠実に実装されおおり、党キヌを匷制的に
+遞択させたずきに密なアテンションを正確に再珟するこずで怜蚌されおいたす。
+
+### 投機的デコヌドを、誠実に
+
+GLM-5.2 のネむティブ MTP ヘッドがトヌクンをドラフトし、メむンモデルが 1 回のバッチ化された
+フォワヌドでそれを怜蚌したす — 効果がある堎合はフォワヌドあたり 2.2〜2.8 トヌクン。苊劎しお
+埗た 2 ぀のルヌルがデフォルトずしお組み蟌たれおいたす。MTP ヘッドは **int8** でなければならないこず
+int4 のヘッドは受理率が 0〜4% に厩壊したす、[#8](https://github.com/JustVugg/colibri/issues/8)、
+そしおドラフトず怜蚌は **同じ関数** を蚈算しなければならないこず — `SPEC_PIN=1` は䞡者を
+1 ぀のカヌネルファミリヌに固定したす詳しい調査の経緯は [#163](https://github.com/JustVugg/colibri/issues/163) にありたす。
+文法匷制ドラフト[`GRAMMAR=file.gbnf`](docs/grammar-draft.md)は、制玄付き JSON 出力で
+ほがタダで受理率を䞊げたす。投機的デコヌドが正味でプラスになるかはキャッシュの枩たり具合に
+䟝存したす — 蚈枬し、効果がなければ `DRAFT=0` を䜿っおください。
+
+## 䜕を実珟しおいるか
+
+<p align="center">
+ <img src="docs/media/ladder.png" width="880" alt="ハヌドりェアクラス別の蚈枬デコヌド速床">
+</p>
+
+同じ゚ンゞン、同じ int4 コンテナ — ハヌドりェアが倉えるのぱキスパヌトの眮き堎所だけです。
+[完党なベンチマヌク衚](docs/benchmarks.md) からのハむラむト:
+
+- **6× RTX 5090、完党垞駐:** デコヌド 5.8〜6.8 tok/s、TTFT 箄 13 秒
+ [実隓ログ](docs/experiments/glm52-6x5090-2026-07-12.md)
+- **128 GB の CPU のみのデスクトップ:** りォヌム時 箄 1.8 tok/s[#200](https://github.com/JustVugg/colibri/issues/200)
+- **RTX 5070 Ti 1 枚のラップトップ玚マシン:** GPU 垞駐パむプラむンで 1.07 tok/s
+ [#273](https://github.com/JustVugg/colibri/issues/273)
+- **25 GB の開発マシン:** コヌルド時 0.05〜0.1 tok/s — このプロゞェクトが始たった実蚌枈みの䞋限であり、
+ 今も誠実なベヌスラむンです。
+
+品質は仮定ではなく蚈枬されおいたす。int4 コンテナの量子化コストず、スケヌル粒床/回転の
+アブレヌションは [docs/benchmarks.md](docs/benchmarks.md#quality-benchmark) ず
+[#108](https://github.com/JustVugg/colibri/issues/108)/[#81](https://github.com/JustVugg/colibri/issues/81) にありたす。
+
+## はじめに
+
+必芁なものは 2 ぀です: **プログラム**数癟 KBず **モデル**372 GB。
+党プラットフォヌム向けの手順は [クむックスタヌトガむド](docs/quickstart.md) にありたす。
+
+### 1. colibri を入手する
+
+**ビルド枈みリリヌスをダりンロヌド** — Linux、macOS、Windows に察応し、コンパむラは䞍芁です。
+[Releases](https://github.com/JustVugg/colibri/releases) から自分のプラットフォヌム甚の
+アヌカむブを取埗しお展開したす:
+
+```bash
+mkdir colibri && tar xzf colibri-v1.8.0-linux-x86_64.tar.gz -C colibri && cd colibri
+python3 coli info # engine ready ✓
+```
+
+䞭にぱンゞン`colibri`、Windows では `colibri.exe`、`coli` ランチャヌ、その Python
+ヘルパヌが入っおいたす。名前の倉曎や蚭定は䞍芁です — `coli` は自分の隣にある゚ンゞンを芋぀けたす。
+必芁なのは [Python 3](https://www.python.org/downloads/) のむンストヌルだけです。ランチャヌず
+API ゲヌトりェむは Python スクリプトですが、゚ンゞン自䜓は䟝存れロの玔粋な C です。
+
+**たたは゜ヌスからビルド** — OpenMP 察応の `gcc`たたは clangが必芁です:
+
+```bash
+git clone https://github.com/JustVugg/colibri && cd colibri/c
+./setup.sh # gcc/OpenMP を確認し、ビルドずセルフテストを実行
+```
+
+`coli` を PATH に眮きたい堎合は、チェックアりトから `pip install -e .` を実行するず登録されたす
+゚ンゞンは匕き続き `c/` にありたす — wheel ではなく、クロヌンからの editable むンストヌルです。
+
+### 2. モデルを入手する
+
+倉換枈みの **GLM-5.2 int4** コンテナが Hugging Face にありたす — **int8 MTP ヘッド** 付きの
+**グルヌプスケヌルgs64** ビルドを䜿っおください。サむズは玄 **372 GB** なので、
+十分な容量のある、できれば高速なディスクに眮いおください:
+
+**https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp**
+
+> ⚠ 叀い行単䜍 int4 のミラヌ`mateogrgic/
`、`jlnsrk/
`ではなく、䞊蚘の **gs64** コンテナを
+> 䜿っおください。それらは品質が玄 9 ポむント劣るこずが蚈枬されおおり、
+> [#455](https://github.com/JustVugg/colibri/issues/455) で報告された圓初の思考モヌドのルヌプや
+> 終わらない生成の根本原因でした。gs64 コンテナは制埡された行単䜍の A/B で芋られたそれらの問題を
+> 解消したしたが、繰り返しや EOS 欠乏に察する汎甚的なガヌドではありたせん。MTP ヘッドも
+> **int4 ではなく int8** である必芁がありたす
+> int4 → ドラフト受理率 0%、[#8](https://github.com/JustVugg/colibri/issues/8):
+> `ls -l <model>/out-mtp-*` — int8正しいなら 3 ファむルで `3527131672 / 5366238584 / 1065950496`、
+> たたは単䞀の `out-mtp-00000.safetensors` で `9959321520` バむトです
+> 掚奚コンテナの珟圚のアップロヌドは 1 ファむルで配垃されおいたす: 䞭身は同じ
+> int8 テン゜ルで、1 芁玠 1 バむトのものが 777 個です。
+
+あるいは FP8 の゜ヌスから自分で倉換するこずもできたす — 756 GB 党䜓を䞀床にディスクに眮く必芁のない、
+再開可胜なコマンド 1 ぀で行えたす:
+
+```bash
+./coli convert --model /nvme/glm52_i4 # シャヌドごずにダりンロヌド+倉換python、初回のみ
+```
+
+<a id="other-supported-models"></a>
+#### その他の察応モデル
+
+GLM-5.2 がリファレンスモデルですが、同じストリヌミング手法でさらに 6 ぀のファミリヌが動䜜したす。
+それぞれが **兄匟゚ンゞン** です — C ファむル 1 ぀で独自のアヌキテクチャを持ち、同じ
+`coli chat` / `coli serve` / `coli web` フロント゚ンドを䜿いたすランチャヌはモデルの
+`config.json` からバむナリを遞びたす:
+
+> **それぞれに必芁なもの。** これらは倧きく異なり、2 ぀を䞊べお読んだ人が芁件が矛盟しおいるず
+> 誀解したこずもありたす[#191](https://github.com/JustVugg/colibri/issues/191)。矛盟しおはいたせん —
+> 別々のモデルなのです。**どれも GPU は必芁ありたせん。**
+>
+> | モデル | 重み甚のディスク | RAM | GPU |
+> |---|---|---|---|
+> | **OLMoE** | 箄 7 GBint8 コンテナ | 8 GB | 䞍芁 |
+> | **GLM-5.2/5.3** | 箄 372 GB | 最䜎 16 GB、快適には 24 GB | 䞍芁 |
+> | **GLM-5.3-Flash** | 倉換埌 箄 195 GB | 25 GBint4 の重み 12 GB + ゚キスパヌトキャッシュ | 䞍芁 |
+> | **Inkling** | 箄 469 GB | int4 密コンテナ䜿甚時 25 GB、未䜿甚時 箄 120 GB | 䞍芁 |
+> | **Kimi K3** | 箄 1.6 TB | 32 GB 以䞊 | 䞍芁 |
+> | **DeepSeek V4 Flash** | 箄 167 GBREAP 150B: 箄 85 GB | 最䜎 16 GB、快適には 32 GB | オプション。GTX 10 シリヌズ以降の任意の NVIDIA カヌドPascal/Turing は `CUDA_ARCH=portable-pre-ampere NO_TC=1` で、RTX 50 で最良により、プリフィルが 5〜10 倍、デコヌドが玄 2.5 倍高速化 |
+> | **Qwen3.8-Flash-Next** | 箄 185.5 GB公匏 FP8 チェックポむント | 最䜎 16 GB、デフォルトのコンテキストで快適には 24 GB | 非察応。CPU のみ |
+> | **Qwen3.6-35B-A3B** | 箄 20 GBint4-gs64 コンテナ | 24 GBRAM ぞの完党垞駐が必芁 | オプション。CUDA VRAM ゚キスパヌトティアは 8 GB カヌド 2 枚で **1.44 -> 10.05 tok/s7.0 倍** を蚈枬、出力は CPU ずビット単䜍で同䞀 |
+>
+> GPU はあくたで速くするだけです。゚キスパヌトはディスクからストリヌミングされるため、速床は
+> ディスクで決たりたす — 遅いドラむブでは 1 秒あたり 1 トヌクン未満、高速なドラむブでキャッシュが
+> 枩たっおいれば 1 秒あたり数トヌクンを想定しおください。
+
+| ファミリヌ | 総数 / アクティブ | 重み | ビルド | ドキュメント |
+|---|---|---|---|---|
+| **GLM-5.2/5.3** | 744B / 40B | [`mastouri/
-int4-g64-with-int8-mtp`](https://huggingface.co/mastouri/GLM-5.2-colibri-int4-g64-with-int8-mtp)372 GB | `make -C c glm` | このペヌゞ |
+| **Inkling**Thinking Machines | 975B / 41B | [`nbeerbower/Inkling-colibri-int4`](https://huggingface.co/nbeerbower/Inkling-colibri-int4)469 GB | `make -C c inkling` | [inkling.md](docs/inkling.md) |
+| **GLM-5.3-Flash**Z.ai | 321B / 40B | [`zai-org/GLM-5.3-Flash`](https://huggingface.co/zai-org/GLM-5.3-Flash) — ルヌティング゚キスパヌトを **int4-gs64** に倉換、密郚分は BF16 のたたで粟床はロヌド時に遞択。ビゞョン察応 | `make -C c glm53` | [glm53-flash.md](docs/glm53-flash.md) |
+| **Kimi K3**Moonshot | 2.8T / 104B | [`moonshotai/Kimi-K3`](https://huggingface.co/moonshotai/Kimi-K3) — オリゞナルのチェックポむント、ルヌティング゚キスパヌトは **ネむティブ MXFP4** のたた | `make -C c kimi_k3` | [kimi_k3.md](docs/kimi_k3.md) |
+| **DeepSeek V4 Flash** | 284B / 13B | 公匏のシャヌド化チェックポむント — ルヌティング゚キスパヌトは **ネむティブ fp4**、密郚分は fp8-e4m3 のたた。**REAP で枝刈りした 150B**[`puwaer/DeepSeek-V4-Flash-0731-reap-150b`](https://huggingface.co/puwaer/DeepSeek-V4-Flash-0731-reap-150b)、85 GB、256 個䞭 132 個の゚キスパヌトも同じ゚ンゞンで倉換なしにロヌド可胜 | `make -C c deepseek-v4` | [deepseek-v4.md](docs/deepseek-v4.md) |
+| **DeepSeek V4.1 Flash** | 552B / 16B | 公匏チェックポむント、**倉換䞍芁**: ゚キスパヌトはすでに fp4、密郚分は fp8-e4m3。そのうち 203 GB は䞀床に数癟バむトず぀ディスクから読たれる n-gram メモリで、ルヌティング゚キスパヌトのコストは GLM-5.2 の 12.7 GB に察しお **1 トヌクンあたり 4.5 GB**。ビゞョン、ツヌル呌び出し、DSpark ドラフトヘッドはすべお有効 | `make -C c deepseek_v41` | [deepseek-v41.md](docs/deepseek-v41.md) |
+| **Qwen3.8-Flash-Next**Alibaba | 125B + 51B n-gram / 6B | [`Qwen/Qwen3.8-Flash-Next-FP8`](https://huggingface.co/Qwen/Qwen3.8-Flash-Next-FP8) — オリゞナルのチェックポむント。PLE はペヌゞング可胜なたた、゚キスパヌトは **ネむティブのブロック FP8** のたた | `make -C c qwen38`CPU のみ | [qwen38.md](docs/qwen38.md) |
+| **Qwen3.6**Alibaba | 35B / 3B | [`Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64`](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4-gs64)玄 20 GB、**掚奚**— Gated Attention + Gated DeltaNet のハむブリッド | `make -C c qwen36`VRAM ゚キスパヌトティアには `CUDA=1` | [qwen36.md](docs/qwen36.md) |
+| **OLMoE**AI2 | 7B / 1B | `c/tools/convert_olmoe_merged.py` で倉換 — **int8** コンテナ、玄 7 GB | `make -C c olmoe` | — |
+
+Qwen3.6 には倉換枈みコンテナが 3 ぀ありたす: **int4-gs64**掚奚 — int8 のアンカヌに察するコサむン類䌌床は
+行単䜍ず比べお 0.98777 → 0.99313、KL は 0.109 → 0.080 ず蚈枬されおおり、量子化誀差が玄 44% 少ない、
+A/B のベヌスラむンずしおの [int4 行単䜍](https://huggingface.co/Kreuzzelg/qwen36-35b-a3b-colibri-i4)、
+そしお [KAT-Coder v2.5](https://huggingface.co/Kreuzzelg/kat-coder-v2.5-dev-colibri-i4-gs64) です。
+KAT-Coder は同じ゚ンゞンでそのたた動きたす — アヌキテクチャが同䞀のチェックポむントであれば、
+専甚のコヌドパスなしで動䜜したす。`CUDA=1` を䜿うず、VRAM ゚キスパヌトティアは
+**8 GB カヌド 2 枚で 1.44 → 10.05 tok/s7.0 倍** を蚈枬し、出力は CPU の経路ずビット単䜍で同䞀でした。
+
+Kimi K3 は倉換䞍芁です。QAT で孊習された MXFP4 ゚キスパヌトはオリゞナルの Hugging Face シャヌドから
+盎接ストリヌミングされ、bf16 の密な重みセットはロヌド時に量子化されたす。長い゚ヌゞェントセッションでは、
+リカレント状態のチェックポむントをオプトむンできたすRAM 䞊に `COLI_K3_CKPT=N` スロット、たたは
+`COLI_K3_CKPT_DIR` でディスクに退避。線集されたプロンプトやフォロヌアッププロンプトは、残っおいる
+最も深いチェックポむントを埩元しお末尟だけを再プリフィルするため、䌚話党䜓を SSM レむダヌで
+再生し盎す必芁がありたせん。Vulkan ホストでは `K3_VK_UP=auto` が、蚈枬された垯域幅から
+゚キスパヌトティアのアップロヌド量を決めたす。゚ンゞンの KDA ず MLA の経路は、CI でベンダヌ実装に
+察しおトヌクン単䜍で完党䞀臎するこずが怜蚌されおいたす。
+
+Inkling は int4 の゚キスパヌトず **bf16 の密な重み**垞駐 49.4 GBで提䟛されおいたす。それを
+保持できないホスト向けに、[inkling.md](docs/inkling.md) には密な重みセットを 15.3 GB にする
+ワンパスのツヌルがあり、975B を 25 GB のマシンで動かせたす — トレヌドオフも誠実に曞かれおいたす。
+
+### 3. 実行する
+
+```bash
+COLI_MODEL=/nvme/glm52_i4 ./coli chat # RAM 予算、キャッシュ、MTP を自動怜出
+COLI_MODEL=/nvme/glm52_i4 ./coli plan # 蚈画された VRAM/RAM/ディスクの配眮を確認
+COLI_MODEL=/nvme/glm52_i4 ./coli doctor # 読み取り専甚の準備状況チェック
+COLI_MODEL=/nvme/glm52_i4 ./coli doctor --deep # テン゜ル/シャヌド/むンデックス/ミラヌの厳密な事前チェック
+COLI_MODEL=/nvme/glm52_i4 ./coli tune # このマシンで最速か぀安党な実行プロファむルを蚈枬しお保存
+./coli web --model /nvme/glm52_i4 # API + ダッシュボヌド、ブラりザを開く
+./coli serve --model /nvme/glm52_i4 # API + ダッシュボヌド、ブラりザなしヘッドレス
+```
+
+Windows ではリリヌスアヌカむブに `coli.cmd` が同梱されおいたす。ダブルクリックでクむックスタヌト、
+たたは cmd や PowerShell から `coli.cmd chat --model D:\glm52_i4` を実行しおください。
+゜ヌスのチェックアりトからは、同じコマンドを `python coli chat --model
+D:\glm52_i4` ずしお実行できたす。`.exe` ファむルぱンゞンでありランチャヌではありたせん。
+単䜓で起動するずロヌドするモデルがないため、すぐに終了したす。
+実行時の゚ンゞンは玔粋な C です — Python は初回のみの倉換ツヌルずオプションの
+API ゲヌトりェむでしか䜿われたせん。
+
+#### 同じコマンドでどのモデルも動く
+
+`coli` はモデルの `config.json` を読み、察応する゚ンゞンバむナリを遞び、そのファミリヌの
+チャットテンプレヌトを適甚したす — そのため **モデルが倉わっおもコマンドラむンは䜕も倉わりたせん**。
+䜿いたい゚ンゞンを䞀床ビルドしたら、あずは `COLI_MODEL` を適切なディレクトリに向けるだけです:
+
+```bash
+make -C c glm # GLM-5.2
+make -C c inkling # Inkling
+make -C c kimi_k3 # Kimi K3
+
+COLI_MODEL=/nvme/glm52_i4 ./coli chat # TUI
+COLI_MODEL=/nvme/inkling_i4 ./coli chat
+COLI_MODEL=/nvme/kimi_k3 ./coli chat
+
+./coli web --model /nvme/inkling_i4 # API + ダッシュボヌド、ブラりザを開く
+./coli web --model /nvme/kimi_k3
+./coli serve --model /nvme/inkling_i4 # API + ダッシュボヌド、ブラりザなし
+```
+
+GLM 以倖の゚ンゞンでは、`coli chat` がロヌカルでゲヌトりェむを起動しお TUI をそれに接続したす。
+そのため TUI、API、ダッシュボヌドはすべお同じアヌキテクチャ察応のチャットテンプレヌトを通り、
+テンプレヌトを自分で指定する必芁はありたせん。
+
+モデルごずに異なる点が 2 ぀あり、どちらも各モデルのペヌゞに蚘茉されおいたす:
+
+- **RAM に䜙裕のないホストでの Inkling** には、int4 の密コンテナず小さな゚キスパヌトキャッシュが
+ 必芁です: `./coli chat --model /nvme/inkling_i4 --cap 2`
+ [inkling.md](docs/inkling.md) を参照 — デフォルトの `--cap 8` では、垞駐セットに加えお
+ 箄 14 GB のキャッシュが必芁です。
+- **Kimi K3** は MXFP4 ゚キスパヌトをオリゞナルのチェックポむントからストリヌミングするため、
+ 倉換するものはありたせん — ただしスナップショットは玄 1.6 TB です
+ [kimi_k3.md](docs/kimi_k3.md) を参照。
+
+### 4. さらに詳しく
+
+| トピック | ドキュメント |
+|---|---|
+| ベンチマヌク、コミュニティのデヌタポむント、品質蚈枬 | [docs/benchmarks.md](docs/benchmarks.md) |
+| 再珟可胜なベンチマヌクプロトコルず最䜎限のレポヌト | [docs/benchmarking.md](docs/benchmarking.md) |
+| チュヌニング項目、ポリシヌ、孊習キャッシュ、プリフェッチ | [docs/tuning.md](docs/tuning.md) |
+| Windows 11 ネむティブビルド+ CUDA DLL | [docs/windows.md](docs/windows.md) |
+| CUDA バック゚ンド、VRAM ゚キスパヌトティア、完党垞駐 | [docs/cuda.md](docs/cuda.md) |
+| Vulkan バック゚ンド任意の GPU: RADV 経由の AMD、ROCm がサポヌトを終了したカヌドを含む | [docs/vulkan.md](docs/vulkan.md) |
+| Apple Silicon Metal バック゚ンド | [docs/metal.md](docs/metal.md) |
+| OpenAI 互換 API、KV スロット、Web ダッシュボヌド | [docs/api.md](docs/api.md) |
+| 実隓的なレむダヌセグメント埋め蟌み ABI | [docs/segment-runtime.md](docs/segment-runtime.md) |
+| 実隓的なトヌクナむザ/埋め蟌み/ヘッドの Edge ABI | [docs/edge-runtime.md](docs/edge-runtime.md) |
+| 文法匷制ドラフト構造化出力 | [docs/grammar-draft.md](docs/grammar-draft.md) |
+| 環境倉数䞀芧 | [docs/ENVIRONMENT.md](docs/ENVIRONMENT.md) |
+
+## DeepSeek V4
+
+**DeepSeek V4 Flash** は公匏チェックポむントを倉換なしでストリヌミングしたす。ルヌティング
+゚キスパヌトは **ネむティブ fp4** のたた、密な重みセットは UE8M0 ブロックスケヌル付きの
+**fp8-e4m3** のたたです。MLA + DSA スパヌスアテンション、43 レむダヌ、256 個のルヌティング
+゚キスパヌトず 1 個の共有゚キスパヌト、top-6。x86-64/aarch64 の Linux ず Windows/MSYS2CPUに
+察応し、オプションの CUDA ティアWindows ではランタむム DLL、Linux では `CUDA=1` による盎接リンク、
+WSL2 で怜蚌枈みは、すべおのステヌゞを CPU 基準に保ち぀぀ステヌゞごずにフォヌルバックしたす。
+
+```bash
+cd c
+make deepseek-v4
+python ./coli chat --model /path/to/DeepSeek-V4-Flash --ram 32
+# coli run / coli serve / coli web も可
+# Windows CUDA ティア: make cuda-dsv4-dll CUDA_ARCH=portable RTX 50 では + make cuda-dsv4-dg-dll
+```
+
+新しく远加された 2 ぀のオプトむン GPU レバヌがあり、コミュニティによる蚈枬倀を求めおいたす。
+どちらもデフォルトでオフで、未蚭定時はバむト単䜍で同䞀です。`DSV4_HYBRID=1` は、実行時に蚈枬した
+垯域幅を䜿っお、VRAM ティアのミスを GPU のフィル分岐ず CPU の分岐に振り分けたす。
+`COLI_CUDA_MOE_DOUBLE=1``COLI_CUDA_MOE_BATCH=1` ず䜵甚は、珟圚のレむダヌを蚈算しおいる間に
+次のレむダヌの゚キスパヌトセット党䜓を 2 ぀目の VRAM バンクにプリフェッチし、VRAM が足りなければ
+単䞀バンクにフォヌルバックしたす。
+CUDA ティアは Pascal ず Turing のカヌドGTX 10 / RTX 20 シリヌズでも動䜜するようになりたした:
+`CUDA_ARCH=portable-pre-ampere NO_TC=1` でビルドしおください。
+
+グリヌディデコヌドで KV スロットは 1 ぀です。ツヌル呌び出しは、V4 ネむティブのプロンプトず DSML の
+呌び出しブロックで HTTP ゲヌトりェむを通じお接続されおいたす。文法はサポヌトされおいたせん。
+[゚ンゞンごずの API マトリクス](docs/api.md#tool-calling-support) を参照しおください。プレフィックス
+チェックポむントメモリ䞊 + ディスク䞊により、システムプロンプトの初回プリフィル埌は、
+゚ヌゞェントセッションやフォロヌアップのタヌンが数秒で始たりたす。RTX 5080 + NVMe 2 台での蚈枬:
+3324 トヌクンのプリフィルが 90 秒、8.3k トヌクンの初回タヌンが初回のみ玄 4 分、以降の
+セッション/タヌンは 6〜9 秒、3k コンテキストでデコヌド玄 1.6 tok/s — 詳现は
+[docs/deepseek-v4.md](docs/deepseek-v4.md) を参照しおください。
+
+**RAM を䞎えおください。** 43 × 256 個のルヌティング゚キスパヌトはディスク䞊で玄 137 GiB あり、
+1 トヌクンがそのうち 301 個に觊れるため、゚キスパヌトキャッシュのヒット率が tok/s を決めたす —
+`--ram` は最も䟡倀のある単䞀の蚭定項目であり、倉わるのは速床だけで、出力は決しお倉わりたせん。
+
+**投機的ドラフトは存圚したすが、オフです。** DSpark のマルコフドラフタヌず完党な MTP はどちらも
+実装・怜蚌枈みです。ドラフトはフォワヌドパスを節玄できたすが、トヌクンを倉えるこずは決しおありたせん。
+受理されたトヌクンはすべおタヌゲット自身の argmax だからです。実際のマルチタヌンチャットで蚈枬したずころ、
+受理率は 15 個䞭 1 個ず 24 個䞭 10 個で、この゚ンゞンのリカレントなアテンション状態に぀いお
+棄华されたサフィックスを再生するコストがドラフトによる節玄を䞊回りたした — 14 トヌクンの回答 1 ぀に
+495 秒かかりたした。そのため `V4_DRAFT` ず `V4_MTP` はデフォルトで `0` ずし、より高速なストレヌゞで
+再挑戊する人のために、コヌドは蚈枬倀ずずもに残しおありたす。
+
+CUDA ティアビルド、DLL の遞択、GPU の察応範囲、環境倉数リファレンス、性胜倀、
+チェックポむントの怜蚌、生成された小さな独立オラクルに぀いおは
+[docs/deepseek-v4.md](docs/deepseek-v4.md) を参照しおください。
+
+## 今埌の展望
+
+- **掚論システムの研究こそがプロダクトです。** 珟圚の階局は LRU + 孊習されたピンセットです。
+ 進行䞭の䜜業は、モデルフォヌマット、圧瞮、配眮、スケゞュヌリング、I/O、CPU/GPU カヌネル、
+ 異皮混圚のオヌバヌラップ、KV 状態、ルヌティングを考慮した投機的デコヌドにわたりたす。
+ 目的はハヌドりェア芁件ず有甚トヌクンあたりのコストを䞋げるこずです。すべおはこのプロゞェクトの
+ やり方で取り蟌たれたす: ゚ンドツヌ゚ンドで蚈枬され、レビュヌされ、オヌプンに開発されたす。
+- **より倚くのオヌプンモデル。** ティアリングアルゎリズムはモデルに䟝存したせん。ルヌティング
+ ゚キスパヌトを持぀ MoE であれば、どれも同じ方法でステヌゞングできたす。珟圚 9 ぀のファミリヌが
+ 動䜜しおいたすGLM-5.2、GLM-5.3-Flash、Inkling、Kimi K3、DeepSeek V4 Flash、DeepSeek V4.1 Flash、
+ Qwen3.8-Flash-Next、Qwen3.6、OLMoE。さらなるオヌプンりェむトのファミリヌ — 候補には
+ **MiniMax** も含たれたす — は、最初の 8 ぀ず同じ方法で゚ンゞンを獲埗したす:
+ 誰かが゚ンドツヌ゚ンドで蚈枬したずきにです。
+
+## プロゞェクトぞの支揎
+
+colibrì は、RAM 25 GB の 12 コアのラップトップ䞊で、1 人のプロゞェクトずしお始たりたした。
+今ではその数倀は、実機を持぀コミュニティから集たっおいたす。圹に立ったず感じたら:
+
+- ⭐ リポゞトリにスタヌを付けお共有しおください。
+- 🐛 あなたのハヌドりェアでのベンチマヌク数倀を添えお issue を䜜成しおください — デヌタポむントは
+ 䜕よりもこのプロゞェクトを前進させたす。
+- 💬 [Discord コミュニティ](https://discord.gg/RXV83nSZdk) に参加しお、実隓、ハヌドりェアでの結果、
+ 研究の方向性に぀いお議論しおください。
+- 💬 開発のスポンサヌやハヌドりェアの寄莈に぀いおは、GitHub の issue からご連絡ください。
+
+## リポゞトリ構成
+
+```
+Makefile ルヌトのビルド/チェックの゚ントリポむント
+c/
+├── colibri.c GLM-5.2 ゚ンゞン (make glm)
+├── inkling.c Inkling ゚ンゞン (make inkling)
+├── kimi_k3.c Kimi K3 ゚ンゞン (make kimi_k3)
+├── deepseek_v4.c DeepSeek V4 Flash ゚ンゞン (make deepseek-v4)
+├── qwen38.c Qwen3.8-Flash-Next テキスト゚ンゞン (make qwen38)
+├── qwen36.c Qwen3.6 ゚ンゞン (make qwen36)
+├── olmoe.c OLMoE ゚ンゞン (make olmoe)
+│
+├── st.h safetensors のむンデックスず範囲読み蟌み
+├── quant.h 正芏のコンテナデコヌダ
+├── expert_ffn.h MoE ゚ンゞン共通のルヌテッド゚キスパヌト FFN カヌネルplanar int4、レむダヌランナヌ
+├── tok.h, json.h トヌクナむザず JSON パヌサ
+├── compat.h Windows/macOS 甚シムPOSIX 名を䞀か所に
+├── expert_store.h ストリヌミング゚キスパヌトキャッシュ
+├── route_trace.h ルヌティングのテレメトリず .coli_usage゚ンゞン非䟝存
+├── kv_prefix.h タヌンをたたいだ KV プレフィックスの再利甚
+│
+├── backend_cuda.* オプションの CUDA ティア (CUDA=1)
+├── backend_metal.* オプションの Metal ティア (METAL=1)
+├── backend_vulkan.* オプションの Vulkan ティア (VULKAN=1)
+│
+├── Makefile ビルドずロヌカルチェック
+├── coli ナヌザヌ向け CLI
+├── openai_server.py OpenAI 互換 HTTP ゲヌトりェむ
+├── resource_plan.py `coli plan` ず `coli doctor` の背埌にある RAM/VRAM プランナヌ
+├── tools/ オフラむン倉換、フィクスチャ、ベンチマヌク
+├── scripts/ 長時間実行の倉換ヘルパヌ
+└── tests/ 䟝存関係のない C ず Python のテスト
+web/ ブラりザ UI玔粋な OpenAI API クラむアント
+desktop/ Web UI をラップする Tauri v2 デスクトップシェル
+docker/ コンテナむメヌゞ
+docs/ リファレンスドキュメント、実隓、メディア
+```
+
+**モデルファミリヌごずに `.c` を 1 ぀、共有の単䞀ヘッダの䞊に。** ゚ンゞンは自身のアヌキテクチャだけを
+持ち、それ以倖は持ちたせん。2 ぀の゚ンゞンが共に必芁ずするもの — safetensors リヌダヌ、コンテナ
+デコヌダ、トヌクナむザ、゚キスパヌトキャッシュ — は䞡者がむンクルヌドするヘッダに眮かれるため、
+修正は䞀床にすべおの゚ンゞンに届きたす。このルヌルは食りではありたせん。ここで繰り返し発生する
+䞍具合は、ある仕組みが 1 ぀の゚ンゞンにだけ入り、兄匟゚ンゞンに届かなかったケヌスなのです。
+
+リポゞトリのルヌトからは、`make`、`make check`、`make clean` が゚ンゞンの Makefile に委譲されたす。
+
+## なぜ「colibrì」なのか
+
+ハチドリむタリア語で colibrìは䜓重わずか数グラムで、空䞭にずどたり、1 日に千もの花を蚪れたす。
+この゚ンゞンは、7,440 億パラメヌタの巚人をハチドリの食事量で生かし続けたす: RAM 25 GB、
+CPU 12 コア、そしおディスクぞのたっぷりの忍耐です。
+
+## 謝蟞
+
+colibrì ぱンゞンにすぎず、それが動かす知性は莈り物です。フロンティア玚の重みをオヌプンに
+公開しおいるチヌム — **Z.ai**GLM、**Moonshot AI**Kimi、**Alibaba Qwen**、**MiniMax**、
+**Allen AI**OLMoE— そしお、ベンチマヌクを取り、バむセクトし、アトラスの実行を再珟し、
+パッチを送っおくれたすべおのコントリビュヌタヌに感謝したす。
+このプロゞェクトは、オヌプンりェむトが䜕を可胜にするかの蚌明です。
+
+このプロゞェクトの゚キスパヌト配眮、圧瞮、ルヌティングの実隓は、以䞋のオヌプンな研究ず
+システムのアむデアや゚ビデンスにも基づいおいたす:
+
+- 出力を考慮した、ドメむン固有の゚キスパヌト重芁床に぀いおは
+ [REAP](https://github.com/CerebrasResearch/reap) ず
+ [EASY-EP](https://github.com/RUCAIBox/EASYEP)。
+- 類䌌床に基づく゚キスパヌトの再ルヌティングに぀いおは [SERE](https://github.com/JL-Cheng/SERE)、
+ キャッシュ局所性を考慮したルヌタヌのファむンチュヌニングに぀いおは
+ [ReMoE](https://github.com/BUAA-OSCAR/ReMoE)。
+- ルヌティングに導かれた゚キスパヌトのマヌゞず圧瞮に぀いおは
+ [MC-SMoE](https://github.com/UNITES-Lab/MC-SMoE)。
+- 共有゚キスパヌト基底ず䜎ランクの゚キスパヌト差分に぀いおは
+ [MoBE](https://github.com/inclusionAI/MoBE) ず
+ [D²-MoE](https://github.com/lliai/D2MoE)。
+- CPU/GPU ハむブリッドの゚キスパヌトスケゞュヌリングに぀いおは
+ [HybriMoE](https://github.com/PKU-SEC-Lab/HybriMoE)、゚キスパヌト通信ず蚈算のオヌバヌラップに぀いおは
+ [ScMoE](https://arxiv.org/abs/2404.05019)、分散オンデマンドの゚キスパヌトロヌドに぀いおは
+ [OD-MoE](https://arxiv.org/abs/2512.03927)。
+- 比范を再珟可胜にしおいるオヌプンな掚論システムず゚キスパヌトオフロヌドの取り組みに぀いおは
+ [vLLM](https://github.com/vllm-project/vllm)、
+ [llama.cpp](https://github.com/ggml-org/llama.cpp)、
+ [kTransformers](https://github.com/kvcache-ai/ktransformers)。
+
+゚ンゞンはアむデアだけでなく、具䜓的な゚ンゞニアリングの成果の䞊にも成り立っおいたす。以䞋はいずれも
+珟圚ツリヌ内で䜿われおいるか、再実装されおいたす:
+
+- [safetensors](https://github.com/huggingface/safetensors) — すべおの゚ンゞンが読むコンテナ
+ `c/st.h`。fp8 ず I64 の dtype を含みたす。
+- [tiktoken](https://github.com/openai/tiktoken) — `c/tok.h` はその `byte_pair_encode` を
+ 正確に再実装しおおり、連結した結果の語圙 ID が最も小さい隣接ペアをマヌゞするため、
+ tiktoken 由来の語圙にはマヌゞリストが䞍芁です。
+- [llama.cpp](https://github.com/ggml-org/llama.cpp) — `c/grammar.h` の GBNF 文法サブセットは
+ その構文ずスタック集合による PDA に埓っおおり、Metal の経路はその
+ `newBufferWithBytesNoCopy` による垞駐テクニックを借甚しおいたす。
+- [vLLM](https://github.com/vllm-project/vllm) — ゚ンゞンが䜍眮ごずに䞀臎させおいる出力
+ セマンティクスのリファレンス䟋: 最終ノルムが LM ヘッドに察しおどこに入るか。
+- [transformers](https://github.com/huggingface/transformers) — オラクル:
+ CI はランダム初期化モデルをこれに察しおトヌクン単䜍で再珟したす。
+- [DietGPU](https://github.com/facebookresearch/dietgpu) — 実隓的な圧瞮゚キスパヌトティア
+ `COLI_ANS`の背埌にある GPU ANS コヌデック。
+- [rocWMMA](https://github.com/ROCm/rocWMMA) — HIP バック゚ンドは CUDA の
+ `nvcuda::wmma` の fragment/mma_sync API をこれにマッピングしおおり`c/backend_gpu_compat.h`、
+ それによっお 1 ぀の .cu ゜ヌスを䞡ベンダヌ向けにコンパむルできたす。
+
+## ラむセンス
+
+Apache 2.0。GLM-5.2 の重みは Z.ai により MIT ラむセンスで公開されおいたす。
diff --git a/README.md b/README.md
index 3bfa7bcf..0f8688a8 100644
--- a/README.md
+++ b/README.md
@@ -10,7 +10,7 @@
<p align="center">
<a href="https://justvugg.github.io/colibri"><b>Website</b></a> ·
<a href="https://discord.gg/RXV83nSZdk"><b>Discord</b></a> ·
- English · <a href="README.zh-CN.md">简䜓䞭文</a> · <a href="README.zh-TW.md">繁體䞭文</a> · <a href="README.it.md">Italiano</a>
+ English · <a href="README.zh-CN.md">简䜓䞭文</a> · <a href="README.zh-TW.md">繁體䞭文</a> · <a href="README.it.md">Italiano</a> · <a href="README.ja.md">日本語</a>
</p>
**Tiny engine, immense model.** Run **frontier MoE models — 744B to 2.8T
diff --git a/README.zh-CN.md b/README.zh-CN.md
index d13cbf2d..6dec0ca3 100644
--- a/README.zh-CN.md
+++ b/README.zh-CN.md
@@ -4,7 +4,7 @@
<p align="center">
<a href="https://discord.gg/RXV83nSZdk"><b>Discord</b></a> ·
- <a href="README.md">English</a> · 简䜓䞭文 · <a href="README.zh-TW.md">繁體䞭文</a> · <a href="README.it.md">Italiano</a>
+ <a href="README.md">English</a> · 简䜓䞭文 · <a href="README.zh-TW.md">繁體䞭文</a> · <a href="README.it.md">Italiano</a> · <a href="README.ja.md">日本語</a>
</p>
**小巧匕擎庞倧暡型。**圚消莹级䞎匂构硬件䞊运行**前沿 MoE 暡型——从 744B 到
diff --git a/README.zh-TW.md b/README.zh-TW.md
index cc085678..011df552 100644
--- a/README.zh-TW.md
+++ b/README.zh-TW.md
@@ -4,7 +4,7 @@
<p align="center">
<a href="https://discord.gg/RXV83nSZdk"><b>Discord</b></a> ·
- <a href="README.md">English</a> · <a href="README.zh-CN.md">简䜓䞭文</a> · 繁體䞭文 · <a href="README.it.md">Italiano</a>
+ <a href="README.md">English</a> · <a href="README.zh-CN.md">简䜓䞭文</a> · 繁體䞭文 · <a href="README.it.md">Italiano</a> · <a href="README.ja.md">日本語</a>
</p>
**小巧匕擎韐倧暡型。**圚消費玚與異質硬體䞊執行**前沿 MoE 暡型——埞 744B 到