Run frontier MoE models on hardware you already own β pure C, zero deps, experts streamed from disk. Tiny engine, immense model. π¦
C
docs: correct the fmt=6 down-rotation accounting in the expert_ffn comment
eli6608dcaca545
diff --git a/c/colibri.c b/c/colibri.cindex b2765cdd..33b36bf5 100644--- a/c/colibri.c+++ b/c/colibri.c@@ -1245,12 +1245,14 @@ static inline float siluf(float x){ return x/(1.f+expf(-x)); }* SEMPRE β e' la forma CANONICA, pura funzione del fmt del down-tensor. Perche' resta* byte-identica al vecchio inline: (a) i fallback device-lost Vulkan ricaricano solo* expert che erano in registry (vk_reg_at), e vk_registry_fill ammette solo fmt 2/4/5 β- * li' d->fmt!=6 e la rotazione e' un no-op; (b) l'oracolo e ogni modello single-format- * (l'output di una conversione normale) non hanno mai un expert fmt=6 accanto a fmt 2/4/5.+ * li' d->fmt!=6 e la rotazione e' un no-op; (b) l'oracolo e' single-format, e una+ * conversione normale single-pass produce un modello single-format: le due copie che+ * POSSONO vedere fmt=6 lo fanno solo su un container mixed-format, che il tooling+ * normale non emette mai.* Le DUE copie che saltavano la rotazione e potevano davvero vedere fmt=6 β la CPU-share- * del blocco Vulkan e il fallback CUDA β ora seguono il canonico: su un container- * mixed-format (fmt per-tensor da qt_resolve_fmt, nessuna uniformita' tra expert, vedi il- * commento MB_BUILD) e' la correzione di un bug latente, NON un no-op. */+ * del blocco Vulkan e il fallback CUDA early-issued β ora seguono il canonico: su un+ * container mixed-format (fmt per-tensor da qt_resolve_fmt, nessuna uniformita' tra+ * expert, vedi il commento MB_BUILD) e' la correzione di un bug latente, NON un no-op. */static void expert_ffn(float *hh, float *gg, float *uu, const float *xg, QT *g, QT *u, QT *d, int nr, int I){expert_gate_up(gg,uu,xg,g,u,nr);for(int64_t z=0;z<(int64_t)nr*I;z++) gg[z]=siluf(gg[z])*uu[z];