Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
C
Merge pull request #313 from ZacharyZcR/feat/numa-expert-interleave
Vincenzo3cec90cd45e8
diff --cc c/glm.cindex 1299bff7,ddb23860..cffd5ec3--- a/c/glm.c+++ b/c/glm.c@@@ -34,16 -34,12 +34,19 @@@#if defined(__APPLE__) || defined(__linux__) || defined(__FreeBSD__)#include <sys/resource.h>#include <sys/mman.h> /* mlock: inchioda le pagine in RAM / wire pages into RAM */+ #ifdef __linux__+ #include <sys/syscall.h> /* COLI_NUMA: mbind degli slab expert / expert-slab interleave */+ #endif#include <sys/stat.h> /* fstat per mmap degli shard (COLI_MMAP) */+#include <signal.h> /* SIGINT = stop morbido del turno in serve mode */+#endif+#if defined(_WIN32) && (defined(__x86_64__) || defined(__i386__))+#include <cpuid.h> /* hwinfo_emit: CPU brand string senza /proc */#endif#include "st.h"+#ifdef __linux__+#include "uring.h"+#endif#include "tok.h"#include "tier.h"#include "grammar.h" /* metodo F: draft grammaticali (#48) */@@@ -5810,33 -4893,9 +5850,34 @@@ int main(int argc, char **argv)g_prefetch = getenv("PREFETCH")?atoi(getenv("PREFETCH")):0;g_mmap = getenv("COLI_MMAP")?atoi(getenv("COLI_MMAP")):0;if(g_mmap) fprintf(stderr,"[MMAP] expert = viste zero-copy nei file (page cache = cache)\n");+ numa_init(); /* COLI_NUMA=1: expert-slab interleave (#82) */g_topk = getenv("TOPK")?atoi(getenv("TOPK")):0;g_topp = getenv("TOPP")?atof(getenv("TOPP")):0;+ /* EXPERT_BUDGET e' sotto quarantena: la finestra operativa e' misurata VUOTA.+ * @bokiko su tre host (#303) e riprodotto qui su un 25 GB / WSL:+ * - hellaswag 30% a budget=8 contro 90% a budget spento (25% = il caso);+ * - a budget=4 il decode e' rumore ("The **1...: s2151:");+ * - accettazione MTP 0%: quali expert sopravvivono al cap dipende dalla+ * residenza in cache al momento del forward, quindi draft e verify NON+ * calcolano la stessa funzione -- la stessa invariante che #294 ha appena+ * stabilito, violata via stato di cache invece che via scelta del kernel;+ * - 0.13 tok/s contro 0.30 di baseline, con 14.66 expert caricati per layer+ * contro topk=8: il cap fa piu' I/O di quello che dice di risparmiare, e la+ * riga "~N GB I/O saved" conta esperti scartati, non byte non letti.+ * Resta compilato e sviluppabile (EXPERT_BUDGET_EXPERIMENTAL=1) perche' l'idea+ * -- MoE-Spec, arXiv 2602.16052 -- non e' sbagliata: e' l'implementazione che+ * finora non ha un punto in cui sia insieme piu' veloce e corretta. Riaccenderlo+ * di default richiede una misura di qualita' accanto a quella di velocita'. */+ g_expert_budget = getenv("EXPERT_BUDGET")?atoi(getenv("EXPERT_BUDGET")):0;+ if(g_expert_budget>0 && !getenv("EXPERT_BUDGET_EXPERIMENTAL")){+ fprintf(stderr,"[EXPERT_BUDGET] ignored: measured empty operating window (issue #303).\n"+ "[EXPERT_BUDGET] every tested setting is either no faster or no longer coherent:\n"+ "[EXPERT_BUDGET] budget=8 -> hellaswag 30%% (90%% with it off) | budget=4 -> decode is noise\n"+ "[EXPERT_BUDGET] MTP acceptance 0%% (the cap breaks the draft/verify contract, #294)\n"+ "[EXPERT_BUDGET] 0.13 tok/s vs 0.30 baseline, loading 14.7 experts/layer vs topk=8\n"+ "[EXPERT_BUDGET] set EXPERT_BUDGET_EXPERIMENTAL=1 to run it anyway (expect garbage).\n");+ g_expert_budget=0;+ }g_cache_route = getenv("CACHE_ROUTE")?atoi(getenv("CACHE_ROUTE")):0;g_route_j = getenv("ROUTE_J")?atoi(getenv("ROUTE_J")):2;g_route_m = getenv("ROUTE_M")?atoi(getenv("ROUTE_M")):12;