Skip to content

Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

C

Merge pull request #313 from ZacharyZcR/feat/numa-expert-interleave

Vincenzo3cec90cd45e8
diff --cc c/glm.c
index 1299bff7,ddb23860..cffd5ec3
--- a/c/glm.c
+++ b/c/glm.c
@@@ -34,16 -34,12 +34,19 @@@
#if defined(__APPLE__) || defined(__linux__) || defined(__FreeBSD__)
#include <sys/resource.h>
#include <sys/mman.h> /* mlock: inchioda le pagine in RAM / wire pages into RAM */
+ #ifdef __linux__
+ #include <sys/syscall.h> /* COLI_NUMA: mbind degli slab expert / expert-slab interleave */
+ #endif
#include <sys/stat.h> /* fstat per mmap degli shard (COLI_MMAP) */
+#include <signal.h> /* SIGINT = stop morbido del turno in serve mode */
+#endif
+#if defined(_WIN32) && (defined(__x86_64__) || defined(__i386__))
+#include <cpuid.h> /* hwinfo_emit: CPU brand string senza /proc */
#endif
#include "st.h"
+#ifdef __linux__
+#include "uring.h"
+#endif
#include "tok.h"
#include "tier.h"
#include "grammar.h" /* metodo F: draft grammaticali (#48) */
@@@ -5810,33 -4893,9 +5850,34 @@@ int main(int argc, char **argv)
g_prefetch = getenv("PREFETCH")?atoi(getenv("PREFETCH")):0;
g_mmap = getenv("COLI_MMAP")?atoi(getenv("COLI_MMAP")):0;
if(g_mmap) fprintf(stderr,"[MMAP] expert = viste zero-copy nei file (page cache = cache)\n");
+ numa_init(); /* COLI_NUMA=1: expert-slab interleave (#82) */
g_topk = getenv("TOPK")?atoi(getenv("TOPK")):0;
g_topp = getenv("TOPP")?atof(getenv("TOPP")):0;
+ /* EXPERT_BUDGET e' sotto quarantena: la finestra operativa e' misurata VUOTA.
+ * @bokiko su tre host (#303) e riprodotto qui su un 25 GB / WSL:
+ * - hellaswag 30% a budget=8 contro 90% a budget spento (25% = il caso);
+ * - a budget=4 il decode e' rumore ("The **1...: s2151:");
+ * - accettazione MTP 0%: quali expert sopravvivono al cap dipende dalla
+ * residenza in cache al momento del forward, quindi draft e verify NON
+ * calcolano la stessa funzione -- la stessa invariante che #294 ha appena
+ * stabilito, violata via stato di cache invece che via scelta del kernel;
+ * - 0.13 tok/s contro 0.30 di baseline, con 14.66 expert caricati per layer
+ * contro topk=8: il cap fa piu' I/O di quello che dice di risparmiare, e la
+ * riga "~N GB I/O saved" conta esperti scartati, non byte non letti.
+ * Resta compilato e sviluppabile (EXPERT_BUDGET_EXPERIMENTAL=1) perche' l'idea
+ * -- MoE-Spec, arXiv 2602.16052 -- non e' sbagliata: e' l'implementazione che
+ * finora non ha un punto in cui sia insieme piu' veloce e corretta. Riaccenderlo
+ * di default richiede una misura di qualita' accanto a quella di velocita'. */
+ g_expert_budget = getenv("EXPERT_BUDGET")?atoi(getenv("EXPERT_BUDGET")):0;
+ if(g_expert_budget>0 && !getenv("EXPERT_BUDGET_EXPERIMENTAL")){
+ fprintf(stderr,"[EXPERT_BUDGET] ignored: measured empty operating window (issue #303).\n"
+ "[EXPERT_BUDGET] every tested setting is either no faster or no longer coherent:\n"
+ "[EXPERT_BUDGET] budget=8 -> hellaswag 30%% (90%% with it off) | budget=4 -> decode is noise\n"
+ "[EXPERT_BUDGET] MTP acceptance 0%% (the cap breaks the draft/verify contract, #294)\n"
+ "[EXPERT_BUDGET] 0.13 tok/s vs 0.30 baseline, loading 14.7 experts/layer vs topk=8\n"
+ "[EXPERT_BUDGET] set EXPERT_BUDGET_EXPERIMENTAL=1 to run it anyway (expect garbage).\n");
+ g_expert_budget=0;
+ }
g_cache_route = getenv("CACHE_ROUTE")?atoi(getenv("CACHE_ROUTE")):0;
g_route_j = getenv("ROUTE_J")?atoi(getenv("ROUTE_J")):2;
g_route_m = getenv("ROUTE_M")?atoi(getenv("ROUTE_M")):12;