Skip to content

Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

C

pipe2: download the resident residual before every exit from residency

刘宣岐9da4c70d28ba
diff --git a/c/colibri.c b/c/colibri.c
index bb24c831..459b8cfc 100644
--- a/c/colibri.c
+++ b/c/colibri.c
@@ -4176,7 +4176,13 @@ static void layers_forward_rows(Model *m, float *x, int S, int pos_base,
l->kv_a.cuda_device==l->kv_b.cuda_device&&l->o.cuda_device==l->kv_b.cuda_device){
int dev=l->kv_b.cuda_device, ok=1;
float *dst=coli_cuda_pipe_scratch(dev,15,xb);
- if(dst){
+ /* Ogni uscita dalla residenza deve riportare il residuo su host PRIMA di
+ * lasciare il layer al percorso CPU: x host e' STALE finche' x_dev_on>=0,
+ * quindi scaricare e' l'unico modo di non calcolare su uno stato vecchio. */
+ if(!dst){
+ /* niente scratch su questo device: si cade sul percorso CPU qui sotto */
+ if(x_dev_on>=0){ coli_cuda_pipe_download(x_dev_on,x_dev,x,xb); x_dev_on=-1; }
+ } else {
if(x_dev_on<0) ok=coli_cuda_pipe_upload(dev,dst,x,xb);
else if(x_dev_on!=dev){
double tp=g_prof?now_s():0;
@@ -4191,7 +4197,14 @@ static void layers_forward_rows(Model *m, float *x, int S, int pos_base,
coli_cuda_pipe_peer_copy(dev,x_dev,dev,coli_cuda_pipe_scratch(dev,14,xb),xb);
coli_cuda_pipe_download(dev,x_dev,x,xb);
x_dev_on=-1;
- }else x_dev_on=-1;
+ }else{
+ /* upload o peer-copy fallita (P2P disabilitato, rifiuto del driver,
+ * NVLink giu'). Se la residenza era attiva il dato autorevole e'
+ * ancora sul device PRECEDENTE, non in dst: va scaricato da li'.
+ * Con x_dev_on<0 ha fallito l'upload e x host e' gia' autorevole. */
+ if(x_dev_on>=0) coli_cuda_pipe_download(x_dev_on,x_dev,x,xb);
+ x_dev_on=-1;
+ }
}
} else if(x_dev_on>=0){ /* layer fuori pipe: il residuo torna a casa */
coli_cuda_pipe_download(x_dev_on,x_dev,x,xb);