Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
C
feat(glm53): log CANCEL with emitted and filled under GLM53_VERBOSE
eni30ad94bcc619
diff --git a/c/glm53.c b/c/glm53.cindex 6f4fffa7..825d96ca 100644--- a/c/glm53.c+++ b/c/glm53.c@@ -3343,6 +3343,23 @@ static int serve_one(GModel *m, Tok *tokenizer, ServeReq *q) {/* La sessione resta allo slot per il turno dopo, con la sequenza che ha* davvero macinato: prompt piu' quello che ha generato. */slot_remember(slot, sequence, total);+ /* Quanto prefisso lo slot ha risparmiato.+ *+ * Su STDERR, non nel protocollo. La specifica dice che un server ignora le+ * righe che non conosce, ma questo progetto ha scelto il contrario apposta+ * e lo mette per iscritto in un test: una riga sconosciuta uccide il+ * dispatcher, cosi' un motore non puo' parlare a un server che non lo+ * capisce. La regola vera e' quella del test, non quella del documento.+ *+ * E dietro GLM53_VERBOSE, perche' `coli chat` eredita lo stderr del server:+ * senza guardia questa riga compare a schermo dopo ogni risposta, sotto gli+ * occhi di chi voleva solo la risposta.+ *+ * Prima del ramo del CANCEL, non dopo: anche un turno interrotto ha+ * riusato (o no) il suo prefisso, e un turno che non lascia righe non si+ * puo' confrontare con quello che lo riprende. */+ if (getenv("GLM53_VERBOSE"))+ fprintf(stderr, "REUSE %llu %d %d\n", q->id, reused, prompt_tokens);/* Il turno e' stato interrotto: si risponde col frame che il gateway* aspetta per rilasciare l'ammissione dello scheduler (openai_server.py* accetta ERROR <id> CANCELLED oppure un DONE, ma il DONE direbbe al@@ -3354,6 +3371,14 @@ static int serve_one(GModel *m, Tok *tokenizer, ServeReq *q) {* riusare il prefisso. Buttarlo costerebbe un prefill intero per punire* un client che ha cambiato idea. */if (ctl == SERVE_CTL_CANCEL) {+ /* Fin dove e' arrivato il motore: il client ne ha ricevuti al massimo+ * `emitted`, e quanti ne mancano si legge solo dal suo lato. `filled`+ * sta accanto perche' un Continue riusa solo se ha piu' token di+ * quelli in cache: oggi filled == prompt + emitted, quindi anche un+ * client che ha ricevuto tutto rifa' il prefill da capo. */+ if (getenv("GLM53_VERBOSE"))+ fprintf(stderr, "CANCEL %llu %d %d %d\n", q->id, prompt_tokens,+ emitted, session->filled);serve_line("ERROR %llu CANCELLED\n", q->id);free(sequence);return input_eof ? -1 : 0;@@ -3364,19 +3389,6 @@ static int serve_one(GModel *m, Tok *tokenizer, ServeReq *q) {* stato il limite di token a fermarlo -- e la storia e' gia' stata scritta* sopra, quindi lo slot resta quello che e'. */const double elapsed = now_s() - started;- /* Quanto prefisso lo slot ha risparmiato.- *- * Su STDERR, non nel protocollo. La specifica dice che un server ignora le- * righe che non conosce, ma questo progetto ha scelto il contrario apposta- * e lo mette per iscritto in un test: una riga sconosciuta uccide il- * dispatcher, cosi' un motore non puo' parlare a un server che non lo- * capisce. La regola vera e' quella del test, non quella del documento.- *- * E dietro GLM53_VERBOSE, perche' `coli chat` eredita lo stderr del server:- * senza guardia questa riga compare a schermo dopo ogni risposta, sotto gli- * occhi di chi voleva solo la risposta. */- if (getenv("GLM53_VERBOSE"))- fprintf(stderr, "REUSE %llu %d %d\n", q->id, reused, prompt_tokens);hits_emit(m);{const double disk = m->t_disk - s_disk, ffn = m->t_ffn - s_ffn;diff --git a/c/tests/glm53_serve_harness.py b/c/tests/glm53_serve_harness.pyindex ce0b4fab..5f59b478 100644--- a/c/tests/glm53_serve_harness.py+++ b/c/tests/glm53_serve_harness.py@@ -215,6 +215,30 @@ def main() -> int:f"di rispondere al CANCEL: non e' stato onorato a meta' turno")return 1+ # La riga CANCEL su stderr: e' l'unico modo di sapere, dopo, quanti+ # token il motore ha mandato e quanti ne tiene in cache. Qui la pipa+ # non perde niente, quindi `emitted` deve essere esattamente i DATA+ # letti; e `filled` deve essere prompt piu' emessi, che e' quello che+ # un Continue dovra' superare per riusare lo slot.+ notes = open(NOTES, "r", errors="replace").read().splitlines()+ cancel_lines = [line.split() for line in notes if line.startswith("CANCEL 12 ")]+ if len(cancel_lines) != 1 or len(cancel_lines[0]) != 5:+ print(f"FAIL: attesa una riga 'CANCEL 12 <prompt> <emessi> <filled>' "+ f"su stderr, trovate {cancel_lines!r}")+ return 1+ cancel_prompt, cancel_emitted, cancel_filled = map(int, cancel_lines[0][2:])+ if cancel_emitted != emitted_before:+ print(f"FAIL: CANCEL dice {cancel_emitted} token emessi, ne sono "+ f"arrivati {emitted_before}")+ return 1+ if cancel_filled != cancel_prompt + cancel_emitted:+ print(f"FAIL: CANCEL con filled {cancel_filled}, atteso prompt "+ f"{cancel_prompt} + emessi {cancel_emitted}")+ return 1+ if not any(line.startswith("REUSE 12 ") for line in notes):+ print("FAIL: il turno interrotto non ha lasciato la sua riga REUSE")+ return 1+# Dopo un CANCEL lo stream deve restare allineato come dopo un errore:# il gateway riusa la stessa pipa per la richiesta successiva.submit(process, 13, prompt, max_tokens=1)