Skip to content

Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦

C

feat(glm53): log CANCEL with emitted and filled under GLM53_VERBOSE

eni30ad94bcc619
diff --git a/c/glm53.c b/c/glm53.c
index 6f4fffa7..825d96ca 100644
--- a/c/glm53.c
+++ b/c/glm53.c
@@ -3343,6 +3343,23 @@ static int serve_one(GModel *m, Tok *tokenizer, ServeReq *q) {
/* La sessione resta allo slot per il turno dopo, con la sequenza che ha
* davvero macinato: prompt piu' quello che ha generato. */
slot_remember(slot, sequence, total);
+ /* Quanto prefisso lo slot ha risparmiato.
+ *
+ * Su STDERR, non nel protocollo. La specifica dice che un server ignora le
+ * righe che non conosce, ma questo progetto ha scelto il contrario apposta
+ * e lo mette per iscritto in un test: una riga sconosciuta uccide il
+ * dispatcher, cosi' un motore non puo' parlare a un server che non lo
+ * capisce. La regola vera e' quella del test, non quella del documento.
+ *
+ * E dietro GLM53_VERBOSE, perche' `coli chat` eredita lo stderr del server:
+ * senza guardia questa riga compare a schermo dopo ogni risposta, sotto gli
+ * occhi di chi voleva solo la risposta.
+ *
+ * Prima del ramo del CANCEL, non dopo: anche un turno interrotto ha
+ * riusato (o no) il suo prefisso, e un turno che non lascia righe non si
+ * puo' confrontare con quello che lo riprende. */
+ if (getenv("GLM53_VERBOSE"))
+ fprintf(stderr, "REUSE %llu %d %d\n", q->id, reused, prompt_tokens);
/* Il turno e' stato interrotto: si risponde col frame che il gateway
* aspetta per rilasciare l'ammissione dello scheduler (openai_server.py
* accetta ERROR <id> CANCELLED oppure un DONE, ma il DONE direbbe al
@@ -3354,6 +3371,14 @@ static int serve_one(GModel *m, Tok *tokenizer, ServeReq *q) {
* riusare il prefisso. Buttarlo costerebbe un prefill intero per punire
* un client che ha cambiato idea. */
if (ctl == SERVE_CTL_CANCEL) {
+ /* Fin dove e' arrivato il motore: il client ne ha ricevuti al massimo
+ * `emitted`, e quanti ne mancano si legge solo dal suo lato. `filled`
+ * sta accanto perche' un Continue riusa solo se ha piu' token di
+ * quelli in cache: oggi filled == prompt + emitted, quindi anche un
+ * client che ha ricevuto tutto rifa' il prefill da capo. */
+ if (getenv("GLM53_VERBOSE"))
+ fprintf(stderr, "CANCEL %llu %d %d %d\n", q->id, prompt_tokens,
+ emitted, session->filled);
serve_line("ERROR %llu CANCELLED\n", q->id);
free(sequence);
return input_eof ? -1 : 0;
@@ -3364,19 +3389,6 @@ static int serve_one(GModel *m, Tok *tokenizer, ServeReq *q) {
* stato il limite di token a fermarlo -- e la storia e' gia' stata scritta
* sopra, quindi lo slot resta quello che e'. */
const double elapsed = now_s() - started;
- /* Quanto prefisso lo slot ha risparmiato.
- *
- * Su STDERR, non nel protocollo. La specifica dice che un server ignora le
- * righe che non conosce, ma questo progetto ha scelto il contrario apposta
- * e lo mette per iscritto in un test: una riga sconosciuta uccide il
- * dispatcher, cosi' un motore non puo' parlare a un server che non lo
- * capisce. La regola vera e' quella del test, non quella del documento.
- *
- * E dietro GLM53_VERBOSE, perche' `coli chat` eredita lo stderr del server:
- * senza guardia questa riga compare a schermo dopo ogni risposta, sotto gli
- * occhi di chi voleva solo la risposta. */
- if (getenv("GLM53_VERBOSE"))
- fprintf(stderr, "REUSE %llu %d %d\n", q->id, reused, prompt_tokens);
hits_emit(m);
{
const double disk = m->t_disk - s_disk, ffn = m->t_ffn - s_ffn;
diff --git a/c/tests/glm53_serve_harness.py b/c/tests/glm53_serve_harness.py
index ce0b4fab..5f59b478 100644
--- a/c/tests/glm53_serve_harness.py
+++ b/c/tests/glm53_serve_harness.py
@@ -215,6 +215,30 @@ def main() -> int:
f"di rispondere al CANCEL: non e' stato onorato a meta' turno")
return 1
+ # La riga CANCEL su stderr: e' l'unico modo di sapere, dopo, quanti
+ # token il motore ha mandato e quanti ne tiene in cache. Qui la pipa
+ # non perde niente, quindi `emitted` deve essere esattamente i DATA
+ # letti; e `filled` deve essere prompt piu' emessi, che e' quello che
+ # un Continue dovra' superare per riusare lo slot.
+ notes = open(NOTES, "r", errors="replace").read().splitlines()
+ cancel_lines = [line.split() for line in notes if line.startswith("CANCEL 12 ")]
+ if len(cancel_lines) != 1 or len(cancel_lines[0]) != 5:
+ print(f"FAIL: attesa una riga 'CANCEL 12 <prompt> <emessi> <filled>' "
+ f"su stderr, trovate {cancel_lines!r}")
+ return 1
+ cancel_prompt, cancel_emitted, cancel_filled = map(int, cancel_lines[0][2:])
+ if cancel_emitted != emitted_before:
+ print(f"FAIL: CANCEL dice {cancel_emitted} token emessi, ne sono "
+ f"arrivati {emitted_before}")
+ return 1
+ if cancel_filled != cancel_prompt + cancel_emitted:
+ print(f"FAIL: CANCEL con filled {cancel_filled}, atteso prompt "
+ f"{cancel_prompt} + emessi {cancel_emitted}")
+ return 1
+ if not any(line.startswith("REUSE 12 ") for line in notes):
+ print("FAIL: il turno interrotto non ha lasciato la sua riga REUSE")
+ return 1
+
# Dopo un CANCEL lo stream deve restare allineato come dopo un errore:
# il gateway riusa la stessa pipa per la richiesta successiva.
submit(process, 13, prompt, max_tokens=1)