The all-in-one local AI studio for your desktop: chat, image and video generation and a coding agent in one free, open source app. Windows and Linux. No Docker, no terminal, no cloud required.
TypeScript agentai-chatai-studioall-in-onecoding-agentdesktop-appfluximage-generationlinuxllmlocal-ailocal-llmopen-sourceprivacyself-hostedstable-diffusionuncensoreduncensored-aivideo-generationwindows
import { useChatStore } from '../../stores/chatStore'
import { estimateTokens } from '../../lib/context-compaction'
import type { ChatMessage, ToolDefinition } from '../../api/providers/types'
/**
* Das Feld `usage` einer Antwort — die eine Zahl, die der Nutzer als
* Verbrauchsanzeige sieht.
*
* Der Schnitt folgt dem geteilten Zustand `message.usage`: in useCodex.ts
* schrieben DREI Stellen hinein — ein Schaetzblock im Ollama-Zweig und zwei
* WOERTLICH IDENTISCHE Bloecke, einer im Ollama-Zweig und einer im
* OpenAI-kompatiblen Zweig:
*
* if (turn.promptEvalCount || turn.evalCount) {
* useChatStore.getState().updateMessageUsage(convId!, assistantMsg.id, {
* promptTokens: turn.promptEvalCount || 0, …, estimated: false,
* })
* }
*
* Zwei Kopien derselben Regel in zwei Transporten, die dasselbe Feld fuellen,
* gehoeren nach nebenan — sonst bekommt der eine Transport eine Korrektur, die
* der andere nicht sieht.
*
* DIE REGEL, DIE DABEI ZU PRUEFEN IST: eine SCHAETZUNG darf eine ECHTE Zahl
* NIE ueberschreiben. Der Schaetzblock traegt seinen Wert nur ein, solange
* `usage` fehlt oder selbst geschaetzt ist; die echte Zahl des Modells (letzte
* gewinnt, weil der spaeteste Aufruf den vollsten Prompt hatte) setzt
* `estimated: false` und ist damit endgueltig. In der grossen Datei stand
* diese Rangfolge nur als Kommentar; hier ist sie pruefbar, und zwar am
* ECHTEN Chat-Speicher.
*/
/** Was ein Transportzug an Zahlen zurueckmeldet. */
export interface TurnCounts {
promptEvalCount?: number
evalCount?: number
}
/**
* Die vorlaeufige Schaetzung: echte Promptgroesse (Systemprompt + Werkzeuge +
* Repo-Karte + Verlauf), nicht ein Zeichen/4-Rateschluss ueber die sichtbaren
* Nachrichten allein. Wird nur gesetzt, solange keine echte Zahl vorliegt.
*/
export function seedEstimatedUsage(
convId: string,
messageId: string,
sendMessages: ChatMessage[],
tools: ToolDefinition[],
): void {
const existingUsage = useChatStore.getState().conversations
.find((c) => c.id === convId)?.messages.find((m) => m.id === messageId)?.usage
if (!existingUsage || existingUsage.estimated) {
const estPrompt =
estimateTokens(sendMessages.map((m) => (typeof m.content === 'string' ? m.content : JSON.stringify(m.content))).join('\n')) +
estimateTokens(JSON.stringify(tools))
useChatStore.getState().updateMessageUsage(convId, messageId, {
promptTokens: estPrompt, completionTokens: 0, totalTokens: estPrompt, estimated: true,
})
}
}
/**
* Die echte Zahl dieses Modellaufrufs. Mehrere Aufrufe laufen pro Aufgabe; der
* letzte hat den vollsten Prompt, also gewinnt der letzte.
*/
export function reportTurnUsage(convId: string, messageId: string, turn: TurnCounts): void {
if (turn.promptEvalCount || turn.evalCount) {
useChatStore.getState().updateMessageUsage(convId, messageId, {
promptTokens: turn.promptEvalCount || 0,
completionTokens: turn.evalCount || 0,
totalTokens: (turn.promptEvalCount || 0) + (turn.evalCount || 0),
estimated: false,
})
}
}