Skip to content

Never stop coding. Free MIT AI gateway: one endpoint, 375 providers (150+ free), 1,400+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by 900+ contributors

37.5 KB
Raw Blame

Monitoring & Observability Guide (Latviešu)

🌐 Languages: 🇺🇸 English · 🇪🇹 am · 🇸🇦 ar · 🇦🇿 az · 🇧🇬 bg · 🇧🇩 bn · 🇧🇦 bs · 🇨🇿 cs · 🇩🇰 da · 🇩🇪 de · 🇬🇷 el · 🇪🇸 es · 🇪🇪 et · 🇮🇷 fa · 🇫🇮 fi · 🇫🇷 fr · 🇮🇪 ga · 🇮🇳 gu · 🇳🇬 ha · 🇮🇱 he · 🇮🇳 hi · 🇭🇷 hr · 🇭🇺 hu · 🇦🇲 hy · 🇮🇩 id · 🇳🇬 ig · 🇮🇹 it · 🇯🇵 ja · 🇬🇪 ka · 🇰🇭 km · 🇮🇳 kn · 🇰🇷 ko · 🇱🇹 lt · 🇮🇳 ml · 🇮🇳 mr · 🇲🇾 ms · 🇲🇹 mt · 🇲🇲 my · 🇳🇵 ne · 🇳🇱 nl · 🇳🇴 no · 🇮🇳 or · 🇮🇳 pa · 🇵🇭 phi · 🇵🇱 pl · 🇵🇹 pt · 🇧🇷 pt-BR · 🇷🇴 ro · 🇷🇺 ru · 🇱🇰 si · 🇸🇰 sk · 🇸🇮 sl · 🇷🇸 sr · 🇸🇪 sv · 🇰🇪 sw · 🇮🇳 ta · 🇮🇳 te · 🇹🇭 th · 🇹🇷 tr · 🇺🇦 uk-UA · 🇵🇰 ur · 🇺🇿 uz · 🇻🇳 vi · 🇳🇬 yo · 🇨🇳 zh-CN · 🇹🇼 zh-TW


Īsumā: OmniRoute ietver iebūvētu darbspējas uzraudzību, pakalpojumu sniedzēju autopilotu, kvotu uzskaiti un novērojamības integrācijas punktus. Šajā ceļvedī ir aprakstīts informācijas panelis, brīdinājumi un problēmu novēršana.

Avoti:

  • src/lib/monitoring/observability.ts — novērojamības momentuzņēmums
  • src/lib/monitoring/comboHealthAutopilot.ts — kombināciju darbspējas autopilots
  • src/lib/monitoring/providerHealthAutopilot.ts — pakalpojumu sniedzēju autopilots
  • src/lib/monitoring/providerHealthMatrix.ts — pakalpojumu sniedzēju darbspējas matrica
  • src/lib/localHealthCheck.ts — lokālā darbspējas pārbaude
  • src/lib/tokenHealthCheck.ts — marķieru atsvaidzināšanas darbspēja
  • src/lib/proxyHealth.ts — starpniekservera darbspējas kešatmiņa (aprakstīta PROXY_GUIDE.md)

Pārskats

OmniRoute ir 3 uzraudzības slāņi:

┌──────────────────────────────────────────────────────────────┐
│  1. slānis: Sistēmas darbspēja (servera līmenī)              │
│  ├─ localHealthCheck.ts — DB, porti, vietējās atkarības       │
│  ├─ db/healthCheck.ts — integritāte, FK, bāreņartefakti       │
│  └─ Informācijas panelis: /dashboard/health                   │
├──────────────────────────────────────────────────────────────┤
│  2. slānis: Pakalpojumu sniedzēju darbspēja (noturība katram  │
│  │  pakalpojumu sniedzējam)                                  │
│  ├─ providerHealthAutopilot.ts — ķēdes pārtraucējs, nogaides  │
│  ├─ providerHealthMatrix.ts — darbspējas vērtējumi pēc        │
│  │  pakalpojumu sniedzēja/modeļa                             │
│  └─ Informācijas panelis: /dashboard/providers                │
├──────────────────────────────────────────────────────────────┤
│  3. slānis: Aktīvā novērojamība (izpildlaika momentuzņēmumi)  │
│  ├─ observability.ts — ķēdes pārtraucēji, sesijas, kvotas     │
│  ├─ tokenHealthCheck.ts — OAuth marķieru atsvaidzināšanas     │
│  │  darbspēja                                                │
│  └─ MCP rīki: omniroute_get_health,                           │
│     omniroute_get_session_snapshot                            │
└──────────────────────────────────────────────────────────────┘

Informācijas paneļa lapas

/dashboard/health (Sistēmas darbspēja)

Augstākā līmeņa darbspējas informācijas panelī tiek rādīts:

Sadaļa Ko tā rāda
Servera statuss Darbības laiks, versija, ports, aktīvie savienojumi
Datubāze Savienojums, integritāte, WAL lielums, nesenās migrācijas
Pakalpojumu sniedzēju kopsavilkums Aktīvo un darbspējīgo skaits, atvērto pārtraucēju skaits
Kvotu uzraugi Aktīvās sesijas, brīdinājumi, izsmeltās kvotas
Nesenās kļūdas Pēdējās 10 kļūdas ar steka trasējumiem
Resursu lietojums Atmiņa, CPU, kaudzes noslodzes indikators

/dashboard/providers (Pakalpojumu sniedzēju darbspēja)

Katra pakalpojumu sniedzēja informācijas panelis:

Kolonna Apraksts
Pakalpojumu sniedzējs Pakalpojumu sniedzēja ID un attēlojamais nosaukums
Darbspēja Zaļš/dzeltens/sarkans statuss
Ķēde Atvērts/aizvērts/daļēji atvērts stāvoklis
Savienojumi Savienojumu skaits, pēdējā atsvaidzināšana
Modeļi Pieejamie modeļi, katra modeļa darbspēja
Izmaksas Šodienas izmaksas, 7 dienu tendence
Kļūdas Kļūdu skaits pēdējās 24 stundās, biežākā kļūdu klase

Noklikšķiniet uz pakalpojumu sniedzēja, lai skatītu:

  • Nesenos pieprasījumus ar latentuma sadalījumu
  • Katra savienojuma darbspējas vērtējumus
  • Katra modeļa bloķējumus
  • Autopilota ieteikumus

/dashboard/quota (Kvotu uzskaite)

Katrai API atslēgai:

  • Pašreizējais lietojums salīdzinājumā ar ierobežojumu (progresa josla)
  • Kvotas tendence (30 dienu diagramma)
  • Nākamās atiestatīšanas laiks
  • Brīdinājumu vēsture

/dashboard/combos (Kombināciju darbspēja)

Katrai kombinācijai:

  • Stratēģija un mērķi
  • Katra mērķa darbspēja
  • Nesenie pārslēgšanās uz rezerves variantu notikumi
  • Sekmīguma rādītājs (24 h, 7 d., 30 d.)

Veselības pārbaudes API

OmniRoute nodrošina divas HTTP veselības pārbaudes saskarnes. Orķestratoros tās nav savstarpēji aizvietojamas.

Ceļš Nolūks Slodze Izmantošana
GET /healthz Dzīves cikla darbspēja/gatavība (ok / starting / stopping) Nenozīmīga (tikai fāzes karodziņš) Kubernetes gatavības pārbaudei; saudzīgai darbspējas pārbaudei, ja jāizmanto HTTP
GET /api/monitoring/health Padziļināts sistēmas un nodrošinātāju kopsavilkums (DB, kaudze, kataloga skaits, …) Liela (sinhrons DB/uzraudzības darbs) Informācijas paneļiem, padziļinātām blackbox pārbaudēm, Docker iebūvētajai veselības pārbaudei

Piezīme: Nodrošinātāju veselības matricas, autopilota problēmas, kvotu monitori, pilnvaru veselība un detalizēta latentuma informācija papildus /api/monitoring/health ir pieejama, izmantojot MCP rīku observability_snapshot vai informācijas paneļa lapas — tiem nav atsevišķu REST maršrutu.

Abi maršruti darbojas tajā pašā Node notikumu ciklā, kurā tiek apstrādāti pieprasījumi. CPU intensīvs ceļš (apjomīga GET /v1/models kataloga apstrāde, gara konteksta saspiešana/pilnvaru skaitīšana) var aizkavēt visus HTTP apdarinātājus, tostarp /healthz. Noslogots notikumu cikls ≠ beigts process. Ieteicams novērst noslodzes cēloni; pārbaužu pielāgošana tikai samazina kļūdainas procesu apturēšanas gadījumus.

Viegla orķestratora pārbaude

GET /healthz
# vai HEAD /healthz
  • 200 + pamatteksts ok, kad servera dzīves cikla fāze ir gatava
  • 503 + starting / stopping palaišanas vai izslēgšanas laikā
  • Implementācija: src/app/healthz/route.ts (bez DB pārbaudes)

Sistēmas veselība (padziļināta)

GET /api/monitoring/health

Atbilde:

{
  "status": "healthy",
  "version": "3.8.16",
  "uptime": 123456,
  "checks": {
    "database": { "status": "pass", "latency_ms": 2 },
    "writeable": { "status": "pass" },
    "integrity": { "status": "pass", "result": "ok" },
    "foreign_keys": { "status": "pass", "violations": 0 },
    "heap_pressure": { "status": "pass", "usage_mb": 142, "threshold_mb": 512 },
    "active_sessions": 12,
    "providers": {
      "total": 7,
      "healthy": 6,
      "degraded": 1,
      "down": 0
    }
  }
}

credentialHealth: pārbaužu kešatmiņa pret SQLite test_status

GET /api/monitoring/health → credentialHealth ir atmiņā glabātās pārbaužu kešatmiņas rādītājs, nevis aktuāla provider_connections.test_status izdruka. Pēc #12532 pieprasījuma ceļš nolasa tikai getCachedCredentialHealthSummary(); fona pārbaudes atsvaidzina kešatmiņu ārpus notikumu cikla.

Slānis Kur Ko tas nozīmē
Pārbaužu kešatmiņas rādītājs credentialHealth.total / healthy / failed / unknown / stale Pēdējie akreditācijas datu veselības pārbaužu rezultāti, kas joprojām tiek glabāti procesa atmiņā. source vienmēr ir probe-cache.
Neizdevušos savienojumu informācija credentialHealth.failedConnections Pieejama tikai tad, ja failed > 0. Ierobežots kešatmiņas rindu saraksts ar status=error (connectionId, status, attīrīts lastError / lastErrorType). failedOmitted tiek iestatīts, ja saraksts tika ierobežots.
SQLite noturīgais statuss credentialHealth.staleDbNonOkCount Aktīvo (is_active=1) savienojumu rindu skaits, kuru saglabātais test_status ir zināma vērtība, kas nav ok (error, expired, credits_exhausted, banned, deactivated, unavailable).

Šie divi slāņi var apzināti atšķirties:

  • Rādītājs failed=0, kamēr staleDbNonOkCount>0 — SQLite joprojām ir noturīgs test_status (piemēram, expired vai credits_exhausted), ko jaunākais pārbaužu kešatmiņas momentuzņēmums neuzskaita kā status=error.
  • Rādītājs failed>0, kamēr SQLite norāda, ka viss ir kārtībā — nesena pārbaude neizdevās un ir saglabāta kešatmiņā; DB rinda vēl nav atjaunināta vai vēlāk tika notīrīta.

Neradiet brīdinājumu, pamatojoties tikai uz provider_connections.test_status, kad iegūstat datus no šī galapunkta. Izmantojiet failed + failedConnections aktuālām pārbaužu kļūmēm un staleDbNonOkCount, ja nepieciešams saglabāto noturīgo statusu skaits.

Kubernetes pārbaužu ieteikumi

OmniRoute ir viens Node process (viens notikumu cikls). Docker standarta HEALTHCHECK izmanto vieglo /healthz. /api/monitoring/health ir pārāk smags kubelet darbspējas pārbaudes intervāliem.

Pārbaude Ieteicamais mērķis Piezīmes
Palaišana HTTP GET /healthz ar lielu failureThreshold (vai lielu startPeriod) Aukstā palaišana + SQLite migrācija var ilgt vairākas sekundes
Gatavība HTTP GET /healthz Dzīves cikla stāvokļi ok / starting / stopping (200 pret 503). Joprojām svārstās, ja ciklu bloķē CPU. 200 atbilde pēc vairākām sekundēm nav veselīga stāvokļa pazīme (#10303) — tas nozīmē, ka notikumu ciklam trūka resursu, pirms tika izpildīts 3 baitu apdarinātājs
Dzīvīgums HTTP GET /livez vai TCP galvenajā pakalpojuma portā (PORT, pēc noklusējuma 20128) /livez pārbauda tikai procesa darbību (vienmēr 200, ja apdarinātājs tiek izpildīts). Tā joprojām izmanto to pašu notikumu ciklu — aizņemts ≠ nedzīvs, un tā nekonstatē notikumu cikla resursu trūkumu (#10303) labāk par TCP. Dodiet priekšroku TCP, ja HTTP pārbaudes noilgst kataloga/saspiešanas slodzes laikā; jebkurā gadījumā nenogaliniet podu īslaicīgas notikumu cikla aiztures dēļ
Padziļināta veselības pārbaude GET /api/monitoring/health no ārēja pārbaudītāja Nav paredzēta kubelet livenessProbe / biežai readinessProbe

Konfigurācijas piemērs (pielāgojiet sliekšņus savai aukstās palaišanas un saspiešanas slodzei):

ports:
  - name: http
    containerPort: 20128
startupProbe:
  httpGet:
    path: /healthz
    port: http
  failureThreshold: 30
  periodSeconds: 5
readinessProbe:
  httpGet:
    path: /healthz
    port: http
  periodSeconds: 5
  timeoutSeconds: 2
  failureThreshold: 6
livenessProbe:
  httpGet:
    path: /livez
    port: http
  periodSeconds: 10
  timeoutSeconds: 3
  failureThreshold: 6
  # Notikumu cikla aiztures laikā HTTP /livez joprojām var iestāties noildze. TCP ir
  # piesardzīgāka alternatīva:
  # tcpSocket:
  #   port: http

Nenorādiet kubelet dzīvīguma pārbaudei /api/monitoring/health. Šis ceļš veic reālu DB/pārraudzības darbu un slodzes apstākļos radīs kļūdaini pozitīvus rezultātus.

Saistīts: #10052 (pārbaudes, kamēr notikumu cikls ir aizņemts), #9685 / #10055 (kataloga cenu apstrādes radīta resursu pārslodze), #10117 (saspiešanas marķieru skaitīšanas radīta resursu pārslodze).

systemd sargsuns (iesaldēts notikumu cikls)

systemd resursdatorā OmniRoute paziņo pakalpojumu pārvaldniekam, kad tas ir gatavs, un turpina regulāri sūtīt tam signālus, lai serveris, kura notikumu cikls ir iestrēdzis, tiktu nogalināts un restartēts, nevis turpinātu darboties bez reakcijas. Signāli nāk no paša servera notikumu cikla: kad tas tiek bloķēts, signāli apstājas, un systemd restartē pakalpojumu, tiklīdz WatchdogSec norādītais laiks paiet bez neviena signāla.

omniroute autostart enable jau izveido lietotāja vienību ar šo konfigurāciju. Paša izveidotai vienībai (ar noklusējuma Type=simple) sargsuņa nav, tāpēc pievienojiet šīs rindas tās sadaļai [Service]:

[Service]
Type=notify
NotifyAccess=all
WatchdogSec=180
TimeoutStartSec=300

Ģenerētā vienība iestata Restart=on-failure, tāpēc pievienojiet arī šo rindu — bez tās sargsuns tikai nogalina iestrēgušo pakalpojumu, nevis to restartē.

  • Type=notify: pakalpojums tiek uzskatīts par „palaistu”, kad serveris nosūta READY=1, nevis tad, kad process izveido atvasināto procesu. TimeoutStartSec ierobežo lēnas palaišanas ilgumu.
  • NotifyAccess=all: signālus sūta servera process, kas ir omniroute serve pārrauga bērnprocess.
  • WatchdogSec: signāli tiek sūtīti ik pēc 60 sekundēm, tāpēc izmantojiet vērtību 120 vai vairāk. Mazākas vērtības restartētu serveri, kas darbojas pareizi.
  • Palaidiet omniroute serve priekšplānā. --daemon atvieno serveri no vienības cgroup, un paziņošanas rokasspiediens nekad netiek pabeigts.

Pēc restartēšanas pārbaudiet, vai tas ir aktīvs:

systemctl --user show omniroute -p WatchdogUSec -p WatchdogTimestamp

WatchdogUSec parāda konfigurēto aizkavi, un WatchdogTimestamp ik minūti tiek atjaunināts. Sargsuņa izraisīta restartēšana tiek reģistrēta kā Result=watchdog. Lai izslēgtu signālus, nemainot pašu vienību, iestatiet OMNIROUTE_DISABLE_SD_NOTIFY=1; ja nav NOTIFY_SOCKET (terminālī, Docker, Electron, Windows), nekas netiek nosūtīts.

Sargsuns pārbauda tikai to, vai notikumu cikls turpina darboties. Serveris, kas darbojas lēni, bet joprojām turpina apstrādi, netiek restartēts.

Neobligāta pieprasījumu ceļa apstrāde (atmiņa, prasmes, marķiera atsvaidzināšana)

Atmiņas izgūšana, prasmju injicēšana un OAuth marķieru atsvaidzināšana koplieto galveno Node notikumu ciklu ar /healthz. Tās ir informācijas paneļa pārslēdzamās funkcijas (memoryEnabled, skillsEnabled), nevis darbinieku pūls. Skatiet sadaļu Vide — notikumu cikla izmaksas.

Pakalpojumu sniedzēju darbspēja

Nav REST galapunkta. Pakalpojumu sniedzēju darbspējas dati ir pieejami, izmantojot MCP rīku observability_snapshot vai informācijas paneļa lapu /dashboard/providers.

Informācija par pakalpojumu sniedzēju

Nav REST galapunkta. Detalizēta informācija par katru pakalpojumu sniedzēju ir pieejama informācijas paneļa lapā /dashboard/providers.


Pakalpojumu sniedzēju veselības autopilots

Modulis providerHealthAutopilot.ts ir pašatjaunojoša sistēma, kas:

  1. Konstatē pakalpojumu sniedzēju problēmas (atvērta ķēde, nogaidīšanas periodi, bloķējumi, kvotas brīdinājumi)
  2. Ģenerē ieteicamās darbības to novēršanai
  3. Pēc izvēles automātiski izpilda zema riska darbības

Konstatēto problēmu veidi

Problēmas veids Nopietnība Nosacījuma piemērs
provider_circuit_open kritiska Ķēdes pārtraucējs atvērts pēc 5 kļūmēm
provider_circuit_half_open brīdinājums Ķēde pārbauda atkopšanos
connection_cooldown brīdinājums Savienojumam piemērots nogaidīšanas periods pēc 429
stale_connection_error brīdinājums Pēdējā atsvaidzināšana neizdevās pirms vairāk nekā 30 minūtēm
terminal_connection_error kritiska OAuth atsaukts, atslēga nederīga
inactive_connection informācija Savienojums atspējots iestatījumos
model_lockout brīdinājums Konkrētais modelis atrodas karantīnā
quota_monitor_warning brīdinājums Kvotas izmantojums sasniedzis 80% vai vairāk

Ģenerēto darbību veidi

Darbība Risks Apraksts
clear_provider_breaker vidējs Atiestatīt ķēdes pārtraucēju slēgtā stāvoklī
clear_connection_cooldown zems Noņemt savienojuma nogaidīšanas periodu
clear_stale_connection_error zems Notīrīt novecojušas kļūdas karodziņu
clear_model_lockout zems Atkārtoti iespējot karantīnā ievietotu modeli
reactivate_connection vidējs Atkārtoti iespējot deaktivizētu savienojumu
deactivate_connection augsts Atspējot problemātisku savienojumu

API

Nav REST galapunkta. Autopilota problēmas ir pieejamas, izmantojot MCP rīku observability_snapshot vai informācijas paneli. Autopilots darbojas iekšēji; tā darbība tiek konfigurēta iestatījumu datubāzē (katra savienojuma laukā autopilotMode), nevis ar vides mainīgajiem — grep -rn, meklējot autopilota režīma vides mainīgo, neatgriež nevienu rezultātu.

Autopilota režīms

Pēc noklusējuma autopilots darbojas manuālajā režīmā — tas konstatē problēmas un ģenerē ieteicamās darbības, taču tās automātiski nepiemēro. Darbības var piemērot, izmantojot informācijas paneli.


Kombināciju veselības autopilots

comboHealthAutopilot.ts ir pakalpojumu sniedzēju autopilota kombinācijām paredzētais ekvivalents. Tas:

  • Konstatē neveselīgas kombinācijas
  • Iesaka mainīt mērķu secību
  • Iesaka atspējot bojātus mērķus
  • Pēc N kļūmēm automātiski noņem nedarbojošos mērķus

Kombināciju problēmu piemēri

Kombinācija "always-on" (prioritātes stratēģija)
├─ 1. mērķis: openai/gpt-5 (veselīgs)
├─ 2. mērķis: anthropic/claude-opus-4-6 (⚠️ modeļa bloķējums līdz plkst. 14:00)
└─ 3. mērķis: kiro/claude-sonnet-4-5 (veselīgs)

Ieteicamā darbība: mainīt secību — pārvietot kiro virs anthropic, līdz beidzas bloķējums

Kvotu pārraugi

observability.ts nodrošina katras sesijas kvotu pārraugus abonementu pakalpojumu sniedzējiem (Claude Code, Codex, GitHub Copilot):

interface QuotaMonitorSnapshot {
  sessionId: string;
  provider: string;
  accountId: string;
  status: "starting" | "idle" | "healthy" | "warning" | "exhausted" | "error";
  lastQuotaPercent: number | null; // 0-100
  lastQuotaUsed: number | null;
  lastQuotaTotal: number | null;
  lastResetAt: string | null;
  nextPollAt: string | null;
  totalPolls: number;
  totalAlerts: number;
  consecutiveFailures: number;
}

Statusu nozīme

Statuss Kad Lietotāja saskarnes darbība
starting Notiek sākotnējā aptauja Ielādes indikators
idle Nav nesenu darbību Paslēpts informācijas panelī
healthy Atlikuši vairāk nekā 50% kvotas Zaļš punkts
warning Atlikuši mazāk nekā 50% kvotas Dzeltens brīdinājums
exhausted Kvota = 0% Sarkans bloks, novirzīt uz nākamo pakalpojumu sniedzēju
error Aptauja neizdevās Sarkans punkts, drīzumā mēģināt vēlreiz

API

Nav REST galapunkta. Kvotu pārraugu dati ir pieejami, izmantojot MCP rīku observability_snapshot vai informācijas paneli.


Novērojamības momentuzņēmums

MCP rīks observability_snapshot AI aģentiem atgriež pilnīgu sistēmas momentuzņēmumu:

{
  "circuitBreakers": [
    {
      "name": "openai",
      "state": "closed",
      "failureCount": 0,
      "lastFailureTime": null,
      "retryAfterMs": null
    }
  ],
  "sessions": [
    {
      "sessionId": "sess-123",
      "createdAt": 1234567890,
      "lastActive": 1234567999,
      "requestCount": 42,
      "connectionId": "conn-456",
      "ageMs": 109
    }
  ],
  "quotaMonitors": {/* skatiet iepriekš */},
  "uptime": 12345,
  "version": "3.8.16"
}

Aģenti to izmanto, lai pieņemtu maršrutēšanas lēmumus — piemēram, „ja openai ķēde ir atvērta, vispirms maršrutēt uz anthropic”.


Tokena darbspējas pārbaude

OAuth nodrošinātājiem (Claude Code, GitHub Copilot, Cursor) nepieciešama periodiska tokenu atsvaidzināšana. src/lib/tokenHealthCheck.ts izpilda fona plānotāju:

  • Pārbaudes cikls: ik pēc 60 sekundēm (cikls faila src/lib/tokenHealthCheck.ts:30 vērtībā TICK_MS = 60 * 1000)
  • Darbspējas pārbaužu intervāls katram savienojumam: pēc noklusējuma 60 minūtes (DEFAULT_HEALTH_CHECK_INTERVAL_MIN = 60); konfigurējams iestatījumu datubāzē
  • Preventīva atsvaidzināšana, saņemot 401: to apstrādā katra savienojuma pārtvērējs

Tokena darbspējas statuss

interface TokenHealth {
  connectionId: string;
  provider: string;
  status: "valid" | "expiring_soon" | "expired" | "refresh_failed";
  expiresAt: string;
  lastRefresh: string;
  nextRefresh: string;
  consecutiveFailures: number;
}

Konfigurācija

Tokena darbspējas pārbaudes konfigurāciju iekšēji apstrādā tokenHealthCheck.ts.

Tokena darbspēja

Nav REST galapunkta. Tokena darbspējas dati ir pieejami informācijas panelī vai ar MCP rīku observability_snapshot.


Brīdinājumi

Iebūvētie kanāli

OmniRoute atbalsta 3 brīdinājumu kanālus:

Kanāls Iestatīšana Lietojums
Informācijas paneļa reklāmjosla Vienmēr ieslēgta Paziņojumi lietotnē
Tīmekļa aizķere Konfigurējiet URL Slack, Discord, PagerDuty
Žurnāls Noklusējums Ārējai žurnālu apkopošanai

Tīmekļa aizķeres konfigurācija

Piezīme: Tīmekļa aizķeres brīdinājumu konfigurācija tiek pārvaldīta informācijas paneļa lapā Iestatījumi. Informāciju par tīmekļa aizķeres URL, notikumu filtrēšanu un datu sūtījuma pielāgošanu skatiet iestatījumu lietotāja saskarnē.

Brīdinājumu veidi

Brīdinājums Kad Noklusējuma nopietnība
provider_circuit_open Ķēde tiek atvērta kritiska
provider_circuit_half_open Ķēde pārbauda darbības atjaunošanos informatīva
quota_warning Kvota sasniegusi vismaz 80% brīdinājums
quota_exhausted Kvota sasniegusi 100% kritiska
token_refresh_failed Vismaz 3 secīgas atsvaidzināšanas kļūmes brīdinājums
token_expired Beidzies tokena derīguma termiņš kritiska
combo_target_unhealthy Kombinētais mērķis atdzišanas režīmā vismaz 1 stundu brīdinājums
db_integrity_warning FK pārkāpumu skaits > 0 brīdinājums
heap_pressure Kaudzes lietojums > 80% no robežvērtības brīdinājums

Veiktspējas metrikas

Izsekotās metrikas

Metrika Tips Avots
request_count skaitītājs services/usage.ts
request_latency_ms histogramma services/usage.ts
tokens_consumed skaitītājs services/usage.ts
cost_usd skaitītājs services/usage.ts
provider_errors skaitītājs services/errorClassifier.ts
circuit_state_changes skaitītājs services/resilience.ts
cache_hits skaitītājs services/signatureCache.ts
compression_savings histogramma services/compression/stats.ts
quota_used mērītājs services/quotaMonitor.ts
memory_used_mb mērītājs observability.ts

Latentuma procentiles (p50/p95/p99)

Nav REST galapunkta. Latentuma procentiļu dati ir pieejami informācijas paneļa lapā /dashboard/health. Prometheus/OpenTelemetry eksportēšana ir plānota versijai v3.9.

Prometheus / OpenTelemetry eksportēšana (2. posms)

Versijai v3.9 ir plānota vietējā eksportēšana uz Prometheus, OpenTelemetry un Datadog.

Pagaidām izgūstiet datus no /api/monitoring/health, izmantojot jebkuru HTTP balstītu uzraudzības sistēmu (Prometheus blackbox exporter, Datadog HTTP pārbaudi u.c.).


Brīdinājumu konfigurēšanas piemēri

Slack

Piezīme: Tīmekļa aizķeres brīdinājumi tiek konfigurēti informācijas paneļa iestatījumu lapā — tiem nav paredzētu tīmekļa aizķeres vides mainīgo (grep -rn neatgriež nevienu rezultātu). Tīmekļa aizķeres URL, notikumu filtrēšanu un datu slodzes pielāgošanu skatiet iestatījumu lietotāja saskarnē.

Discord

Tīmekļa aizķeres brīdinājumiem tiek izmantota tā pati iestatījumu lietotāja saskarnes darbplūsma kā Slack. Discord pieņem tādas pašas formas JSON datu slodzi.

PagerDuty

Tīmekļa aizķeres brīdinājumiem tiek izmantota tā pati iestatījumu lietotāja saskarnes darbplūsma. PagerDuty Events API v2 maršrutēšanas atslēgas tiek konfigurētas iestatījumu lietotāja saskarnē.

Pielāgota tīmekļa aizķere (JSON)

Darbosies jebkurš HTTP galapunkts, kas pieņem POST pieprasījumus ar JSON pamattekstu. Konfigurējiet URL iestatījumu lietotāja saskarnē.


Informācijas paneļa konfigurācija

Veselības informācijas paneļa pielāgošana

Izveidojiet ~/.omniroute/dashboard.json:

{
  "health": {
    "sections": ["server_status", "database", "providers", "quota_monitors", "recent_errors"],
    "refresh_interval_ms": 5000
  }
}

Pakalpojumu sniedzēja piespraušana augšpusē

{
  "health": {
    "pinned_providers": ["openai", "anthropic"]
  }
}

Problēmu novēršana

„Pakalpojumu sniedzējs norāda, ka viss ir kārtībā, bet pieprasījumi neizdodas”

  1. Pārbaudiet autopilota problēmas — iespējams, kāds modelis ir bloķēts
  2. Skatiet nesenās kļūdas, lai atrastu konkrēto kļūdas klasi
  3. Pakalpojumu sniedzēja kartītē izmēģiniet savienojuma pārbaudi
  4. Pārbaudiet, vai pakalpojumu sniedzējs nav ierobežojis pieprasījumu biežumu savā pusē (lokāli tas nav redzams)

„Kvotas statuss ir kārtībā, bet es redzu 429 kļūdas”

  • 429 nozīmē, ka pakalpojumu sniedzējs norāda uz kvotas izlietojumu
  • OmniRoute kvotas uzskaites dati var būt novecojuši — noteicošie ir pakalpojumu sniedzēja pusē esošie dati
  • Kvotas dati tiek automātiski atsvaidzināti, izmantojot iekšējo kvotu pārraugu

„Kombinācija nedarbojas, bet visi mērķi izskatās pieejami”

  • Pārbaudiet kombināciju veselības informācijas paneli, lai atrastu mērķu secības problēmas
  • Skatiet atkāpšanās notikumus — iespējams, kombinācija pārāk ātri izsmeļ visas iespējas
  • Pārbaudiet, vai stratēģija atbilst jūsu lietošanas gadījumam (prioritāra, cikliska vai automātiska)

„Datubāzes veselības pārbaude neizdodas”

  • Palaidiet sqlite3 ~/.omniroute/storage.sqlite "PRAGMA integrity_check;"
  • Ja rezultāts ir „ok” — tā ir viltus trauksme, veselības pārbaude ir pārāk stingra
  • Ja rezultāts ir jebkas cits — apturiet OmniRoute un izpildiet avārijas atkopšanas rokasgrāmatā sniegtos norādījumus

„Atmiņas kaudzes noslodze ir kritiska”

# Pārbaudiet pašreizējo kaudzi
node -e "console.log(process.memoryUsage())"

# Manuāli aktivizējiet GC (ja izmantots --expose-gc)
node --expose-gc -e "global.gc(); console.log(process.memoryUsage())"

# Samaziniet vienlaicīgo pieprasījumu skaitu (iestatiet informācijas paneļa iestatījumu lapā, nevis ar vides mainīgo)
# Vides mainīgais `MAX_CONCURRENT_REQUESTS` nepastāv — konfigurējiet to sadaļā Iestatījumi → Vienlaicīgums.

Skatiet arī