Never stop coding. Free MIT AI gateway: one endpoint, 375 providers (150+ free), 1,400+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by 900+ contributors
Monitoring & Observability Guide (සිංහල)
🌐 Languages: 🇺🇸 English · 🇪🇹 am · 🇸🇦 ar · 🇦🇿 az · 🇧🇬 bg · 🇧🇩 bn · 🇧🇦 bs · 🇨🇿 cs · 🇩🇰 da · 🇩🇪 de · 🇬🇷 el · 🇪🇸 es · 🇪🇪 et · 🇮🇷 fa · 🇫🇮 fi · 🇫🇷 fr · 🇮🇪 ga · 🇮🇳 gu · 🇳🇬 ha · 🇮🇱 he · 🇮🇳 hi · 🇭🇷 hr · 🇭🇺 hu · 🇦🇲 hy · 🇮🇩 id · 🇳🇬 ig · 🇮🇹 it · 🇯🇵 ja · 🇬🇪 ka · 🇰🇭 km · 🇮🇳 kn · 🇰🇷 ko · 🇱🇹 lt · 🇱🇻 lv · 🇮🇳 ml · 🇮🇳 mr · 🇲🇾 ms · 🇲🇹 mt · 🇲🇲 my · 🇳🇵 ne · 🇳🇱 nl · 🇳🇴 no · 🇮🇳 or · 🇮🇳 pa · 🇵🇭 phi · 🇵🇱 pl · 🇵🇹 pt · 🇧🇷 pt-BR · 🇷🇴 ro · 🇷🇺 ru · 🇸🇰 sk · 🇸🇮 sl · 🇷🇸 sr · 🇸🇪 sv · 🇰🇪 sw · 🇮🇳 ta · 🇮🇳 te · 🇹🇭 th · 🇹🇷 tr · 🇺🇦 uk-UA · 🇵🇰 ur · 🇺🇿 uz · 🇻🇳 vi · 🇳🇬 yo · 🇨🇳 zh-CN · 🇹🇼 zh-TW
TL;DR: OmniRoute තුළ අන්තර්නිර්මිත සෞඛ්ය නිරීක්ෂණය, සැපයුම්කරු ස්වයංක්රීය නියමු පද්ධතිය, කෝටා ලුහුබැඳීම සහ නිරීක්ෂණ හැකියා හුක් ඇතුළත් වේ. මෙම මාර්ගෝපදේශය උපකරණ පුවරුව, අනතුරු ඇඟවීම් සහ දෝෂ නිරාකරණය ආවරණය කරයි.
මූලාශ්ර:
src/lib/monitoring/observability.ts— නිරීක්ෂණ හැකියා සැණරුවsrc/lib/monitoring/comboHealthAutopilot.ts— සංයෝජන සෞඛ්ය ස්වයංක්රීය නියමුවsrc/lib/monitoring/providerHealthAutopilot.ts— සැපයුම්කරු ස්වයංක්රීය නියමුවsrc/lib/monitoring/providerHealthMatrix.ts— සැපයුම්කරු සෞඛ්ය අනුකෘතියsrc/lib/localHealthCheck.ts— දේශීය සෞඛ්ය පරීක්ෂාවsrc/lib/tokenHealthCheck.ts— ටෝකන නැවුම් කිරීමේ සෞඛ්යයsrc/lib/proxyHealth.ts— ප්රොක්සි සෞඛ්ය හැඹිලිය (PROXY_GUIDE.md තුළ ආවරණය කර ඇත)
දළ විශ්ලේෂණය
OmniRoute සතුව නිරීක්ෂණ ස්තර 3ක් ඇත:
┌──────────────────────────────────────────────────────────────┐
│ ස්තරය 1: පද්ධති සෞඛ්යය (සේවාදායක මට්ටම) │
│ ├─ localHealthCheck.ts — DB, පෝට්, ස්වදේශීය පරායත්තතා │
│ ├─ db/healthCheck.ts — අඛණ්ඩතාව, FK, අනාථ කෘත්රිමක │
│ └─ උපකරණ පුවරුව: /dashboard/health │
├──────────────────────────────────────────────────────────────┤
│ ස්තරය 2: සැපයුම්කරු සෞඛ්යය (සැපයුම්කරු අනුව ඔරොත්තු දීම) │
│ ├─ providerHealthAutopilot.ts — පරිපථ බිඳිනය, සිසිලන කාල │
│ ├─ providerHealthMatrix.ts — සැපයුම්කරු/මාදිලිය අනුව සෞඛ්ය ලකුණු │
│ └─ උපකරණ පුවරුව: /dashboard/providers │
├──────────────────────────────────────────────────────────────┤
│ ස්තරය 3: සජීවී නිරීක්ෂණ හැකියාව (ධාවනකාල සැණරු) │
│ ├─ observability.ts — පරිපථ බිඳින, සැසි, කෝටාව │
│ ├─ tokenHealthCheck.ts — OAuth ටෝකන නැවුම් කිරීමේ සෞඛ්යය │
│ └─ MCP මෙවලම්: omniroute_get_health, omniroute_get_session_snapshot │
└──────────────────────────────────────────────────────────────┘
උපකරණ පුවරු පිටු
/dashboard/health (පද්ධති සෞඛ්යය)
ඉහළ මට්ටමේ සෞඛ්ය උපකරණ පුවරුව පෙන්වන්නේ:
| කොටස | එය පෙන්වන දේ |
|---|---|
| සේවාදායක තත්ත්වය | ක්රියාකාලය, අනුවාදය, පෝට් එක, සක්රිය සම්බන්ධතා |
| දත්ත සමුදාය | සම්බන්ධතාව, අඛණ්ඩතාව, WAL ප්රමාණය, මෑත සංක්රමණ |
| සැපයුම්කරු සාරාංශය | සක්රිය සංඛ්යාව, සෞඛ්ය සම්පන්න සංඛ්යාව, විවෘත බිඳින සංඛ්යාව |
| කෝටා නිරීක්ෂක | සක්රිය සැසි, අනතුරු ඇඟවීම්, අවසන් වීම් |
| මෑත දෝෂ | ස්ටැක් අනුරේඛන සහිත අවසන් දෝෂ 10 |
| සම්පත් භාවිතය | මතකය, CPU, හීප් පීඩන දර්ශකය |
/dashboard/providers (සැපයුම්කරු සෞඛ්යය)
එක් එක් සැපයුම්කරු සඳහා උපකරණ පුවරුව:
| තීරුව | විස්තරය |
|---|---|
| සැපයුම්කරු | සැපයුම්කරු ID + ප්රදර්ශන නාමය |
| සෞඛ්යය | කොළ/කහ/රතු තත්ත්වය |
| පරිපථය | විවෘත/වසා ඇති/අර්ධ-විවෘත තත්ත්වය |
| සම්බන්ධතා | සම්බන්ධතා සංඛ්යාව, අවසන් නැවුම් කිරීම |
| මාදිලි | ලබාගත හැකි මාදිලි, එක් එක් මාදිලියේ සෞඛ්යය |
| පිරිවැය | අද පිරිවැය, දින 7ක ප්රවණතාව |
| දෝෂ | අවසන් පැය 24 තුළ දෝෂ සංඛ්යාව, ඉහළම දෝෂ පන්තිය |
බැලීමට සැපයුම්කරුවකු ක්ලික් කරන්න:
- ප්රමාද බිඳවැටීම සමඟ මෑත ඉල්ලීම්
- එක් එක් සම්බන්ධතාව සඳහා සෞඛ්ය ලකුණු
- එක් එක් මාදිලිය සඳහා අගුලු දැමීම්
- ස්වයංක්රීය නියමු නිර්දේශ
/dashboard/quota (කෝටා ලුහුබැඳීම)
එක් එක් API යතුර සඳහා:
- වත්මන් භාවිතය සහ සීමාව අතර සැසඳීම (ප්රගති තීරුව)
- කෝටා ප්රවණතාව (දින 30ක ප්රස්තාරය)
- ඊළඟ යළි සැකසීමේ වේලාව
- අනතුරු ඇඟවීම් ඉතිහාසය
/dashboard/combos (සංයෝජන සෞඛ්යය)
එක් එක් සංයෝජනය සඳහා:
- උපායමාර්ගය + ඉලක්ක
- එක් එක් ඉලක්කයේ සෞඛ්යය
- මෑත පසුබැසීමේ සිදුවීම්
- සාර්ථකත්ව අනුපාතය (පැය 24, දින 7, දින 30)
සෞඛ්ය පරීක්ෂණ API
OmniRoute මඟින් HTTP සෞඛ්ය අතුරුමුහුණත් දෙකක් නිරාවරණය කරයි. Orchestrator සඳහා ඒවා එකිනෙක හුවමාරු කර භාවිත කළ නොහැක.
| මාර්ගය | අරමුණ | බර | භාවිත කළ යුත්තේ |
|---|---|---|---|
GET /healthz |
ජීවනචක්ර සජීවීතාව/සූදානම්තාව (ok / starting / stopping) |
ඉතා සුළුය (අදියර සලකුණ පමණි) | Kubernetes readiness; HTTP භාවිත කළ යුතුම නම් මෘදු liveness |
GET /api/monitoring/health |
පද්ධතිය + provider පිළිබඳ ගැඹුරු සාරාංශය (DB, heap, catalog ගණන්, …) | බරයි (සමමුහුර්ත DB / monitoring කාර්යය) | Dashboard, blackbox ගැඹුරු පරීක්ෂණ, Docker හි අන්තර්ගත healthcheck |
සටහන: Provider සෞඛ්ය න්යාස, autopilot ගැටලු, quota monitor, token සෞඛ්යය, සහ
/api/monitoring/healthඉක්මවන latency විස්තර MCP toolobservability_snapshotහෝ dashboard පිටු හරහා ලබාගත හැක — ඒවා සඳහා වෙන්වූ REST මාර්ග නොමැත.
මාර්ග දෙකම request හැසිරවීම සිදුකරන එම Node event loop එකේම ක්රියාත්මක වේ. CPU-බරැති මාර්ගයක් (විශාල GET /v1/models catalog කාර්යයක්, දිගු-context compression / token ගණනය) /healthz ඇතුළුව සියලුම HTTP handler ප්රමාද කළ හැක. Event-loop එක කාර්යබහුල වීම ≠ process එක මියගොස් තිබීම. සම්පත් අධිකව භාවිත කරන කාර්යය නිවැරදි කිරීම වඩා සුදුසුය; probe සැකසුම් වෙනස් කිරීමෙන් අඩුවන්නේ වැරදි ලෙස process නැවැත්වීම් පමණි.
සැහැල්ලු orchestrator probe එක
GET /healthz
# හෝ HEAD /healthz
- server ජීවනචක්ර අදියර සූදානම් වූ විට 200 + body
ok - ආරම්භ කිරීමේදී හෝ වසා දැමීමේදී 503 +
starting/stopping - ක්රියාත්මක කිරීම:
src/app/healthz/route.ts(DB ping එකක් නොමැත)
පද්ධති සෞඛ්යය (ගැඹුරු)
GET /api/monitoring/health
ප්රතිචාරය:
{
"status": "healthy",
"version": "3.8.16",
"uptime": 123456,
"checks": {
"database": { "status": "pass", "latency_ms": 2 },
"writeable": { "status": "pass" },
"integrity": { "status": "pass", "result": "ok" },
"foreign_keys": { "status": "pass", "violations": 0 },
"heap_pressure": { "status": "pass", "usage_mb": 142, "threshold_mb": 512 },
"active_sessions": 12,
"providers": {
"total": 7,
"healthy": 6,
"degraded": 1,
"down": 0
}
}
}
credentialHealth: probe-cache සහ SQLite test_status
GET /api/monitoring/health → credentialHealth යනු provider_connections.test_status හි සජීවී dump එකක් නොව, මතකය තුළ පවතින probe-cache
gauge එකයි. #12532 පසු request මාර්ගය කියවන්නේ getCachedCredentialHealthSummary() පමණි; පසුබිම් probe
event loop එකෙන් පිටත cache එක refresh කරයි.
| ස්තරය | ස්ථානය | එහි අර්ථය |
|---|---|---|
| Probe-cache gauge | credentialHealth.total / healthy / failed / unknown / stale |
process මතකයේ තවමත් රඳවා ඇති අවසන් credential-health probe ප්රතිඵල. source සැමවිටම probe-cache වේ. |
| අසාර්ථක connection විස්තර | credentialHealth.failedConnections |
failed > 0 වන විට පමණක් පවතී. status=error සහිත cache row සීමිත ලැයිස්තුවක් (connectionId, status, පිරිසිදු කළ lastError / lastErrorType). ලැයිස්තුව සීමා කළ විට failedOmitted සකසනු ලැබේ. |
| SQLite ස්ථාවර status | credentialHealth.staleDbNonOkCount |
දන්නා non-ok (error, expired, credits_exhausted, banned, deactivated, unavailable) persisted test_status එකක් ඇති සක්රිය (is_active=1) connection row ගණන. |
මෙම ස්තර දෙක සැලසුම් කර ඇති පරිදි එකිනෙකට නොගැළපිය හැක:
- Gauge එකේ
failed=0වන අතරstaleDbNonOkCount>0— නවතම probe-cache snapshot එකstatus=errorලෙස ගණන් නොගන්නා ස්ථාවරtest_statusඑකක් (උදාහරණයක් ලෙසexpiredහෝcredits_exhausted) SQLite තුළ තවමත් පවතී. - Gauge එකේ
failed>0වන අතර SQLite සෞඛ්ය සම්පන්න ලෙස පෙනේ — මෑත probe එකක් අසාර්ථක වී cache කර ඇත; DB row එක යාවත්කාලීන කර නැත, නැතහොත් පසුව හිස් කර ඇත.
මෙම endpoint එක scrape කරන විට provider_connections.test_status මත පමණක් පදනම්ව alert නොකරන්න.
සජීවී probe අසාර්ථකත්ව සඳහා failed + failedConnections භාවිත කරන්න, සහ persisted sticky-status ගණන අවශ්ය විට
staleDbNonOkCount භාවිත කරන්න.
Kubernetes probe නිර්දේශ
OmniRoute යනු තනි Node process එකකි (එක් event loop එකක්). සම්මත Docker HEALTHCHECK සැහැල්ලු /healthz ඉලක්ක කරයි. kubelet liveness interval සඳහා /api/monitoring/health අධික බරකින් යුක්තය.
| පරීක්ෂණය | නිර්දේශිත ඉලක්කය | සටහන් |
|---|---|---|
| ආරම්භය | දිගු failureThreshold එකක් (හෝ විශාල startPeriod එකක්) සහිත HTTP GET /healthz |
ශීත ආරම්භය + SQLite සංක්රමණය සඳහා තත්පර කිහිපයකට වඩා ගත විය හැක |
| සූදානම | HTTP GET /healthz |
ජීවන චක්රය ok / starting / stopping (200 එදිරිව 503). ලූපය CPU මඟින් අවහිර වී ඇත්නම් තවමත් තත්ත්වය දෝලනය වේ. තත්පර කිහිපයකට පසු ලැබෙන 200 ප්රතිචාරයක් සෞඛ්ය සම්පන්න නොවේ (#10303) — එයින් අදහස් වන්නේ බයිට් 3ක හසුරුවන්නා ක්රියාත්මක වීමට පෙර event loop එකට සම්පත් නොලැබුණු බවයි |
| සජීවී බව | HTTP GET /livez, හෝ ප්රධාන සේවා port එකේ TCP (PORT, පෙරනිමිය 20128) |
/livez පරීක්ෂා කරන්නේ process එක සජීවීද යන්න පමණි (හසුරුවන්නා ක්රියාත්මක වන්නේ නම් සැමවිටම 200). එය තවමත් එම event loop එකම භාවිත කරයි — කාර්යබහුල ≠ අක්රීය, එමෙන්ම එය TCP වලට වඩා හොඳින් event-loop සම්පත් හිඟය (#10303) හඳුනා නොගනී. නාමාවලිය/සම්පීඩන භාරය යටතේ HTTP පරීක්ෂණ කල් ඉකුත් වන්නේ නම් TCP වඩා සුදුසුය; කුමන ක්රමය භාවිත කළත් කෙටි event-loop ඇණහිටීම් නිසා pod එක අවසන් නොකරන්න |
| ගැඹුරු සෞඛ්යය | බාහිර පරීක්ෂකයකින් GET /api/monitoring/health |
kubelet livenessProbe / දැඩි readinessProbe සඳහා නොවේ |
උදාහරණ ව්යුහය (ඔබේ ශීත-ආරම්භය සහ සම්පීඩන භාරය අනුව සීමා සකසන්න):
ports:
- name: http
containerPort: 20128
startupProbe:
httpGet:
path: /healthz
port: http
failureThreshold: 30
periodSeconds: 5
readinessProbe:
httpGet:
path: /healthz
port: http
periodSeconds: 5
timeoutSeconds: 2
failureThreshold: 6
livenessProbe:
httpGet:
path: /livez
port: http
periodSeconds: 10
timeoutSeconds: 3
failureThreshold: 6
# event-loop ඇණහිටීමක් යටතේ HTTP /livez තවමත් කල් ඉකුත් විය හැක. TCP යනු
# වඩා ගතානුගතික විකල්පයයි:
# tcpSocket:
# port: http
kubelet සජීවී බවේ පරීක්ෂණය /api/monitoring/health වෙත යොමු නොකරන්න. එම මාර්ගය සැබෑ DB/අධීක්ෂණ කාර්යයන් සිදු කරන අතර භාරය යටතේ ව්යාජ ධනාත්මක ප්රතිඵල ලබා දෙනු ඇත.
අදාළ: #10052 (event loop එක කාර්යබහුලව තිබියදී සිදු කරන පරීක්ෂණ), #9685 / #10055 (නාමාවලි මිලකරණය සම්පත් අධික ලෙස භාවිත කිරීම), #10117 (සම්පීඩන token ගණනය සම්පත් අධික ලෙස භාවිත කිරීම).
systemd watchdog (අක්රීය වූ event loop)
systemd host එකකදී, OmniRoute එය සූදානම් වූ විට service manager වෙත දැනුම් දී දිගටම සංඥා යවයි. එම නිසා event loop එක සිර වී ඇති server එකක් ක්රියාත්මක නමුත් නිහඬව තැබීම වෙනුවට අවසන් කර නැවත ආරම්භ කරනු ලැබේ. මෙම සංඥා පැමිණෙන්නේ server එකේම event loop එකෙනි: එය අවහිර වූ විට ඒවා නතර වන අතර, කිසිදු සංඥාවක් නොමැතිව WatchdogSec කාලය ගත වූ පසු systemd සේවාව නැවත ආරම්භ කරයි.
omniroute autostart enable දැනටමත් මෙය සහිත user unit එකක් ලියයි. ඔබම ලියන unit එකකට (පෙරනිමිය Type=simple) watchdog එකක් නොලැබෙන බැවින්, එහි [Service] කොටසට මෙම පේළි එක් කරන්න:
[Service]
Type=notify
NotifyAccess=all
WatchdogSec=180
TimeoutStartSec=300
ජනනය කළ unit එක Restart=on-failure ලෙස සකසන බැවින් එම පේළියද එක් කරන්න — එය නොමැතිව watchdog එක සිර වූ සේවාව නැවත ආරම්භ කිරීම වෙනුවට එය අවසන් කිරීම පමණක් සිදු කරයි.
Type=notify: process එක fork වන විට නොව, server එකREADY=1යවන විට සේවාව "ආරම්භ වූ" ලෙස සැලකේ.TimeoutStartSecමන්දගාමී ආරම්භයකට සීමාවක් පනවයි.NotifyAccess=all: සංඥා යවනු ලබන්නේomniroute servesupervisor එකේ child එකක් වන server process එක මඟිනි.WatchdogSec: සංඥා සෑම තත්පර 60කට වරක් යවන බැවින් 120 හෝ ඊට වැඩි අගයක් භාවිත කරන්න. ඊට කුඩා අගයන් සෞඛ්ය සම්පන්න server එකක් නැවත ආරම්භ කරනු ඇත.omniroute serveforeground එකේ ධාවනය කරන්න.--daemonමඟින් server එක unit එකේ cgroup වෙතින් වෙන් කරන අතර notify handshake එක කිසිවිටෙක සම්පූර්ණ නොවේ.
නැවත ආරම්භ කිරීමකින් පසු එය සක්රිය බව පරීක්ෂා කරන්න:
systemctl --user show omniroute -p WatchdogUSec -p WatchdogTimestamp
WatchdogUSec වින්යාස කළ ප්රමාදය පෙන්වන අතර WatchdogTimestamp සෑම මිනිත්තුවකටම ඉදිරියට යයි. watchdog එක නිසා සිදු වූ නැවත ආරම්භයක් Result=watchdog ලෙස සටහන් වේ. unit එක එලෙසම තබාගෙන සංඥා අක්රිය කිරීමට OMNIROUTE_DISABLE_SD_NOTIFY=1 සකසන්න; NOTIFY_SOCKET එකක් නොමැති විට (terminal, Docker, Electron, Windows) කිසිවක් යවනු නොලැබේ.
watchdog එක පරීක්ෂා කරන්නේ event loop එක දිගටම ක්රියාත්මක වන බව පමණි. මන්දගාමී නමුත් තවමත් ක්රියාත්මක වන server එකක් නැවත ආරම්භ නොකෙරේ.
විකල්ප request-path කාර්යයන් (මතකය, කුසලතා, token නැවුම් කිරීම)
මතක නිස්සාරණය, කුසලතා ඇතුළත් කිරීම සහ OAuth ටෝකන නැවුම් කිරීම /healthz සමඟ ප්රධාන Node සිදුවීම් ලූපය බෙදා ගනී. ඒවා worker pool එකක් නොව, dashboard එකෙන් සක්රිය හෝ අක්රිය කළ හැකි විශේෂාංග (memoryEnabled, skillsEnabled) වේ. පරිසරය — සිදුවීම් ලූපය මත memory, skills සහ token refresh හි පිරිවැය බලන්න.
සැපයුම්කරුගේ සෞඛ්ය තත්ත්වය
REST endpoint එකක් නොමැත. සැපයුම්කරුගේ සෞඛ්ය දත්ත MCP මෙවලම වන
observability_snapshotහෝ dashboard හි/dashboard/providersපිටුව හරහා ලබා ගත හැක.
සැපයුම්කරුගේ විස්තර
REST endpoint එකක් නොමැත. එක් එක් සැපයුම්කරුගේ විස්තර dashboard හි
/dashboard/providersපිටුව හරහා ලබා ගත හැක.
සැපයුම්කරු සෞඛ්ය ස්වයංක්රීය නියමු පද්ධතිය
providerHealthAutopilot.ts මොඩියුලය පහත දෑ සිදු කරන ස්වයං-ප්රතිසාධන පද්ධතියකි:
- සැපයුම්කරු සම්බන්ධ ගැටලු හඳුනා ගනී (පරිපථය විවෘත වීම, ශීතකාල, අගුලු දැමීම්, කෝටා අනතුරු ඇඟවීම්)
- ඒවා විසඳීම සඳහා නිර්දේශිත ක්රියාමාර්ග ජනනය කරයි
- අඩු අවදානම් ක්රියාමාර්ග විකල්පයක් ලෙස ස්වයංක්රීයව ක්රියාත්මක කරයි
හඳුනා ගන්නා ගැටලු වර්ග
| ගැටලු වර්ගය | බරපතළභාවය | උදාහරණ තත්ත්වය |
|---|---|---|
provider_circuit_open |
තීරණාත්මක | අසාර්ථක වීම් 5කට පසු පරිපථ බිඳිනය විවෘත වීම |
provider_circuit_half_open |
අනතුරු ඇඟවීම | පරිපථය ප්රතිසාධනය පරීක්ෂා කරමින් සිටීම |
connection_cooldown |
අනතුරු ඇඟවීම | 429කට පසු සම්බන්ධතාව ශීතකාලයක පැවතීම |
stale_connection_error |
අනතුරු ඇඟවීම | අවසන් නැවුම් කිරීම මිනිත්තු 30කට පෙර අසාර්ථක වීම |
terminal_connection_error |
තීරණාත්මක | OAuth අවලංගු කර තිබීම, යතුර වලංගු නොවීම |
inactive_connection |
තොරතුරු | සැකසුම් තුළ සම්බන්ධතාව අක්රිය කර තිබීම |
model_lockout |
අනතුරු ඇඟවීම | නිශ්චිත ආකෘතියක් නිරෝධායනය කර තිබීම |
quota_monitor_warning |
අනතුරු ඇඟවීම | කෝටා භාවිතය 80% හෝ ඊට වැඩි වීම |
ජනනය කරන ක්රියාමාර්ග වර්ග
| ක්රියාමාර්ගය | අවදානම | විස්තරය |
|---|---|---|
clear_provider_breaker |
මධ්යම | පරිපථ බිඳිනය සංවෘත තත්ත්වයට යළි සකසන්න |
clear_connection_cooldown |
අඩු | සම්බන්ධතාවයක ශීතකාලය ඉවත් කරන්න |
clear_stale_connection_error |
අඩු | කල් ඉකුත් වූ දෝෂ සලකුණ ඉවත් කරන්න |
clear_model_lockout |
අඩු | නිරෝධායනය කළ ආකෘතියක් යළි සක්රිය කරන්න |
reactivate_connection |
මධ්යම | අක්රිය කළ සම්බන්ධතාවක් යළි සක්රිය කරන්න |
deactivate_connection |
ඉහළ | ගැටලුකාරී සම්බන්ධතාවක් අක්රිය කරන්න |
API
REST අන්ත ලක්ෂ්යයක් නොමැත. ස්වයංක්රීය නියමු පද්ධතියේ ගැටලු MCP මෙවලම වන
observability_snapshotහෝ උපකරණ පුවරුව හරහා ලබා ගත හැක. ස්වයංක්රීය නියමු පද්ධතිය අභ්යන්තරව ධාවනය වේ; එහි හැසිරීම පරිසර විචල්ය මඟින් නොව, සැකසුම් DB හරහා (එක් එක් සම්බන්ධතාවයේautopilotModeක්ෂේත්රය මඟින්) වින්යාස කරයි — ස්වයංක්රීය නියමු ප්රකාර පරිසර විචල්යයක් සඳහාgrep -rnධාවනය කළ විට ගැළපීම් කිසිවක් නොලැබේ.
ස්වයංක්රීය නියමු ප්රකාරය
ස්වයංක්රීය නියමු පද්ධතිය පෙරනිමියෙන් අතින් ක්රියාත්මක කරන ප්රකාරයේ ක්රියා කරයි — එය ගැටලු හඳුනාගෙන නිර්දේශිත ක්රියාමාර්ග ජනනය කරන නමුත් ඒවා ස්වයංක්රීයව යොදන්නේ නැත. උපකරණ පුවරුව හරහා ක්රියාමාර්ග යෙදිය හැක.
සංයෝජන සෞඛ්ය ස්වයංක්රීය නියමු පද්ධතිය
comboHealthAutopilot.ts යනු සැපයුම්කරු ස්වයංක්රීය නියමු පද්ධතියට සමාන සංයෝජන-විශේෂිත පද්ධතියයි. එය:
- සෞඛ්ය සම්පන්න නොවන සංයෝජන හඳුනා ගනී
- ඉලක්ක නැවත අනුපිළිවෙළට සැකසීම නිර්දේශ කරයි
- බිඳවැටුණු ඉලක්ක අක්රිය කිරීමට යෝජනා කරයි
- අසාර්ථක වීම් Nකට පසු ක්රියා විරහිත ඉලක්ක ස්වයංක්රීයව ඉවත් කරයි
සංයෝජන ගැටලු සඳහා උදාහරණ
"always-on" සංයෝජනය (ප්රමුඛතා උපායමාර්ගය)
├─ ඉලක්කය 1: openai/gpt-5 (සෞඛ්ය සම්පන්නයි)
├─ ඉලක්කය 2: anthropic/claude-opus-4-6 (⚠️ 14:00 දක්වා ආකෘතිය අගුලු දමා ඇත)
└─ ඉලක්කය 3: kiro/claude-sonnet-4-5 (සෞඛ්ය සම්පන්නයි)
නිර්දේශිත ක්රියාමාර්ගය: නැවත අනුපිළිවෙළට සකසන්න — අගුලු දැමීම කල් ඉකුත් වන තෙක් kiro, anthropicට ඉහළින් තබන්න
කෝටා නිරීක්ෂක
observability.ts මඟින් දායකත්ව සැපයුම්කරුවන් සඳහා (Claude Code, Codex, GitHub Copilot) එක් එක් සැසියට අදාළ කෝටා නිරීක්ෂක නිරාවරණය කරයි:
interface QuotaMonitorSnapshot {
sessionId: string;
provider: string;
accountId: string;
status: "starting" | "idle" | "healthy" | "warning" | "exhausted" | "error";
lastQuotaPercent: number | null; // 0-100
lastQuotaUsed: number | null;
lastQuotaTotal: number | null;
lastResetAt: string | null;
nextPollAt: string | null;
totalPolls: number;
totalAlerts: number;
consecutiveFailures: number;
}
තත්ත්වවල අර්ථ
| තත්ත්වය | අවස්ථාව | UI ක්රියාව |
|---|---|---|
starting |
ආරම්භක විමසුම සිදු වෙමින් පවතී | භ්රමණ දර්ශකය |
idle |
මෑත ක්රියාකාරකමක් නොමැත | උපකරණ පුවරුවෙන් සඟවයි |
healthy |
කෝටාවෙන් > 50%ක් ඉතිරිව ඇත | කොළ පැහැති තිත |
warning |
කෝටාවෙන් < 50%ක් ඉතිරිව ඇත | කහ පැහැති අනතුරු ඇඟවීම |
exhausted |
කෝටාව = 0% | රතු අවහිරය, ඊළඟ සැපයුම්කරු වෙත යොමු කරයි |
error |
විමසීම අසාර්ථක විය | රතු තිත, ඉක්මනින් නැවත උත්සාහ කරයි |
API
REST අන්ත ලක්ෂ්යයක් නොමැත. කෝටා නිරීක්ෂක දත්ත MCP මෙවලම වන
observability_snapshotහෝ උපකරණ පුවරුව හරහා ලබා ගත හැක.
නිරීක්ෂණ හැකියා සැණරුව
MCP මෙවලම වන observability_snapshot, AI නියෝජිතයන් සඳහා සම්පූර්ණ පද්ධති සැණරුවක් ලබා දෙයි:
{
"circuitBreakers": [
{
"name": "openai",
"state": "closed",
"failureCount": 0,
"lastFailureTime": null,
"retryAfterMs": null
}
],
"sessions": [
{
"sessionId": "sess-123",
"createdAt": 1234567890,
"lastActive": 1234567999,
"requestCount": 42,
"connectionId": "conn-456",
"ageMs": 109
}
],
"quotaMonitors": {/* ඉහත බලන්න */},
"uptime": 12345,
"version": "3.8.16"
}
නියෝජිතයන් මාර්ගගත කිරීමේ තීරණ ගැනීමට මෙය භාවිත කරයි — උදාහරණයක් ලෙස, "openai පරිපථය විවෘත නම්, පළමුව anthropic වෙත මාර්ගගත කරන්න".
ටෝකන සෞඛ්ය පරීක්ෂාව
OAuth සපයන්නන්ට (Claude Code, GitHub Copilot, Cursor) කාලානුරූපී ටෝකන නැවුම් කිරීම අවශ්ය වේ. src/lib/tokenHealthCheck.ts පසුබිම් කාලසටහන්කරුවක් ධාවනය කරයි:
- පිරික්සුම් ක්රියා වාරය: සෑම තත්පර 60කට වරක් (
src/lib/tokenHealthCheck.ts:30හිTICK_MS = 60 * 1000ලෙස පිරික්සයි) - එක් සම්බන්ධතාවකට සෞඛ්ය පරීක්ෂා කාලාන්තරය: පෙරනිමියෙන් මිනිත්තු 60කි (
DEFAULT_HEALTH_CHECK_INTERVAL_MIN = 60); සැකසුම් DB හරහා වින්යාස කළ හැක - 401 මත පූර්ව-ක්රියාකාරී නැවුම් කිරීම: එක් එක් සම්බන්ධතාවේ interceptor මඟින් හසුරුවයි
ටෝකන සෞඛ්ය තත්ත්වය
interface TokenHealth {
connectionId: string;
provider: string;
status: "valid" | "expiring_soon" | "expired" | "refresh_failed";
expiresAt: string;
lastRefresh: string;
nextRefresh: string;
consecutiveFailures: number;
}
වින්යාසය
ටෝකන සෞඛ්ය පරීක්ෂා වින්යාසය tokenHealthCheck.ts මඟින් අභ්යන්තරව හසුරුවයි.
ටෝකන සෞඛ්යය
REST අන්ත ලක්ෂ්යයක් නොමැත. ටෝකන සෞඛ්ය දත්ත උපකරණ පුවරුව හෝ MCP මෙවලම වන
observability_snapshotහරහා ලබාගත හැක.
අනතුරු ඇඟවීම්
අන්තර්ගත නාලිකා
OmniRoute අනතුරු ඇඟවීම් නාලිකා 3කට සහාය දක්වයි:
| නාලිකාව | පිහිටුවීම | භාවිත අවස්ථාව |
|---|---|---|
| උපකරණ පුවරු බැනරය | සැමවිටම සක්රියයි | යෙදුම තුළ දැනුම්දීම් |
| Webhook | URL එක වින්යාස කරන්න | Slack, Discord, PagerDuty |
| ලොගය | පෙරනිමිය | බාහිර ලොග් සමුච්චය සඳහා |
Webhook වින්යාසය
සටහන: Webhook අනතුරු ඇඟවීම් වින්යාසය උපකරණ පුවරුවේ Settings පිටුව හරහා හසුරුවයි. Webhook URL, සිදුවීම් පෙරීම සහ payload අභිරුචිකරණය සඳහා Settings UI බලන්න.
අනතුරු ඇඟවීම් වර්ග
| අනතුරු ඇඟවීම | ඇති වන අවස්ථාව | පෙරනිමි බරපතළතාව |
|---|---|---|
provider_circuit_open |
පරිපථය විවෘත වන විට | තීරණාත්මක |
provider_circuit_half_open |
පරිපථයේ ප්රතිසාධනය පරීක්ෂා කරන විට | තොරතුරු |
quota_warning |
කෝටාව 80% හෝ ඊට වැඩි විට | අනතුරු ඇඟවීම |
quota_exhausted |
කෝටාව 100% වන විට | තීරණාත්මක |
token_refresh_failed |
අඛණ්ඩ නැවුම් කිරීමේ අසාර්ථකවීම් 3ක් හෝ වැඩි විට | අනතුරු ඇඟවීම |
token_expired |
ටෝකනයේ කල් ඉකුත් වීමේ කාලය පසු වූ විට | තීරණාත්මක |
combo_target_unhealthy |
Combo ඉලක්කය පැය 1ක් හෝ වැඩි කාලයක් cooldown තත්ත්වයේ ඇති විට | අනතුරු ඇඟවීම |
db_integrity_warning |
FK උල්ලංඝන ගණන 0ට වැඩි විට | අනතුරු ඇඟවීම |
heap_pressure |
Heap භාවිතය සීමාවේ 80% ඉක්මවන විට | අනතුරු ඇඟවීම |
කාර්යසාධන ප්රමිතික
නිරීක්ෂණය කරන ප්රමිතික
| ප්රමිතිකය | වර්ගය | මූලාශ්රය |
|---|---|---|
request_count |
ගණකය | services/usage.ts |
request_latency_ms |
හිස්ටෝග්රෑමය | services/usage.ts |
tokens_consumed |
ගණකය | services/usage.ts |
cost_usd |
ගණකය | services/usage.ts |
provider_errors |
ගණකය | services/errorClassifier.ts |
circuit_state_changes |
ගණකය | services/resilience.ts |
cache_hits |
ගණකය | services/signatureCache.ts |
compression_savings |
හිස්ටෝග්රෑමය | services/compression/stats.ts |
quota_used |
මාපකය | services/quotaMonitor.ts |
memory_used_mb |
මාපකය | observability.ts |
ප්රමාද ප්රතිශතක (p50/p95/p99)
REST අන්ත ලක්ෂ්යයක් නොමැත. ප්රමාද ප්රතිශතක දත්ත උපකරණ පුවරුවේ
/dashboard/healthපිටුව හරහා ලබාගත හැක. Prometheus/OpenTelemetry නිර්යාත කිරීම v3.9 සඳහා සැලසුම් කර ඇත.
Prometheus / OpenTelemetry නිර්යාත කිරීම (අදියර 2)
v3.9 සඳහා සැලසුම් කර ඇත: Prometheus, OpenTelemetry සහ Datadog වෙත ස්වදේශීය නිර්යාත කිරීම.
දැනට, ඕනෑම HTTP-පාදක නිරීක්ෂණ පද්ධතියක් (Prometheus blackbox exporter, Datadog HTTP check, ආදිය) සමඟ /api/monitoring/health වෙතින් දත්ත රැස් කරන්න.
ඇඟවීම් සැකසීමේ ක්රම
Slack
සටහන: Webhook ඇඟවීම් උපකරණ පුවරුවේ Settings පිටුව හරහා වින්යාස කරයි — ඒ සඳහා කැපවූ webhook පරිසර විචල්ය නොමැත (
grep -rnප්රතිඵල ශුන්යයක් ලබා දෙයි). Webhook URL, සිදුවීම් පෙරීම සහ payload අභිරුචිකරණය සඳහා Settings UI බලන්න.
Discord
Webhook ඇඟවීම් Slack සඳහා භාවිත කරන Settings UI ප්රවාහයම භාවිත කරයි. Discord එකම JSON payload ව්යුහය පිළිගනී.
PagerDuty
Webhook ඇඟවීම් එකම Settings UI ප්රවාහය භාවිත කරයි. PagerDuty Events API v2 මාර්ගගත කිරීමේ යතුරු Settings UI තුළ වින්යාස කරයි.
අභිරුචි Webhook (JSON)
JSON body එකක් සහිත POST පිළිගන්නා ඕනෑම HTTP අන්ත ලක්ෂ්යයක් ක්රියා කරයි. Settings UI තුළ URL එක වින්යාස කරන්න.
උපකරණ පුවරු වින්යාසය
සෞඛ්ය උපකරණ පුවරුව අභිරුචිකරණය කිරීම
~/.omniroute/dashboard.json එකක් සාදන්න:
{
"health": {
"sections": ["server_status", "database", "providers", "quota_monitors", "recent_errors"],
"refresh_interval_ms": 5000
}
}
සැපයුම්කරුවෙකු ඉහළින් සවිකිරීම
{
"health": {
"pinned_providers": ["openai", "anthropic"]
}
}
දෝෂ නිරාකරණය
"සැපයුම්කරු සෞඛ්ය සම්පන්න බව පවසන නමුත් ඉල්ලීම් අසාර්ථක වේ"
- autopilot ගැටලු පරීක්ෂා කරන්න — ඇතැම්විට ආකෘතියක් අගුළු දමා තිබිය හැක
- නිශ්චිත දෝෂ පන්තිය සඳහා මෑත දෝෂ බලන්න
- සැපයුම්කරුගේ කාඩ්පතේ ඇති සම්බන්ධතා පරීක්ෂණය උත්සාහ කරන්න
- සැපයුම්කරුට ඉහළ මූලාශ්රයේදී අනුපාත සීමාවක් පනවා තිබේද යන්න පරීක්ෂා කරන්න (දේශීයව නොපෙනේ)
"කෝටාව සෞඛ්ය සම්පන්න බව පවසන නමුත් මට 429 දෝෂ පෙනේ"
- 429 යනු ඔබ ඔබේ කෝටාව භාවිත කර අවසන් බව සැපයුම්කරු පවසන බවයි
- OmniRoute හි කෝටා නිරීක්ෂණය යල් පැන තිබිය හැක — සැපයුම්කරුගේ සත්ය තත්ත්වය ඉහළ මූලාශ්රයේ පවතී
- අභ්යන්තර කෝටා නිරීක්ෂකය හරහා කෝටා දත්ත ස්වයංක්රීයව නැවුම් වේ
"සියලු ඉලක්ක සෞඛ්ය සම්පන්න ලෙස පෙනුණත් Combo එක අසාර්ථක වේ"
- ඉලක්ක අනුපිළිවෙළේ ගැටලු සඳහා Combo සෞඛ්ය උපකරණ පුවරුව පරීක්ෂා කරන්න
- Fallback සිදුවීම් බලන්න — ඇතැම්විට Combo එක ඉතා ඉක්මනින් සියලු විකල්ප අවසන් කරයි
- උපායමාර්ගය ඔබේ භාවිත අවස්ථාවට ගැළපෙන බව තහවුරු කරන්න (ප්රමුඛතාව එදිරිව round-robin එදිරිව auto)
"දත්ත සමුදා සෞඛ්ය පරීක්ෂාව අසාර්ථක වේ"
sqlite3 ~/.omniroute/storage.sqlite "PRAGMA integrity_check;"ධාවනය කරන්න- "ok" නම් — එය සාවද්ය අනතුරු ඇඟවීමකි; සෞඛ්ය පරීක්ෂාව අතිශයින් දැඩි ලෙස ක්රියා කරයි
- වෙනත් යමක් ලැබේ නම් — OmniRoute නවතා ආපදා ප්රතිසාධන මාර්ගෝපදේශය අනුගමනය කරන්න
"මතක heap පීඩනය තීරණාත්මක මට්ටමක පවතී"
# වත්මන් heap එක පරීක්ෂා කරන්න
node -e "console.log(process.memoryUsage())"
# අතින් GC ක්රියාත්මක කරන්න (--expose-gc නම්)
node --expose-gc -e "global.gc(); console.log(process.memoryUsage())"
# සමගාමී ඉල්ලීම් අඩු කරන්න (පරිසර විචල්යයකින් නොව, උපකරණ පුවරුවේ Settings පිටුව හරහා සකසන්න)
# `MAX_CONCURRENT_REQUESTS` පරිසර විචල්යයක් නොමැත — Settings → Concurrency තුළ එය වින්යාස කරන්න.
තවද බලන්න
- USAGE_QUOTA_GUIDE.md — භාවිතය සහ පිරිවැය නිරීක්ෂණය
- DATABASE_GUIDE.md — DB යෝජනා ක්රමය + සෞඛ්ය තත්ත්වය
- PROXY_GUIDE.md — ප්රොක්සි සෞඛ්ය තත්ත්වය (වෙනම හැඹිලිය)
- ARCHITECTURE.md — පද්ධති ගෘහනිර්මාණය
- RESILIENCE_GUIDE.md — පරිපථ බිඳිනය පිළිබඳ විස්තර
- මූලාශ්රය:
src/lib/monitoring/(ගොනු 4ක්, LOC 2121ක්)