Never stop coding. Free MIT AI gateway: one endpoint, 375 providers (150+ free), 1,400+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by 900+ contributors
Compression Engines (Yorùbá)
🌐 Languages: 🇺🇸 English · 🇪🇹 am · 🇸🇦 ar · 🇦🇿 az · 🇧🇬 bg · 🇧🇩 bn · 🇧🇦 bs · 🇨🇿 cs · 🇩🇰 da · 🇩🇪 de · 🇬🇷 el · 🇪🇸 es · 🇪🇪 et · 🇮🇷 fa · 🇫🇮 fi · 🇫🇷 fr · 🇮🇪 ga · 🇮🇳 gu · 🇳🇬 ha · 🇮🇱 he · 🇮🇳 hi · 🇭🇷 hr · 🇭🇺 hu · 🇦🇲 hy · 🇮🇩 id · 🇳🇬 ig · 🇮🇹 it · 🇯🇵 ja · 🇬🇪 ka · 🇰🇭 km · 🇮🇳 kn · 🇰🇷 ko · 🇱🇹 lt · 🇱🇻 lv · 🇮🇳 ml · 🇮🇳 mr · 🇲🇾 ms · 🇲🇹 mt · 🇲🇲 my · 🇳🇵 ne · 🇳🇱 nl · 🇳🇴 no · 🇮🇳 or · 🇮🇳 pa · 🇵🇭 phi · 🇵🇱 pl · 🇵🇹 pt · 🇧🇷 pt-BR · 🇷🇴 ro · 🇷🇺 ru · 🇱🇰 si · 🇸🇰 sk · 🇸🇮 sl · 🇷🇸 sr · 🇸🇪 sv · 🇰🇪 sw · 🇮🇳 ta · 🇮🇳 te · 🇹🇭 th · 🇹🇷 tr · 🇺🇦 uk-UA · 🇵🇰 ur · 🇺🇿 uz · 🇻🇳 vi · 🇨🇳 zh-CN · 🇹🇼 zh-TW
Ìfúnpọ̀ OmniRoute dá lórí àwọn àdéhùn engine. Mode kan lè ṣiṣẹ́ engine kan ní tààràtà
(caveman tàbí rtk) tàbí pipeline aláìyípadà tí a tò ní ìpele, èyí tí ń ṣiṣẹ́ ọ̀pọ̀ engine ní tẹ̀lé-tẹ̀lé.
Àwọn Ọ̀nà
| Ọ̀nà | Ọ̀nà Ẹ́ńjìnnì | Ìfọkànsí Ìfúnni |
|---|---|---|
off |
none | Ìtọ́jú àṣẹ gẹ́gẹ́ bí ó ti rí |
lite |
Caveman lite helpers | Ìfọ̀sọ́-mímọ́ tí kò léwu, tí ó máa ń wà nígbà gbogbo |
standard |
Caveman | Ìdínkù àṣẹ èdè àdánidá |
aggressive |
Caveman + history/tool summarizers | Àwọn ìjíròrò gígùn |
ultra |
Caveman + pruning helpers | Ìgbàpadà ààlà àyíká |
rtk |
RTK | Àbájáde ebute, ìkarahun, ìkọ́lé, ìdánwò, àti git |
omniglyph |
OmniGlyph | Àyíká gẹ́gẹ́ bí àwòrán lórí okun olùpèsè ìbílẹ̀ |
stacked |
Pipeline. The request default is session-dedup -> lite. rtk -> caveman is opt-in. |
Àwọn àkọsílẹ̀ irinṣẹ́ àti àlàyé tí a pòpọ̀, ìfipamọ́ tó pọ̀ jù |
Àwọn Àtòjọ Ìfúnpọ̀ OmniGlyph
Ẹ́ńjìnnì omniglyph (pátákì omniglyph, 1.4.0+) gba àtòjọ ìtumọ̀ tí a dárúkọ, tí a ṣètò ní gbogbo àgbáyé nípasẹ̀ omniglyph.profile nínú àwọn ètò ìfúnpọ̀ tàbí nípasẹ̀ ìgbésẹ̀ kọ̀ọ̀kan nípasẹ̀ ìṣètò ìgbésẹ̀ àtòpọ̀:
| Àtòjọ | Ààlà |
|---|---|
aggressive |
Àṣàyàn. Ìlànà tí àwọn ìwé-ìdánilójú tí a tẹ̀jáde fi wọ̀n — ètò àwòrán, àwọn ìwé irinṣẹ́ àti ìtàn pípọ̀ |
balanced |
Ó ń pa ipò àìsí-ìyípadà mọ́ gẹ́gẹ́ bí ó ti wà, ó ń dáàbò bo àwọn ìyípadà mẹ́jọ tí ó kẹ́yìn, ó sì ń pa àwọn ìtàn àtijọ́ tí a ti pa mọ́ |
coding-safe |
Ó ń pa àṣẹ, àwọn àtòjọ irinṣẹ́ àti àbájáde irinṣẹ́ àìsí-ìyípadà mọ́ gẹ́gẹ́ bí ó ti wà, ó sì ń dáàbò bo àwọn ìyípadà méjìlá tí ó kẹ́yìn |
passthrough |
Ó ń ṣamọ̀nà láìsí ìyípadà; a fò ẹ́ńjìnnì náà |
Àtòjọ náà jẹ́ òrùlé, kì í ṣe ilẹ̀: mergeCompressionProfileOptions nínú pátákì kọ̀ láti jẹ́ kí olùpè kan tún ṣí ọ̀nà tí ó ti sọnù tí àtòjọ náà ti pa, nítorí náà preserveSystemPrompt: false fún ìgbésẹ̀ kọ̀ọ̀kan kò lè tún mú ìfúnpọ̀ ètò ṣiṣẹ́ lábẹ́ coding-safe.
Tí a wọ̀n lórí àkójọ koodu yìí: coding-safe àti balanced mú minCompressChars lọ sí òkè jù lọ, wọ́n sì ń pa ètò, àwọn àtòjọ irinṣẹ́ àti àbájáde irinṣẹ́ mọ́ gẹ́gẹ́ bí ó ti wà, nítorí náà ìjíròrò tí kò tíì kó ìtàn jọ dúró ní below_min_chars àti pé ẹ́ńjìnnì náà kò yí ohunkóhun padà. Ìdí nìyẹn tí àṣàyàn fi jẹ́ aggressive dípò àtòjọ tí ó dára jù lọ.
Pátákì náà ń yanjú àyíká àwòrán àti àtòjọ tirẹ̀ láti inú ìṣètò àyíká rẹ̀. OmniRoute kì í fi ìpinnu lé ẹlòmíràn lọ́wọ́: olùyípadà náà ń so ẹnu-ọ̀nà àwòrán mọ́ àyíká tí ó múnádòjú jù lọ ti pátákì náà, nítorí náà àwọn ètò àyíká agbalejo lè dín àtòjọ àyè kù nìkan, kì í lè fẹ̀ ẹ́ kọjá àwọn ìwé-ìdánilójú tí OmniRoute ti wọ̀n.
Ìforúkọsílẹ̀ Engine
Ìforúkọsílẹ̀ náà wà ní open-sse/services/compression/engines/registry.ts. Àwọn engine ń ṣí àdéhùn kan náà síta:
id: id engine tí kò yí padà bíicavemantàbírtkapply(text, config): ọ̀nà ìṣiṣẹ́ àtijọ́ tí àwọn pipeline onípele ń lòcompress(input, config): ọ̀nà ìṣiṣẹ́ àkọ́kọ́ tí ń dá ọ̀rọ̀ + àwọn ìṣirò padàgetConfigSchema(): ń dá ìrísí tó dàbí JSON-Schema ti config tó bófin mu padàvalidateConfig(config): ń dá{ valid, errors[] }padà
Ìforúkọsílẹ̀ ń lo registerCompressionEngine(engine) (tàbí registerEngine fún àwọn ọ̀ràn tó ti ní ìlọsíwájú),
èyí tí ń pe assertValidEngine() àti validateConfig(defaultConfig) kí ó tó gba engine náà.
Lo unregisterCompressionEngine(id) láti yọ engine kan kúrò ní àsìkò ìṣiṣẹ́.
strategySelector.ts ń forúkọsílẹ̀ àwọn engine tí a ti kọ́ sínú rẹ̀ kí ìfúnpọ̀ tó bẹ̀rẹ̀. Èyí ń jẹ́ kí àwòtẹ́lẹ̀,
ìfúnpọ̀ ní àsìkò ìṣiṣẹ́, ipò onípele, àwọn ìdánwò, àti àwọn engine ọjọ́ iwájú lo ọ̀nà ìṣiṣẹ́ kan náà.
Ìfúnpọ̀ àpèjúwe MCP (tó ní í ṣe pẹ̀lú èyí)
Ìforúkọsílẹ̀ mìíràn ń fún metadata àpèjúwe irinṣẹ́ MCP pọ̀ ní ìpele ìforúkọsílẹ̀ — wo
open-sse/mcp-server/descriptionCompressor.ts àti MCP-SERVER.md. Ó tún ń lo
àwọn òfin Caveman, ṣùgbọ́n ó ń ṣiṣẹ́ lórí metadata irinṣẹ́, kì í ṣe àwọn payload ìbéèrè.
Àwọn engine àfikún tí a ti kọ́ sínú rẹ̀
Ní àfikún sí Caveman, RTK, àti LLMLingua-2, ìforúkọsílẹ̀ náà ní ọ̀pọ̀ engine àkànṣe tí kò pàdánù ìsọfúnni / tó dá lórí ìgbékalẹ̀ (tí àwọn pipeline onípele, pápá ìdánwò, àti àwọn ìdánwò ń lò):
| Engine | Id | Ohun tó ń ṣe |
|---|---|---|
| CCR | ccr |
Content-Compress-Retrieve (H4): ń fi àwọn ìtọ́kasí tó dá lórí àkóónú rọ́pò àwọn ìdí ọ̀rọ̀ ńlá tó tẹ̀lé ara wọn, kí a lè fi àwọn ìdí tó ń tún ara wọn ṣe/tó tóbi ránṣẹ́ lẹ́ẹ̀kan ṣoṣo, kí a sì máa tọ́ka sí wọn lẹ́yìn náà. |
| headroom | headroom |
SmartCrusher (H3 + N5): ìfúnpọ̀ alátábìlì tí kò pàdánù ìsọfúnni fún àwọn payload JSON-array tó jẹ́ irú kan náà sínú ìrísí oníwọ̀n [N rows]. |
| ionizer | ionizer |
Àṣàyàn àpẹẹrẹ àwọn ìlà láti ìbẹ̀rẹ̀/àárín/ìparí fún àwọn ìdí tó tóbi gan-an tí ó jẹ́ irú kan náà, nípa fífi àárín tí a yọ sílẹ̀ pamọ́ gẹ́gẹ́ bí ìtọ́kasí CCR tó dá lórí àkóónú. |
| session-dedup | session-dedup |
Yíyọ àtúnṣe tó dá lórí àkóónú kọjá àwọn ìyípadà ìjíròrò (tó gba ìmísí láti TokenMizer): ń yọ ọ̀rọ̀ tí a ti rí tẹ́lẹ̀ nínú àwọn ìyípadà ìjíròrò ìṣáájú ti session kan náà sílẹ̀. |
Ìtọ́ni retrieve-protocol CCR (#8033): ní ìgbà àkọ́kọ́ tí CCR bá rọ́pò ≥1 ìdí nínú
ìbéèrè kan, engine náà yóò fi ìfiránṣẹ́ system kan ṣoṣo tí ó jẹ́ idempotent síwájú (tí ó bẹ̀rẹ̀ pẹ̀lú
àmì ìdámọ̀ [CCR protocol]) láti kọ́ olùpè nípa àdéhùn àmì → irinṣẹ́: ohun tí àmì
[CCR retrieve hash=<24hex> chars=N] túmọ̀ sí, pé a gbọ́dọ̀ da hash náà kọ bí ó ṣe rí gan-an
(gbogbo àmì hex mẹ́rìnlélógún náà — àwọn hash tí a da kọ lọ́nà àìtọ́ ló ṣeé ṣe kó fa àwọn àṣìṣe
"block not found"), àti pé àmì [dedup:ref sha=...] túmọ̀ sí "wo ẹ̀yìn nínú ìtàn", kì í ṣe "pe
irinṣẹ́ náà". A máa fi àkọsílẹ̀ náà kún un kìkì nígbà tí tools[] tí olùpè polówó fi hàn pé ó lè
dé omniroute_ccr_retrieve ní tòótọ́ (callerSupportsCcrRetrieve() nínú
open-sse/services/compression/engines/ccr/protocolInstruction.ts) — olùpè lásán tó bá OpenAI mu
tí kò ní irinṣẹ́ yẹn kò ní gba ìtọ́ni láti pe ohun tí kò lè dé. A ń fipá mú idempotency ṣiṣẹ́ nípa
ṣíṣàyẹ̀wò ìtàn àwọn ìfiránṣẹ́ fún àmì ìdámọ̀ náà kí a tó fi í kún un, nítorí náà àwọn ìbéèrè
oníyípadà-ọ̀pọ̀ (tí ń tún àwọn ìfiránṣẹ́ ìṣáájú ṣe) kò ní kó àkọsílẹ̀ náà jọ lẹ́ẹ̀kan fún ìyípadà
kọ̀ọ̀kan.
Caveman
Ìpo Caveman dá lórí fífi ìtumọ̀ ọ̀rọ̀ àkọsílẹ̀ àràọ̀tọ̀ kúrú:
- ó ń pa àwọn búlọ́ọ̀kì kóòdù, URL, JSON, àwọn ipa-ọ̀nà, àti dátà tí a ṣètò mọ́
- ó ń yọ ọ̀rọ̀ àfikún, ọ̀rọ̀ àṣírí, àyíká tí a tún sọ, àti àwọn gbólóhùn àsopọ̀ gígùn kúrò
- ó ń ṣe àtìlẹ́yìn fún àwọn àkójọpọ̀ òfin fáìlì tó mọ èdè ní
open-sse/services/compression/rules/ - ó ṣì wà nípasẹ̀ àwọn ìpo àtijọ́
standard,aggressive, àtiultra
Apá rẹ̀ lórí dashboard ni Dashboard -> Context & Cache -> Caveman.
Caveman upstream ròyìn pé àwọn token àbájáde dín kù ní ~75%, ìfipamọ́ àbájáde àárín jẹ́ 65% nínú àwọn ìdánwò
pẹ̀lú ààlà 22-87%, àti irinṣẹ́ ìfúnpọ̀ àwọlé ~46%. OmniRoute ń lo iye Caveman ti ẹ̀gbẹ́ àwọlé
nígbà tó ń ṣàkọsílẹ̀ ìfipamọ́ prompt/context tí a tò pọ̀; ìpo àbájáde Caveman ṣì jẹ́ ẹ̀ya
ìhùwàsí ìdáhùn ọ̀tọ̀.
RTK
Ìpo RTK dá lórí àṣẹ àti àbájáde irinṣẹ́:
- ó ń ṣàwárí àwọn ẹ̀ka àbájáde bíi
git status,git branch,git diff, Vitest/Jest/Pytest, àwọn ìdánwò Cargo/Go, àwọn build TypeScript/Vite/Webpack, ESLint, npm audit/installs, àwọn log Docker,find/grepshell, àwọn stack trace, àti àwọn log gbogbogbò - ó ń lo àwọn asẹ JSON 49 láti
open-sse/services/compression/engines/rtk/filters/ - ó ń ṣe àtìlẹ́yìn fún pipeline ìkéde ara RTK: yíyọ ANSI, replace, match-output short-circuit, yíyọ/fífipamọ́ àwọn ìlà, gígé ìlà kọ̀ọ̀kan, gígé head/tail/max-line, àti ìpadà-àfirọ́pò nígbà tí ó ṣófo
- ó ń ṣe àtìlẹ́yìn fún àwọn asẹ iṣẹ́-àkànṣe tí ìgbẹ́kẹ̀lé ń ṣàkóso nínú
.rtk/filters.jsonàti àwọn asẹ àgbáyé nínúDATA_DIR/rtk/filters.json - ó ń yọ àwọn ọ̀wọ̀ọ̀rọ̀ ANSI, ariwo ìlọsíwájú, àwọn ìlà tí a tún sọ, àti ọ̀rọ̀ àfọwọ́kọ tí kò wúlò
- ó ń pa àwọn ìkùnà tí a lè gbé ìgbésẹ̀ lé, àwọn ìkìlọ̀, àwọn àkótán, àwọn fáìlì tí a yí padà, àti àyíká ìparí mọ́
- ó lè, bí a bá fẹ́, pa àbájáde gidi tí a ti fi àṣírí bo mọ́ fún ìmúpadàbọ̀sípò/ìṣàwárí àṣìṣe nípasẹ̀ àwọn route ìṣàkóso tí a ti fìdí ìdánimọ̀ wọn múlẹ̀
Apá rẹ̀ lórí dashboard ni Dashboard -> Context & Cache -> RTK.
Àwọn àlàyé ìṣiṣẹ́ fún àwọn asẹ àkànṣe, ìgbẹ́kẹ̀lé, ìjẹ́rìísí, àti ìmúpadàbọ̀sípò àbájáde gidi wà nínú
RTK_COMPRESSION.md.
RTK upstream ròyìn ìfipamọ́ 60-90% fún ìfúnpọ̀ àbájáde àṣẹ. Àpẹẹrẹ README rẹ̀ fi hàn pé
ìpele iṣẹ́ Claude Code ìṣẹ́jú 30 kan lọ láti token ~118,000 sí ~23,900, tàbí ìfipamọ́ 79.7%.
LLMLingua-2 (Ìyọkúrò Sẹ́mántíìkì)
Ìpo LLMLingua-2 ń ṣe ìyọkúrò token sẹ́mántíìkì lórí àkọsílẹ̀ nípa lílo classifier token ONNX kékeré kan, láti ṣàfikún àwọn engine Caveman àti RTK tó dá lórí òfin:
- ó ń fún àkọsílẹ̀ nínú àwọn ìfiránṣẹ́ tí kì í ṣe ti system nìkan pọ̀; àwọn búlọ́ọ̀kì kóòdù tí a fi fence yí ká àti àwọn ohun mìíràn tí a pa mọ́ kì í yí padà láéláé
- ó ń ṣiṣẹ́ backend
@atjsh/llmlingua-2(ONNX nípasẹ̀@huggingface/transformers) nínú worker thread, kí inference àwòṣe má bàa dí request event loop láéláé - ó jẹ́ èyí tí a lè tò pọ̀ (
stackPriority35): nínú pipeline tí a tò pọ̀, ó ń ṣiṣẹ́ lẹ́yìn àwọn engine ìgbékalẹ̀ (CCR, session-dedup, headroom, Caveman) ṣùgbọ́n ṣáájúultra, nítorí ìyọkúrò sẹ́mántíìkì máa ń ṣiṣẹ́ dáadáa jù lórí ọ̀rọ̀ tí a ti fún pọ̀ nípa ìgbékalẹ̀ — fún àpẹẹrẹrtk -> caveman -> llmlingua - ó ń fail-open lórí àṣìṣe èyíkéyìí (àwọn dependency àṣàyàn tí kò sí, worker spawn, model load, inference, tàbí timeout) → a ó dá ọ̀rọ̀ ìpilẹ̀ padà láìyípadà, kì í ṣe àṣìṣe láéláé
Ibi tí engine wà: open-sse/services/compression/engines/llmlingua/. Apá rẹ̀ lórí dashboard
ni Dashboard -> Context & Cache -> LLMLingua.
Àwọn Àwòṣe
Àwòṣe àìyípadà ni TinyBERT (atjsh/llmlingua-2-js-tinybert-meetingbank, ~57 MB,
yára). Àwòṣe BERT-base tó péye jù (Arcoldd/llmlingua4j-bert-base-onnx,
~710 MB) wà nípasẹ̀ field model nínú config engine. @huggingface/transformers
ń gba àwòṣe tí a yàn kalẹ̀ lọ́nà lazy láti HuggingFace Hub sínú
${DATA_DIR}/models/llmlingua ní ìpè àkọ́kọ́ (modelStore.ts); override config modelPath
máa ń tọ́ka sí ẹ̀dà agbègbè dípò rẹ̀ (àwọn ìfisórí offline / air-gapped).
Àwọn dependency àṣàyàn àti fífi sórí ẹ̀rọ nígbà tí a bá nílò rẹ̀
Àkójọpọ̀ peer runtime LLMLingua tí a lè yọ kúrò jẹ́ àṣàyàn. A kéde package méjì gẹ́gẹ́ bí
optionalDependencies nínú package.json, a sì pa wọ́n mọ́ gẹ́gẹ́ bí external nípasẹ̀ production build
(scripts/build/prepublish.ts kì í bundle wọn):
| Package | Ẹ̀yà (pin) | Àwọn Àkíyèsí |
|---|---|---|
@atjsh/llmlingua-2 |
2.0.5 |
Package ìwọlé; ó kéde àwọn yòókù gẹ́gẹ́ bí peer |
js-tiktoken |
^1.0.20 |
Tokenizer |
A pin @huggingface/transformers sí ^4.2.0 (a pín in pẹ̀lú ipa embeddings agbègbè, a sì
tún tọpasẹ̀ rẹ̀ sínú standalone bundle); @atjsh/[email protected] jẹ́ peer rẹ̀ pẹ̀lú
"^3.5.2 || ^4.0.0", nítorí náà Transformers.js v3 àti v4 méjèèjì ní àtìlẹ́yìn. Láti 2.0.4,
@atjsh/llmlingua-2 kò nílò @tensorflow/tfjs mọ́, èyí tó yọ olùkópa ẹyọ kan tó tóbi jù
(TensorFlow.js) kúrò nínú àkójọpọ̀ SLM. Àwọn package méjì tó wà lókè nìkan ni àwọn peer SLM
tí a lè yọ kúrò. npm install bóṣewa (dev) máa ń fi àkójọpọ̀ àṣàyàn sórí ẹ̀rọ fúnra rẹ̀, àyàfi tí a bá yọ àwọn
dependency àṣàyàn sílẹ̀.
Ìdí tí a fi ń ṣe é nígbà tí a bá nílò rẹ̀: package tí a tẹ̀ jáde sí npm, standalone bundle, àti Docker image
ń wá láìsí àwọn dependency wọ̀nyí kí wọ́n lè má tóbi. Nígbà tí wọn kò bá sí, dependency
gate worker (ìdánwò resolve @atjsh/llmlingua-2 nínú worker.ts) máa kùnà, engine náà á sì
fail-open ní ìdákẹ́jẹ́ — yíyan LLMLingua kò ní ṣe ohunkóhun (a dá ọ̀rọ̀ padà láìyípadà, kò sí
àṣìṣe tí a kọ sínú log). Láti mú un ṣiṣẹ́ nínú environment tí a ti yọ àwọn ohun kan kúrò, fi àkójọpọ̀ àṣàyàn sórí ẹ̀rọ:
# pin sí àwọn ẹ̀yà tí a kéde nínú package.json optionalDependencies
npm install @atjsh/[email protected] js-tiktoken
Yíyọ @tensorflow/tfjs kúrò (2.0.4+) mú olùkópa 800 MB tó ti ń ṣàkóso tẹ́lẹ̀ kúrò —
ààyè tó kù ni àwọn runtime transformers.js + onnxruntime-node, pẹ̀lú àwòṣe TinyBERT
(57 MB) tí a máa gba kalẹ̀ ní ìlò àkọ́kọ́ (kì í ṣe nípasẹ̀ npm).
Fún environment kọ̀ọ̀kan:
- Ìdàgbàsókè /
npm install— a máa fi í sílẹ̀ láìfọwọ́yí àyàfi tí o bá lo--omit=optional(tàbí--no-optional). Kò sí ohun tí o nílò láti ṣe. - npm àgbáyé (
npm i -g omniroute) / adádúró — ṣiṣẹ́ àṣẹ ìfisílẹ̀ tó wà lókè nínú àkójọ package tí a fi sílẹ̀, tàbí tún un fi sílẹ̀ láìyọ àwọn optional deps kúrò. - Docker — ṣàfikún àṣẹ ìfisílẹ̀ náà sínú ipele image tí a jogún; image tí a tẹ̀jáde jẹ́ tín-ín-rín nípa àpẹrẹ.
- VPS (PM2) — fi í sínú
node_modulesti app náà, lẹ́yìn náà tún process náà bẹ̀rẹ̀ kí worker lè tún gate náà yẹ̀wò. - Next standalone àìṣeéṣàtúnṣe (
npm run build→.build/next/standalone/server.js) — trace standalone náà kò kó worker tàbí optional deps KAN lọ, nítorí náà engine náà máa ń ṣí sílẹ̀ ní ìdákẹ́jẹ́ nígbà ìkùnà.scripts/build/colocate-standalone.mjstún fi àwọn méjèèjì sílò (worker esbuild + optional-dep closure sínú igi standalone náà); ó máa ń ṣiṣẹ́ láìfọwọ́yí nípasẹ̀ hook npmpostbuildlẹ́yìn gbogbo build. Ó jẹ́ idempotent, ó sì máa ń kuna pẹ̀lẹ́pẹ̀lẹ́ nígbà tí deps kò bá sí.
Ṣàyẹ̀wò pé ó ń ṣiṣẹ́: nígbà tí a bá yan LLMLingua, ọ̀rọ̀ gidi máa ń dín kù ní tòótọ́ (engine náà
kò ní máa ṣí sílẹ̀ mọ́ nígbà ìkùnà), ìbéèrè àkọ́kọ́ sì máa ń fa gbígbàsílẹ̀ model náà sínú
${DATA_DIR}/models/llmlingua. Gate náà mọ̀ọ́mọ̀ ń yẹ @atjsh/llmlingua-2 nìkan wò —
àwọn peer yòókù jẹ́ ESM-nìkan, require.resolve sì máa ń ju àṣìṣe sí wọn lórí kódà bí wọ́n bá wà — nítorí náà
worker náà ṣì máa ń ṣí sílẹ̀ nígbà ìkùnà bí peer èyíkéyìí bá ṣàìsí ní àkókò import().
Àwọn Pipeline Tí A Tò Léra
Ipo stacked ń ṣiṣẹ́ àwọn ìgbésẹ̀ pipeline ní tẹ̀lé-tẹ̀lé. Èyí ni àtòjọ àìyípadà:
rtk -> caveman
Lo èyí fún àwọn session coding-agent níbi tí prompt kan ti darapọ̀ àbájáde command mọ́ ọ̀rọ̀ àlàyé ènìyàn tàbí assistant. RTK kọ́kọ́ dín ariwo inú àwọn log irinṣẹ́ kù, lẹ́yìn náà Caveman á ṣùpọ̀ èdè àdánidá tó kù.
A ń ṣètò àwọn ìgbésẹ̀ pipeline pẹ̀lú stackedPipeline nínú àwọn ètò compression tàbí nípasẹ̀ àwọn combo compression.
Nígbà tí engine méjèèjì bá dín payload kan náà tó yẹ kù, àwọn ìfipamọ́ náà ń pọ̀ sí i:
combined = 1 - (1 - RTK savings) * (1 - Caveman input savings)
average = 1 - (1 - 0.80) * (1 - 0.46) = 89.2%
range = 1 - (1 - 0.60..0.90) * (1 - 0.46) = 78.4-94.6%
Àlẹ́ Accessibility Tree MCP
Àlẹ́ ọlọ́gbọ́n accessibility-tree MCP jẹ́ ipele compression lẹ́yìn ìṣiṣẹ́ tó ń ṣiṣẹ́ lórí àwọn àbájáde irinṣẹ́ MCP, kì í ṣe lórí àwọn prompt tàbí context. Ó dojú kọ àwọn payload accessibility-tree àti snapshot browser alálàyé gígùn tí àwọn irinṣẹ́ bíi Playwright, computer-use, àti àwọn server MCP browser-automation ń dá padà.
Ohun tó ń ṣe
- Yíyọ ariwo kúrò — ń yọ àwọn àkọsílẹ̀ generic/text òfo kúrò (
- generic:,- text: "") - Ṣíṣùpọ̀ àwọn sibling — nígbà tí ≥
collapseThreshold(àìyípadà 30) àwọn ìlà tó tẹ̀ lé ara wọn jẹ́ àtúnṣe ìṣètò kan náà, ó máa ṣù wọ́n pọ̀ sí àwọn ìlàcollapseKeepHeadàkọ́kọ́ (àìyípadà 10) + àkótán iye wọn + àwọn ìlàcollapseKeepTailtó gbẹ̀yìn (àìyípadà 5) - Ìpamọ́ ref — a kì í fọwọ́ kan àwọn anchor
[ref=eXX]tí Playwright/computer-use nílò - Gígé líle — tí ọ̀rọ̀ náà bá ṣì kọjá
maxTextChars(àìyípadà 50,000) lẹ́yìn ṣíṣùpọ̀, ó máa gé e pẹ̀lú ìtọ́ni navigation kí agent náà lè tẹ̀ síwájú nínú iṣẹ́
Ibi tí engine wà
open-sse/services/compression/engines/mcpAccessibility/
index.ts ← ibi ìwọlé smartFilterText()
collapseRepeated.ts ← algorithm ṣíṣùpọ̀ sibling
constants.ts ← DEFAULT_MCP_ACCESSIBILITY_CONFIG
Ìṣètò
compression.mcpAccessibility nínú àwọn ètò àgbáyé (migration 056) ló ń ṣàkóso rẹ̀. Config àìyípadà:
{
"enabled": true,
"maxTextChars": 50000,
"collapseThreshold": 30,
"collapseKeepHead": 10,
"collapseKeepTail": 5,
"minLengthToProcess": 2000
}
Àwọn payload àbájáde irinṣẹ́ tí type wọn jẹ́ "text" àti tí gígùn wọn kọjá minLengthToProcess nìkan ni a máa ń lo àlẹ́ náà sí. Kò ní ipa lórí compression prompt tàbí àwọn payload ìbéèrè.
Ìfipamọ́ tí a ń retí
60–80% lórí àwọn àbájáde irinṣẹ́ snapshot browser, ó sinmi lórí bí ojú-ewé náà ṣe díjú tó. Algorithm ṣíṣùpọ̀ náà jẹ́ O(n) nípa iye ìlà, ó sì ń fi ìdádúró kékeré tí kò ṣe pàtàkì kún un.
Àlẹ́ yìí ní ìfiwéra pẹ̀lú àwọn engine compression òkè
| Abala | Caveman / RTK / Stacked | Àlẹ́ accessibility MCP |
|---|---|---|
| Àfojúsùn | Àwọn prompt ìbéèrè / context | Àwọn àbájáde irinṣẹ́ MCP |
| Ohun tó ń mú un ṣiṣẹ́ | Ètò ipo compression | compression.mcpAccessibility.enabled |
| Ìwọ̀n iṣẹ́ | Gbogbo àwọn ìfiránṣẹ́ SSE | Àwọn àbájáde irinṣẹ́ nìkan |
| Àwọn anchor ref | Kò kan | A máa ń pa wọ́n mọ́ láìsí àdéhùn |
Àwọn Àkójọpọ̀ Ìfúnpọ̀
Àwọn àkójọpọ̀ ìfúnpọ̀ jẹ́ àwọn profaili ìfúnpọ̀ tí a fún ní orúkọ, tí a sì lè yàn sí àwọn àkójọpọ̀ ìtọ́sọ́nà:
compression_combos: ń tọ́jú módù, pipeline, àtòpọ̀ RTK, àtòpọ̀ èdè, àti àmì àiyípadàcompression_combo_assignments: ń so àkójọpọ̀ ìfúnpọ̀ pọ̀ mọ́ àkójọpọ̀ ìtọ́sọ́nà- ìṣọ̀kan runtime máa ń yanjú àkójọpọ̀ ìfúnpọ̀ tí a yàn ṣáájú àwọn ìkọlérí àkójọpọ̀ gbogbogbò
- ìtúpalẹ̀ ní
compression_combo_idàtiengine
Ojú-iṣẹ́ dashboard: Dashboard -> Context & Cache -> Compression Combos.
Ojú API
| Ọ̀nà | Ète |
|---|---|
/api/settings/compression |
Àwọn àtòpọ̀ ìfúnpọ̀ gbogbogbò (pẹ̀lú àtòpọ̀ mcpAccessibility) |
/api/compression/preview |
Ṣàgbéyẹ̀wò eyikeyi módù ìfúnpọ̀ |
/api/compression/language-packs |
Ṣàkójọ àwọn àkójọpọ̀ èdè Caveman tó wà |
/api/context/caveman/config |
Orúkọ àfikún fún àwọn àtòpọ̀ Caveman |
/api/context/rtk/config |
Àwọn àiyípadà àti àtòpọ̀ RTK |
/api/context/rtk/filters |
Kátálọ́ọ̀gù àlẹ̀mọ́ RTK |
/api/context/rtk/test |
Endpoint àgbéyẹ̀wò/ìdánwò RTK |
/api/context/rtk/raw-output/[id] |
Ìmúpadàbọ̀ raw-output tí a ti yọ ìsọfúnni kókó kúrò, tó sì nílò ìfàṣẹsí |
/api/context/combos |
CRUD àkójọpọ̀ ìfúnpọ̀ |
/api/context/combos/[id]/assignments |
CRUD ìyàn àkójọpọ̀ ìtọ́sọ́nà |
/api/context/analytics |
Orúkọ àfikún fún ìtúpalẹ̀ ìfúnpọ̀ |
Àwọn ọ̀nà ìṣàkóso nílò ìfàṣẹsí ìṣàkóso tàbí àwọn àyẹ̀wò ìlànà API-key.
Àwọn Ohun Èlò MCP
Ìfúnpọ̀ pèsè àwọn ohun èlò MCP márùn-ún:
| Ohun èlò | Ìwọ̀n | Ète |
|---|---|---|
omniroute_compression_status |
read:compression |
Àwọn àtòpọ̀, ìtúpalẹ̀, àwọn ìṣirò cache |
omniroute_compression_configure |
write:compression |
Ṣe ìmúdójúìwọ̀n àwọn àtòpọ̀ gbogbogbò |
omniroute_set_compression_engine |
write:compression |
Ṣètò módù àti pipeline àṣàyàn |
omniroute_list_compression_combos |
read:compression |
Ṣàkójọ àwọn àkójọpọ̀ ìfúnpọ̀ |
omniroute_compression_combo_stats |
read:compression |
Ka ìtúpalẹ̀ àkójọpọ̀/engine |
Ìwọ̀n & àwọn ohun tí a yọ kúrò
A kì í fún embeddings pọ̀ láé. open-sse/handlers/embeddings.ts kì í pe engine
ìfúnpọ̀ kankan — àwọn ara ìbéèrè/ìdáhùn ń kọjá tààrà sí executor láìsí àtúnṣe.
Èyí jẹ́ apá ìgbékalẹ̀ lọ́wọ́lọ́wọ́ (embeddings àti chat completions ní handlers ọ̀tọ̀ọ̀tọ̀), kì í ṣe
àyẹ̀wò runtime, ṣùgbọ́n ó túmọ̀ sí pé àníyàn ìyídà vector tó wà nínú #8034 kò ní ojú ìfarahàn
ní ọ̀nà embeddings.
Àlẹ̀mọ́ ìyọkúrò fún model/endpoint kọ̀ọ̀kan (#8034). Fún chat completions, olùṣàkóso lè sọ
àwọn model ids / ibi-àfojúsùn provider/model tí a kò gbọ́dọ̀ fún pọ̀ láé — ọ̀nà ààbò tó wúlò bí
a bá so ìfúnpọ̀ mọ́ ọ̀nà tó sún mọ́ embeddings ní ọjọ́ iwájú, tó sì wúlò ní gbogbogbò
fún model èyíkéyìí tí prompt rẹ̀ gbọ́dọ̀ bá byte-for-byte mu pátápátá (deterministic evals, àwọn
prefixes tó ní ìfarakanra sí cache, abbl.).
- Pápá àtòpọ̀:
exclusions?: string[]lórí àtòpọ̀ ìfúnpọ̀ gbogbogbò (GET/PUT /api/settings/compression), tí a tọ́jú nípasẹ̀ namespace ìfúnpọ̀key_valuetó ti wà (src/lib/db/compression.ts) — kò sí tábìlì tuntun. - Táàbù dashboard: Dashboard → Compression → Exclusions
(
/dashboard/compression/exclusions). - Sísẹ́ pattern:
*nìkan ni wildcard. Gbogbo metacharacter regex mìíràn nínú pattern ni a máa ń escape kí ìbámu tó bẹ̀rẹ̀, nítorí náàgpt-5.6yóò bá ọ̀rọ̀ gangan nìkan mu, kì í bágpt-5x6mu láé (ó ní ààbò ReDoS, ó ní ààlà, kò sì ní àwọn quantifiers inú ara wọn). Àwọn patterns máa ń bá mejeeji model id lásán àti àkópọ̀provider/modelmu láìka bí lẹ́tà ṣe tóbi tàbí kékeré —gpt-5-6,openai/gpt-5-6, àtiopenai/*ṣiṣẹ́ gbogbo wọn,*nìkan sì ń yọ gbogbo model kúrò. - Ìbámu:
isCompressionExcluded()/normalizeCompressionExclusions()nínúopen-sse/services/compression/exclusions.ts.chatCore.tsmáa ń ṣàyẹ̀wò ibi-àfojúsùn tí a yọ kúrò lẹ́sẹ̀kẹsẹ̀ lẹ́yìn yíyanjú àwọn àtòpọ̀ ìfúnpọ̀, ṣáájú kí engine kankan tó ṣiṣẹ́, ó sì ń wo ìbámu gẹ́gẹ́ bí ìgbà tí a ti pa ìfúnpọ̀ gbogbogbò — a lè fi ẹ̀rí hàn pé ara ìbéèrè náà bá byte mu pátápátá. A máa ń kọ ìfojúsílẹ̀ náà sílẹ̀ nípasẹ̀writeCompressionSkip(..., "excluded")fún híhàn nínú ìtúpalẹ̀. - Àiyípadà (àkójọ òfìfo/tí kò sí): ó jẹ́ ọ̀kan náà pẹ̀lú ìhùwàsí ṣáájú #8034 — kò sí ohun tí a yọ kúrò.
Àwọn ààlà tí a mọ̀
- LLMLingua-2 (SLM) nílò àwọn dependency àṣàyàn tí a kó sí ibi kan náà. Worker náà máa ń ṣiṣẹ́ nínú
production build nìkan nígbà tí
@atjsh/llmlingua-2+ àwọn peer rẹ̀ bá wà ní ibi kan náà nínúdist/node_modules(woscripts/build/colocateOptionals.mjs, #4286). Láìsí wọn, engine náà máa ń fail-open (yóò dá ọ̀rọ̀ ìpilẹ̀ padà). Ìṣàwárí worker kò gbára léimport.meta.urlmọ́ (ó máa ń dáwọ́ dúró nínú standalone bundle) — ó máa ń lo runtime cwd /argv[1]gẹ́gẹ́ bí ìdákọ̀ró. - Àwọn language pack Caveman
de/fr/jakò pé. Wọ́n ní àwọn òfincontext+filler+structural, ṣùgbọ́n wọn kò ní àwọn packdedup/ultra, nítorí náà ìwọ̀nultrakò lágbára jufulllọ fún àwọn èdè wọ̀nyẹn (àwọn òfin tiwọn nìkan ni wọ́n ń lò — kò sí silent fall-back sí àwọn òfindedup/ultrati èdè Gẹ̀ẹ́sì, èyí tí ì bá ba ọ̀rọ̀ èdè mìíràn jẹ́).en/es/id/pt-BRti pé. A tẹ́wọ́ gba ìfikúndedup.json+ultra.jsonfún àwọn pack tí kò tíì pé. - Stacked telemetry ń ṣàfihàn àwọn engine tí wọ́n ṣe compression nìkan. Ìgbésẹ̀ stacked-pipeline kan tí
engine rẹ̀ ṣiṣẹ́ ṣùgbọ́n tí kò mú ìfipamọ́ 0 % jáde máa ń dá
stats:nullpadà, nítorí náà kò ní hàn nínúengineBreakdown— kò ṣeé yà á sọ́tọ̀ kúrò nínú ìgbésẹ̀ tí a fò kọjá. Láti lè ṣe ìyàtọ̀ láàárín “ó ṣiṣẹ́, 0 %” àti “a fò ó kọjá” yóò nílò àyípadà sí breakdown-model, a sì ti sún un síwájú.
Ìmúdájú
Àwọn ìdánilójú pàtàkì fún agbègbè yìí ni:
node --import tsx/esm --test tests/unit/compression/rtk-*.test.ts tests/unit/compression/pipeline-integration.test.ts tests/unit/compression/context-compression-api.test.ts
node --import tsx/esm --test tests/unit/compression/*.test.ts tests/golden-set/*.test.ts tests/integration/compression-pipeline.test.ts tests/unit/api/compression/compression-api.test.ts
node --import tsx/esm --test tests/unit/compression/mcpAccessibility*.test.ts
npm run typecheck:core