Continuum AI offentliggjorde OrcaRouter og OrcaRouter Lite 8. mai via PR Newswire. Lite-versjonen er åpen kildekode under MIT, kjører med SQLite som standard og krever ikke Postgres, Redis eller Kubernetes. Repoet ligger på github.com/Continuum-AI-Corp/OrcaRouter-Lite med 127 tester som passerer.
Forretningsmodellen er det interessante her. Mens OpenRouter tar 5 prosent påslag på hver token som går gjennom dem, tar OrcaRouter 0 prosent på BYOK-trafikk. Du tar med egne API-nøkler til leverandørene og betaler dem direkte. Continuum AI tjener pengene på laget over: caching, governance, SSO, audit og policy.
«Routers shouldn't be tollbooths. They should be infrastructure that evolves with the traffic running through it.» — Continuum AI, lanseringsmelding
For selvhostet bruk er Lite-versjonen den interessante. Du får én rute mot 100+ modeller, nøkler kryptert med AES-256-GCM, og kan kjøre alt på en bærbar eller VPS. Den hostede versjonen legger til sub-50 ms failover og adaptiv ruting som lærer fra ekte trafikk-mønstre.
For norske utviklere som bygger agenter eller apper med flere LLM-leverandører, betyr null markup at du slipper å bygge din egen abstraksjons-layer for å unngå OpenRouters påslag. Trade-offen er at du må stole på et nytt selskap med policy- og styringslaget hvis du går for hostet versjon. Lite-versjonen lar deg unngå den avhengigheten helt.
Hva bør du gjøre?
- Klon
OrcaRouter-Liteog kjør den lokalt med SQLite for å teste mot dine egne API-nøkler før du beslutter noe. - Sammenlign din nåværende OpenRouter-regning mot direkte leverandør-priser. Hvis trafikken er over noen tusen kroner i måneden, vil 5 prosent påslag synes raskt.
- Hvis du allerede har en intern ruter, vurder Lite som referanse-implementasjon for failover- og caching-mønstre snarere enn full erstatning.