10x National Security åpner kildekoden til Nexus, en samlet KI-gateway
torsdag 9. juli · KI-generert · Kilde: Open Source For You
Åpner 10x National Security kildekoden til Nexus, en KI-gateway som samler OpenAI- og Anthropic-trafikk bak ett kontrollpunkt.
Spredte API-nøkler, direkte kall til hver enkelt leverandør, logger som ikke snakker sammen, og ingen samlet oversikt over hva KI-bruken faktisk koster. Det er tilstanden Nexus er bygget for å rydde opp i. 10x National Security la koden offentlig ut på GitLab, melder Open Source For U.
Nexus er et kontrollplan foran språkmodellene. Den støtter OpenAI og Anthropic i dag, og arkitekturen er lagt opp for flere leverandører over tid. Byttekostnaden er lav: du beholder OpenAI-kompatible API-er eller Anthropics egne SDK-er, og endrer kun base-URL og API-nøkkel. Applikasjonskoden røres ikke.
«KI-adopsjon beveger seg raskere enn styringsmodellene i de fleste organisasjoner.» — John Eubank IV, grunnlegger og daglig leder i 10x National Security
Tjenesten er bygget som Rust-mikrotjenester med en konsoll i Next.js. Den gjør ruting mellom leverandører, automatiske omforsøk, fallback mellom modeller og leverandører, valgfri respons-caching, policy-håndheving, kostnadssporing, observability, multi-tenant-håndtering og bring-your-own-key.
Funksjonslisten overlapper tungt med LiteLLM, som Pulsen omtalte da tre kritiske sårbarheter ga full overtakelse av gatewayen. Poenget gjelder her også: en gateway er det ene punktet all nøkkeltrafikken din passerer. Rust og en fersk kodebase endrer ikke at du selv må drifte, oppgradere og overvåke den.
Hva bør du gjøre?
- Kjør Nexus i en isolert nettverkssone hvis du tester den. Alle leverandørnøklene dine samles på ett sted.
- Avklar om du faktisk trenger ruting mellom leverandører, eller bare kostnadssporing. Det siste får du billigere andre steder.
- Sjekk om OpenTelemetry-støtte har landet. Selskapet ber om bidrag på nettopp det, altså finnes det ikke ennå.