Respan Gateway: én Rust-binær som oversetter mellom OpenAI-, Anthropic- og Gemini-API-ene
onsdag 21. oktober · KI-generert · Kilde: GitHub
Prøv Respan Gateway hvis du vil peke en OpenAI- eller Anthropic-SDK mot hvilken som helst modell, men behandle den som pre-alfa.
Respan har lagt ut Respan Gateway på GitHub under MIT- eller Apache-2.0-lisens og lanserte den på Hacker News 20. oktober. Gatewayen tar imot forespørsler i formatene OpenAI Chat Completions, OpenAI Responses, Anthropic Messages og Gemini, og velger leverandør ut fra modellnavnet. Du kan altså be Anthropic-SDK-en om gpt-6-luna, og verktøykall, bilder og reasoning oversettes underveis. README-en sier fortsatt at ingen utgave er tagget, men v0.1.0 og v0.2.0 ble lagt ut 19. og 20. oktober med ferdigbygde binærer for Linux, macOS og Windows.
Bakgrunnen er LiteLLM. Respan har kjørt sin hostede gateway på LiteLLM siden 2024, og ifølge Andy fra Respan vokste innpakningskoden deres til over 100 000 linjer. En rutineoppgradering i januar ga sporadiske tilkoblingsfeil, og siden har teamet backportet fikser manuelt.
«Vi mener en KI-gateway bør ha en veldig liten kjerne som bare har ansvar for å fordele hendelser» — Andy, Respan, på Hacker News
Alt annet er plugins på ett offentlig Rust-API: ruting med fallback, retries og parallelle kappløp mellom leverandører, en tool-loop som kjører MCP-verktøy inne i chat-forespørsler for klienter som ikke kan MCP, en MCP-ruter som samler flere servere bak ett endepunkt, prising per kall og et web-UI med forespørselslogg. Mistral-leverandøren er 22 linjer. Ollama, vLLM og alle OpenAI-kompatible endepunkter kan legges inn i gateway.toml, og uten klientnøkler svarer gatewayen bare på loopback.
Begrensningene er tydelige. Pluginene er Rust-crates som kompileres inn, så egen logikk krever at du bygger selv. Docker-imaget ble trukket før lansering fordi API-ene kan endre seg, og Respan kaller selv prosjektet pre-alfa.
Hva bør du gjøre?
- Last ned v0.2.0 fra GitHub Releases og sjekk filen mot SHA256SUMS i stedet for å sende install.sh rett til sh.
- Start den med API-nøklene dine i miljøet og pek en eksisterende OpenAI- eller Anthropic-klient mot localhost:8080 for å teste oversettelsen mot modellene du allerede bruker.
- Sett client_keys i gateway.toml før du binder den til noe annet enn loopback.