vernLLM fjerner LLM-gatewayen og flytter fallback inn i egen prosess

vernLLM er et TypeScript-bibliotek som pakker LLM-kall inn i et lag med gjenforsøk, circuit breaker, fallback til en annen leverandør, rate limiting, caching og middleware. Prosjektet ble lagt ut på Hacker News 6. september, og argumentet i repoet er at alt dette kjører inne i prosessen din i stedet for som et nytt nettverkshopp.

Konfigurasjonen er ett objekt. Du sender inn en klient, en modell og en fallback-klient, og setter grenser som requestsPerMinute og tokensPerMinute i samme slengen, sammen med et retry-budsjett som stopper gjenforsøk når for stor andel av kallene feiler, en timeout og standard maks tokens. Adapterne fromOpenAI og fromAnthropic tar imot leverandørenes egne SDK-klienter, så du bytter ikke ut klientbiblioteket du allerede bruker.

Leverandørdekningen er bred: OpenAI, Groq, Mistral, DeepSeek, Cerebras, Together AI, Fireworks AI, Ollama, Anthropic, Gemini og AWS Bedrock, pluss hva som helst annet som er nåbart over HTTP via en fromFetch-adapter. Ollama på den lista betyr at en lokal modell kan stå som primær eller reserve med nøyaktig samme feilhåndtering som skyleverandørene.

Prosjektet er ferskt og lite. Repoet har null stjerner og fire åpne issues, men npm-pakken står i versjon 2.7.0, og repoet kjører CI for bygg, lint, typecheck, enhetstester, integrasjonstester, CodeQL og kodedekning. Lisensen er MIT, og dokumentasjonen ligger i samme pnpm-monorepo.

Hva bør du gjøre?

1. Avklar først om du faktisk har et gateway-hopp å fjerne. Kjører du ingen gateway i dag, er dette et bibliotek du legger til, ikke ett du sparer.
2. Test fallback-oppsettet med en bevisst ugyldig nøkkel på primærleverandøren, slik at du ser at circuit breakeren faktisk slår over.
3. Les gjennom retry-budsjettet før du skrur på gjenforsøk i produksjon. En for raus retryRatio gjør en leverandørfeil til dobbelt trafikk mot en leverandør som allerede sliter.