Sam Newman: hold KI-appen oppe når modell-API-et svikter
tirsdag 13. oktober · KI-generert · Kilde: The Pragmatic Engineer
Bygg KI-funksjonene dine slik at appen fortsatt virker når modell-API-et er nede, struper deg eller endrer oppførsel, slik Sam Newman anbefaler i sin nye bok.
En QA-ingeniør hos helseselskapet Nordhealth brukte 1 000 euro på Claude Code på én uke, langt mer enn normalt, og mer enn doblet produktiviteten sin. Eksempelet fra CTO James Stanier står i et utdrag fra Sam Newmans nye bok Building Resilient Distributed Systems (O'Reilly), som The Pragmatic Engineer publiserte 13. oktober.
Utgangspunktet hans er at OpenAI og Anthropic ikke har noen god historikk for oppetid sammenlignet med skyleverandørene. Newman anbefaler at appen degraderer kontrollert når modellen er utilgjengelig, når du blir rate-limitet eller når tokens er brukt opp. Et annet grep er en reserveleverandør for samme modell: OpenAI-modeller via Azure, eller Anthropic-modeller via Googles Gemini Enterprise Agent Platform.
«Du vil sørge for at når det uventede skjer, er det du som blir overrasket først, ikke brukerne dine.» — Sam Newman, i Building Resilient Distributed Systems
Modellene endrer seg også uten varsel, og en ny versjon kan behandle promptene dine helt annerledes. Newman vil derfor ha både vanlige funksjonelle tester og evals på KI-delene. Latens er et eget problem: Når svartiden varierer kraftig, vet du ikke når et kall har hengt seg. Han foreslår tidsavbrudd ut fra antall tokens som genereres, og å følge strømmen fra modellen så du ser når svaret begynner å komme.
Flere modeller er ikke automatisk tryggere. En flyt som bruker Anthropic, OpenAI og Gemini samtidig, stopper hvis én av dem er nede, og en prompt tilpasset én modell må evalueres på nytt selv innen samme leverandør. Newman peker på Cursor, som i 2025 måtte sende en kraftig kostnadsøkning videre til kundene da Anthropic endret prisstrukturen.
Hva bør du gjøre?
- Bestem hva appen gjør når modellkallet feiler eller blir strupet, og test den veien like ofte som den vanlige.
- Sett tidsavbrudd ut fra hvor mange tokens du venter, og mål tiden til første token i strømmen i stedet for å vente på hele svaret.
- Kjør evalsettet ditt før du bytter modellversjon, også når du blir hos samme leverandør.