Aiven kuttet token-utgiftene 80 % for tunge brukere med åpne modeller bak LiteLLM

«Mesteparten av arbeidet gjøres faktisk med åpne vekter, men de mest kritiske delene planlegges med frontier-modeller», sier Ville Lehto, strategidirektør i databaseleverandøren Aiven, til The Register mandag 26. oktober. Aiven sto overfor et valg mellom strenge token-budsjetter og en mer effektiv bruk av tokens, og valgte det siste: en intern gateway der de ansatte kan velge mellom vestlige og asiatiske open-weight-modeller.

Gatewayen er bygget på open source-rammeverket LiteLLM, som Aiven hoster selv. Oppå la selskapet til budsjettering, tilgangsstyring og flere open source-komponenter, og modellene kjøres på leide GPU-er. Fordi åpne modeller og frontier-modeller presterer ulikt, måler Aiven også kostnad per oppgave, ikke bare pris per token.

«Vi har fokusert på de tunge brukerne, og hos dem ser vi omtrent 80 prosent nedgang i utgiftene.» — Ville Lehto, Aiven

Tallet gjelder de tyngste brukerne, ikke hele selskapet, og Aiven oppgir verken hvilke modeller som gjør jobben eller hva GPU-leien koster. Selskapet vil tilby gatewayen som tjeneste til kunder, blant dem Conrad, Dojo, Sophos og Avaya, men pris og lanseringsdato er ikke kjent.

Selve mønsteret trenger du ikke vente på. LiteLLM beskriver seg som en selvhostet gateway for over 100 LLM-leverandører med ett grensesnitt i OpenAI-format, og har virtuelle nøkler og forbruksmåling per prosjekt og bruker innebygd.

Hva bør du gjøre?

1. Finn de tyngste brukerne eller agentene dine først. Aiven fant en liten gruppe svært tunge brukere, og det var hos dem besparelsen lå.
2. Sett opp LiteLLM som proxy foran modellene, gi hver agent en egen virtuell nøkkel, og send de utførende stegene til en åpen modell mens planleggingen går til en frontier-modell.
3. Mål kostnad per løst oppgave, ikke per token. En billigere modell som trenger tre forsøk kan bli dyrere enn én dyr kjøring.