Databricks kuttet genererte tokens med nesten 50 prosent ved å justere cachen

Nesten 50 prosent færre genererte tokens, og ingen målt kvalitetsforringelse. Det er hva Databricks fikk ut av relativt enkel justering av cache-innstillingene og kjørerammen rundt kodemodellen, skriver Patrick Wendell og fire kolleger i et innlegg om kostnadskontroll for KI-koding. Innlegget bygger på selskapets egen drift og samtaler med Stripe, Coinbase, Uber og Ramp.

Hovedpoenget er et skille mellom to fronter. Frontmodell betyr til daglig den mest intelligente modellen, og laboratoriene jobber først og fremst med å flytte den grensen. Når KI settes i drift i stor skala, betyr en annen front mer: effektivitetsfronten, altså de modellene som gir best pris for et gitt intelligensnivå. Det meste av daglig kodearbeid krever verken matematiske bevis eller nye sikkerhetsinnsikter, og effektivitetsfronten flytter seg raskere enn intelligensfronten.

Skal du hente den gevinsten, må du vite hvilke modeller som faktisk slår dine egne. Databricks skriver at offentlige benchmarks er dårlige indikatorer på reell ytelse på kodeoppgaver, og at interne evalueringer ofte gir negative resultater. Stripe fant at Opus 4.7 ikke ga merkbart bedre kvalitet enn Opus 4.6, men kostet mer, og gjorde den derfor ikke tilgjengelig internt. Databricks så tilsvarende kostnadsregresjon da de sammenlignet Opus 5.0 med 4.8.

Selskapets Smart Router i AI Gateway senker gjennomsnittlig oppgavekostnad med over 30 prosent, samtidig som kvaliteten omtrent matcher den dyreste modellen i settet. Det andre grepet handler om innlåsing. Proprietære frontmodeller designes i økende grad sammen med bestemte kjørerammer, så kjørerammen blir i praksis en binding til én modellfamilie. Databricks' svar er en meta-kjøreramme som gir utviklerne ett felles grensesnitt og sender forespørslene videre til underliggende kjørerammer, både proprietære og åpne. Både den, Omnigent, og gatewayen Unity AI Gateway er lagt ut åpent eller gjort fritt tilgjengelig.

Hva bør du gjøre?

1. Bygg din egen evaluering på din egen kodebase før du bytter modell. Offentlige benchmarks forutsier ikke kostnad per løst oppgave hos deg.
2. Se på cache-treffraten før du forhandler pris. Justering av cache-innstillingene ga Databricks nesten halve tokenforbruket tilbake.
3. Hold kjørerammen uavhengig av modellen, enten ved å la utviklerne bytte selv eller ved å legge et felles lag over. Ellers kan du ikke flytte forbruket til en billigere modell når den kommer.