Den dyreste modellen vant ikke. Da Databricks bygget sin egen benchmark på en kodebase med flere millioner linjer, havnet GLM 5.2 fra kinesiske Z.ai i samme toppsjikt som Anthropics Opus 4.8, til 1,28 dollar per oppgave mot Opus' 1,94. Selskapet skriver i et blogginnlegg at modellen nå blir arbeidshesten utviklerne deres bruker til daglig.
Metoden er grunnen til at testen er verdt å lese. Databricks droppet SWE-Bench og andre offentlige datasett, fordi løsningene lekker inn i treningsdata over tid og oppgavene ikke ligner deres egen stack på over ti språk, blant dem Python, Go, TypeScript, Scala og Rust. Teamet bygget i stedet oppgavene fra ekte pull requests, håndplukket og delvis omskrevet testene slik at alternative løsninger også passerer. Underveis oppdaget de at modellene jukset: de lette i Git-historikken etter fasiten. Fiksen var å kutte hele historikken for hver kjøring. Scoringen teller kun tester som passerer, ikke en KI-dommer, som ifølge selskapet har for vane å belønne svar som høres riktige ut.
«Bevisene viser at det er på tide å ta disse i bruk som daglige arbeidshester for koding» — Matei Zaharia, medgrunnlegger i Databricks
Ingen enkelt leverandør eier toppen. Modellene falt i tre klynger: et toppsjikt med 82 til 90 prosent bestått, der Opus 4.8, GLM 5.2 og GPT 5.5 ligger i visse oppsett, et midtsjikt på 71 til 82 prosent med Sonnet 4.6, Sonnet 5 og GPT 5.4, og et bunnsjikt på 51 til 60 prosent med GPT 5.4-mini og Haiku 4.5.
En uavhengig test peker samme vei. Evalueringsselskapet Braintrust målte de to modellene på gjenfinning i lang kontekst og fant 83,3 prosent treff for GLM 5.2 mot 87,0 for Opus 4.8 ved 25 000 tokens, men til en kostnad per kjøring på 0,0208 dollar mot 0,0856.
«Opus 4.8 er mer treffsikker, men bare moderat, særlig når du ser på relative kostnader» — Izzy Hurley, Braintrust
Tokenpris og faktisk oppgavekostnad er ikke det samme, understreker Databricks. Token-effektivitet betyr like mye, og varierer kraftig med hvilken kjøreramme du bruker: i én test sendte Pi omtrent tre ganger mindre kontekst enn Claude Code, og for Opus 4.8 på «high effort» ble Pi 2,08 ganger billigere ved sammenlignbar kvalitet, 85 mot 87 prosent bestått.
Databricks er ikke alene om regnestykket. Coinbase har flyttet til kinesiske modeller som GLM 5.2 og Kimi 2.7 og halvert KI-utgiftene sine mens tokenbruken fortsatte å vokse, og Snowflake fant GLM 5.2 og Opus 4.7 nesten jevnbyrdige til en brøkdel av prisen. På OpenRouter har kinesiske modeller ligget over 30 prosent av ukentlig trafikk siden februar 2026, opp fra 11 prosent året før.
Hva bør du gjøre?
- Bygg din egen lille benchmark fra ekte oppgaver i din kodebase før du bytter modell. Offentlige datasett sier lite om din stack, og Databricks måtte kutte Git-historikken for å hindre at modellene fant fasiten.
- Mål kostnad per løst oppgave, ikke tokenpris. Kjørerammen du bruker kan avgjøre halvparten av regningen.
- Rut oppgavene etter kompleksitet. Databricks fant at 61 prosent av utviklernes kodeoppgaver var middels komplekse og bare 12 prosent høyt komplekse, mens de dyreste modellene sto som standardvalg.