Drew Breunig flytter rutinekodingen til GLM 5.2, en niendedel av Fable-prisen

«Før Fable føltes det dumt å bruke for mye tid på å forbedre kodeoppsettet eller kontekststrategiene. En ny modell ville komme til samme pris, eller billigere, og dekke over de fleste problemene dine» — Drew Breunig

Analogien Breunig bygger på er Moores lov. Så lenge ytelsen doblet seg hver attende måned, ga det lite mening å optimalisere koden hardt, og Herb Sutter kalte det den gratis lunsjen i et essay som ble stående. Da enkeltrådsytelsen stagnerte midt på 2000-tallet, måtte utviklere plutselig forholde seg til parallellisering, arkitektur og minnelokalitet.

Fable utløste det samme skiftet for KI-koding, skriver Breunig. Modellen er fortsatt utmerket, men prisen var så høy at Opus var godt nok, og det samme var 5.6, K3 og til og med GLM, for det meste av koden de trengte. GLM 5.2 kom samme uke som Fable og ligger på rundt en niendedel av prisen, og omtrent en femtedel av prisen på Opus 5. Arbeidsdelingen hans er konkret: han diskuterer og former et design sammen med Fable, og sender så en beskrivelse videre til GLM.

Innvendingen han møter er at fallende inferenspriser før eller siden sender alt tilbake til de største modellene. Breunig kjøper den ikke, fordi de samme gevinstene tilfaller K3 og Qwen, og fordi bedre oppsett gjør det lettere å gi svakere modeller nok kontekst til å prestere godt. Han peker i tillegg på at Fables tilgangskontroller, dynamiske degradering og påkrevde datalagring skremte nok selskaper og land til å tenke over hvor sporene deres havner og hvor tokenene kommer fra.

Simon Willison løftet passasjen frem på bloggen sin 23. august, samme dag som Breunig publiserte den.

For deg som bygger, flytter dette arbeidet fra modellvalg til ruting: verdien ligger i å vite hvilken oppgave som tåler den billige modellen, og hvilken som ikke gjør det.