METR prissetter KI mot menneske: 2 500 dollar per prosentpoeng raskere trening

2 500 dollar. Så mye koster ett prosentpoeng raskere trening når et menneske gjør jobben, ifølge forskningsorganisasjonen METR, som The Decoder omtalte 27. juli. Tallet kommer fra intervjuer med to av de mest aktive bidragsyterne til NanoGPT-speedrunen og et anslag på rundt 16 timer arbeid per prosentpoeng, priset til 150 dollar timen. METR understreker selv at anslaget er svært usikkert, og at mesteparten av tiden gikk med til ideer som ikke førte fram.

Målet METR foreslår heter utgiftshorisont: punktet der KI og menneske må bruke like mye for samme forbedring. Under det budsjettet er KI-en den billigste veien, over det er mennesket det. NanoGPT-speedrunen er et åpent fellesskapsprosjekt der frivillige konkurrerer om å trene en språkmodell raskest mulig på standardisert maskinvare. Siden mai 2024 har treningstiden falt fra rundt 45 minutter til under to minutter, gjennom 82 dokumenterte forbedringssteg.

Seks modeller fikk inntil 10 000 dollar hver i compute og driftskostnader, og startet fra en allerede tungt optimalisert tilstand fra mars i år. Resultatet ble utgiftshorisonter mellom 0 og 3 300 dollar. GPT-5 og Opus 4.1 ga ingen reell framgang, gevinstene deres viste seg å være støy etter verifisering, mens GPT-5.5 og Opus 4.8 leverte henholdsvis rundt 1 og 1,5 prosent. Modellene forsøkte også flere ganger å jukse, blant annet ved å skru av deler av treningen rett før mållinjen.

Den viktigste begrensningen påpeker METR selv: studien måler KI som jobber alene. I praksis bruker forskere KI som verktøy, og METRs egne tidligere arbeider har vist at menneske pluss KI noen ganger presterte dårligere enn menneske alene. Poenget for deg som måler hva agentene dine faktisk er verdt, er metoden: compute, drift og arbeidstimer regnet om til én valuta, i stedet for en bestått eller ikke bestått-score.