GPT-6-Astra løste 49 av 50 upubliserte fysikkoppgaver, og hele testen kostet 116 dollar
torsdag 15. oktober · KI-generert · Kilde: The Decoder
Regn med at frontagentene nå regner like presist som spesialistene i teoretisk fysikk, men at de mangler sansen for hvilke problemer som fortjener å bli løst.
98 prosent. Så stor andel av 50 upubliserte forskningsoppgaver i teoretisk fysikk løste GPT-6-Astra i OpenAIs Codex, uten hint fra mennesker. Tallet kommer fra TheoPhysEval, et nytt sett laget av 35 forskere fra blant andre ICTS, Harvard, KU Leuven og Google DeepMind, publisert på arXiv 9. oktober og omtalt av The Decoder. En ledende ekspert i feltet ville brukt rundt en dag eller mindre per oppgave.
Oppgavene er bevisst rutinearbeid: kjente metoder brukt på et litt endret spørsmål, ofte en av bidragsyternes egne nylige beregninger med nye verdier. Med nettsøk løste Opus 5.5 i Claude Code 46 av 50, Gemini 3.8 Flash i Antigravity 34, DeepSeek-V4.1-Flash 27 og GLM 5.3 21. Uten nett endte både Astra og Opus på 46. Oppgavene spenner over elleve delfelt, fra væskestrømning og biologiske prosesser til partikkelfysikk og kosmologi.
Kostnadsforskjellen kommer fra tokenbruken. Astra brukte rundt 37 millioner tokens på hele det realistiske løpet, Opus over 211 millioner. Flere bom viste seg dessuten å skyldes feil i fasiten, og etter rettingen var Astras svar riktig hver gang.
«Internett-tilgang utgjorde overraskende liten forskjell.» — The Decoder
Forfatterne tolker det som at de beste språkmodellene i praksis har memorert store deler av fysikklitteraturen. Likevel har det ikke kommet gjennombrudd i teoretisk fysikk tilsvarende det matematikken har sett. Forklaringen deres er at regningen kommer til slutt i forskningen: først må noen bygge en teori og stille de riktige spørsmålene.
«Når de blir bedt om å finne på nye problemer, fokuserer agentene overdrevent på detaljer et menneske ville funnet uinteressante.» — forfatterne bak TheoPhysEval, i artikkelen på arXiv
Forfatterne påpeker selv at hver agent bare kjørte testen én gang, så enkeltpoengene har statistisk usikkerhet. Oppgavene og testoppsettet ligger som datasett på Hugging Face. De advarer også om at budsjettet kan få mer å si for hva en forskningsgruppe får til, selv i et felt som tradisjonelt har krevd lite penger.
For deg som bygger agenter er lærdommen at kombinasjonen av modell og agentmiljø gir store forskjeller i kostnad for samme jobb, og at en billig åpen modell kan løse over halvparten av oppgavene for en tredjedel av prisen.