Claude regnet ut ni-loop-amplituden i N=4 super Yang-Mills på en uke med 96 CPU-er

«Give us N=8 supergravity to seven loops, or N=4 super Yang-Mills to nine loops.» Slik utfordret fysikeren og bloggeren Matt von Hippel KI-selskapene, og en måned senere hadde to fysikere i Anthropic et svar. Det skriver von Hippel i et gjesteinnlegg på Anthropics nettsted 25. september, et innlegg Anthropic har betalt ham for å skrive.

Liam Fitzpatrick og Siddharth Mishra-Sharma kjørte Fable 5.1 i Claude Science, Anthropics betalte plattform for forskere, med én kort prompt om å regne ut seks-partikkel-amplituden ved ni loops. Resten av instruksjonene var i praksis «keep going». Claude løste problemet på to måter, med bootstrap-metoden og via den indirekte form-faktor-veien. Selve bootstrap-beregningen i Python og SymPy kostet rundt 100 dollar, tilsvarende 96 CPU-er i en uke, mens hele kjøringen ville kostet en vanlig bruker 1 000 til 2 000 dollar, mest i modellbruk.

«Jeg vil hevde at Claude forstår artiklene våre fra 2019 og 2023 bedre enn noe menneske, bortsett fra medforfatterne mine» — Lance Dixon, SLAC og Stanford

Dixon, som kom til åtte loops i 2023, trodde amplituden var for vanskelig å regne ut direkte. Claude brukte likevel bare metoder Dixons gruppe selv har utviklet, og von Hippel konkluderer med at den brukte kjente metoder og litt mer regnekraft, ikke noe nytt triks. Song He ved det kinesiske vitenskapsakademiet hadde i tillegg allerede regnet ut mesteparten av resultatet, med hjelp fra GPT-6.

På Hacker News etterlyser flere det innlegget ikke viser: hvor mange forsøk som gikk forut for den vellykkede kjøringen, og hvor mye inferens som faktisk ble brukt.

Von Hippels egen lærdom er at det finnes mer lavthengende frukt enn eksperter tror når målet er veldefinert, og at de som prøver samme grep bør ha en plan for å sjekke resultatet. For deg som setter agenter på lange oppgaver er oppskriften den samme: en kjent metode og en uavhengig måte å sjekke svaret på.