Claude Opus 4.8 fikk seks dager og 3 000 dollar på et NeurIPS-spørsmål, og ble avvist
Regn med agenter som forskningsingeniører, ikke som forskere: begge de agentskrevne artiklene ble avvist av forfatterne bak spørsmålene.
«Høyst uvitenskapelig» — en av fagfellene om resonnementet i den agentskrevne artikkelen
Dommen falt i et forsøk fra Princeton og britiske AI Security Institute, som The Decoder omtaler. Metoden kaller forskerne «Shadow Evaluation»: agenten får kjernespørsmålet fra en upublisert artikkel, og forfatterne som selv brukte måneder på spørsmålet, vurderer resultatet slik en konferansefagfelle ville gjort. Siden funnene ennå ikke finnes på nettet, kan ikke agenten falle tilbake på treningsdata.
Teamet samarbeidet med forfatterne bak to NeurIPS 2026-innsendinger. Hovedforsøkene brukte Claude Opus 4.8 med Extra-High Reasoning, seks dager, 3 000 dollar i API-kreditt, GPU-budsjett og full tilgang til en virtuell maskin og det åpne nettet, kjørt i det åpne agent-rammeverket OpenClaw. Begge artiklene ble avvist. Én fikk «Strong Reject». Fagfellene kritiserte dårlig begrunnede data og forsøk, uleselig prosa og null nye bidrag.
Loggene viser hvor det brøt sammen, og det er ikke i koden. Begge agentene ga opp sine mest ambisiøse mål innen de første ti timene. I det ene løpet var utforskningsfasen ferdig etter fem timer, mot de 36 til 48 agenten selv hadde budsjettert. Begge løpene endte med under halve API-budsjettet brukt, og det ene erklærte prosjektet ferdig sju timer før fristen, rett etter at agentens egen anmelder hadde levert nok en Reject. Agentens interne vurderinger returnerte aldri en eneste Accept gjennom femten revisjonsrunder, uten at kritikken ble tatt tak i. Begge artiklene sprengte lengdegrensen og ville blitt avvist administrativt av NeurIPS, og den ene hadde null figurer i hovedteksten der den menneskeskrevne originalen hadde 15.
Ingeniørarbeidet gikk derimot uten hjelp: litteratursøk, debugging av GPU-kode, hundrevis av forsøk og ferdig kompilerte LaTeX-artikler, med bare tre menneskelige inngrep. Et kontrollforsøk med GPT-5.6 Sol og Codex-rammeverket ga nesten alle de samme feilmodusene, og brente 3 000 dollar på litt over to døgn. Studien dekker to artikler, og fagfellene var ikke blindet. For deg som setter agenter på lange, åpne oppgaver, er det ressursstyringen og manglende retningsskifte etter ti timer som er det praktiske signalet, ikke om koden kompilerer.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.