OpenAI slår Opus 5 på ARC-AGI-3 med 38,3 prosent, men bare med sitt eget testoppsett

Fra 7,78 til 38,3 prosent på samme oppgavesett, uten at en eneste modellvekt er endret. To innstillinger i OpenAIs Responses API står for spranget. «Retained Reasoning» beholder modellens tankekjede mellom hvert trekk i stedet for å kaste den, og «Compaction» oppsummerer gammel kontekst når vinduet fylles, framfor å klippe den bort. The Decoder omtalte resultatet 30. juli, og OpenAI oppgir selv 38,3 prosent med dette oppsettet.

ARC Prize sine egne, verifiserte tall ser annerledes ut. På det semi-private settet står GPT-5.6 Sol med 7,78 prosent ved maksimal resonneringsinnsats, mens Anthropics Claude Opus 5 topper listen med 30,2 prosent. ARC-AGI-3 er ikke statiske rutenettoppgaver: agenten slippes inn i et ukjent spill uten instruksjoner og må finne ut hva målet er mens den spiller. I det standardiserte oppsettet kastes resonneringen etter hver handling, og det er nettopp der Sol faller.

«Oppsett som er skreddersydd for å løse benchmarken, eller som inneholder kunnskap om benchmark-formatet, er utenfor rammene.» — François Chollet, medgrunnlegger i ARC Prize

Chollet legger til at generelle API-innstillinger som ikke er laget for ARC-AGI-3, og som alle API-brukere har tilgang til, er innafor. Han sier også at ARC Prize har hatt mye fram og tilbake med OpenAI om hvordan modellene bør testes, særlig rundt compaction, og at ulike innstillinger per leverandør gir et paritetsproblem han kan leve med så lenge innstillingene og kostnaden rapporteres tydelig.

For deg som bygger agenter er nyheten at samme modell går nesten fem ganger høyere uten at en vekt er endret. Hvordan du håndterer tankekjede og kontekst over mange trinn kan avgjøre mer enn hvilken modell du velger.