UK AISI legger ut verifiserte benchmarkdata for Claude og GPT i åpent format

To tall for samme modell på samme benchmark kan bety helt ulike ting hvis det ene er målt med lite inferensberegning og det andre med tilbakemelding etter hvert forsøk. Det er gapet UK AI Security Institute (AISI) og forskningsfellesskapet EvalEval Coalition vil tette, ifølge en blogg på Hugging Face 22. september.

AISI deler verifiserte resultater, kontekst og konfigurasjon for fem benchmarks: HealthBench, FrontierMath, Humanity's Last Exam, SWE-Bench Pro og Terminal-Bench 2.0. Resultatene dekker seks modeller: Claude Opus 4, Opus 4.5 og Opus 4.6 fra Anthropic, og GPT-5, GPT-5.2 og GPT-5.4 fra OpenAI. I tillegg kommer to cyberevalueringer, Cyber CTFs og The Last Ones, med et delvis overlappende modellutvalg.

Dataene hører til AISI-artikkelen «How Inference Compute Shapes Frontier LLM Evaluation», som undersøker hvordan benchmarkresultater avhenger av inferensberegning og evalueringsprotokoll. På Humanity's Last Exam fortsatte modellene å løse nye oppgaver etter hvert som tokenbruken økte, så lenge de fikk beskjed fra et orakel om svaret var riktig etter hvert forsøk.

Formatet er EvalEvals skjema Every Eval Ever (EEE), og plattformen Evaluation Cards samler benchmark-metadata, kjøringsdata og modellmetadata i én post. AISI har tidligere angrepet det samme problemet med OptStop for mer effektive evalueringer og HiBayES for strengere statistikk.

«Together, they make it easier to understand when apparently similar scores were produced under meaningfully different conditions.» — EvalEval Coalition, om Every Eval Ever og Evaluation Cards

Velger du modell ut fra leverandørenes egne benchmarktall, får du nå et referansepunkt: AISIs Terminal-Bench 2.0-resultater kan legges ved siden av andre rapporterte tall for de samme modellene, målt under andre oppsett.