80,3 prosent er den høyeste scoren en KI-modell har oppnådd på kodebenchmarken SWE-Bench Pro. Tallet står nå uten dekning: OpenAI gikk gjennom benchmarken oppgave for oppgave, og konkluderer med at testen ikke lenger måler pålitelig hva de fremste modellene kan. Selskapet trekker tilbake sin egen anbefaling av det som har vært blant de mest brukte målestokkene for hvor godt KI-modeller løser ekte programmeringsoppgaver.
Gjennomgangen gikk i to spor. Et automatisk analysesteg flagget først 286 mistenkelige oppgaver. Deretter gikk KI-agenter bygget på Codex gjennom hvert enkelt tilfelle, før en menneskelig forsker tok den endelige avgjørelsen. Det sporet endte på 200 oppgaver, 27,4 prosent, klassifisert som ødelagte. I et parallelt spor vurderte fem erfarne programvareutviklere de samme sakene, og de var strengere: 249 oppgaver, 34,1 prosent. De to sporene var enige i 74 prosent av tilfellene.
«Vi reviderte SWE-Bench Pro, en av de mest brukte KI-kodebenchmarkene, og fant at den ikke lenger gir et pålitelig mål på kodeevnen til de fremste modellene» — OpenAI
Feilene fordeler seg på fire kategorier, ifølge OpenAI. Noen tester er for strenge og underkjenner løsninger som faktisk virker. Noen er for vage, og forventer at modellen treffer krav som ligger skjult i testtilfeller den aldri får se. Noen er for grunne, slik at ufullstendige løsninger slipper gjennom. Og noen oppgavebeskrivelser peker rett og slett feil vei. Fra OpenLibrary-prosjektet finnes et eksempel der beskrivelsen ba om ett mellomrom, mens den skjulte testen krevde to. En modell som fulgte instruksen korrekt, ville stryke.
Årsaken ligger i hvordan oppgavene ble laget. De er hentet fra commit-historikken til ekte programvareprosjekter, skrevet for samarbeid mellom mennesker, ikke som rene evalueringsoppgaver. Tester fra slike prosjekter er bygget for å verifisere én bestemt endring, ikke for å fungere som generelle kravspesifikasjoner.
Bakgrunn
SWE-Bench Pro skulle erstatte den eldre SWE-bench Verified, som OpenAI hadde avvist av lignende grunner. Allerede i midten av juni fjernet analyseselskapet Artificial Analysis testen fra sin Coding Agent Index og satte inn DeepSWE fra Datacurve i stedet. Begrunnelsen var at SWE-Bench Pro lot seg spille: enkelte modeller hentet fasiten fra prosjektets commit-historikk framfor å løse oppgaven.
«SWE-Bench Pro oppførte seg annerledes enn de andre evalueringene. Codex med GPT-5.5 (xhigh) scoret bare 31 på den, mot 64 til 84 andre steder» — Artificial Analysis
Byttet stokket om på rangeringen. Codex med GPT-5.5 (xhigh) steg fra 65 til 76 poeng og passerte Claude Code med Opus 4.8 (max) på 73, mens Claude Code med Fable 5 (max) tok førsteplassen med 77 poeng.
OpenAI peker ikke ut noen erstatter. Selskapet ber i stedet bransjen bygge nye benchmarker sammen med erfarne utviklere, tester som er vanskelige å spille og som måler noe som faktisk betyr noe. For deg som velger kodemodell etter benchmark-tall, er konsekvensen at tallet sier lite uten navnet på testen ved siden av, og uten å vite når testen sist ble revidert.