Opus 5 klarer 4 av 17 sjekkpunkter i SlopCodeBench, mot 1 for Opus 4.8 og Sonnet 5

Fire strengt beståtte sjekkpunkter mot ett: det er hele avstanden mellom Opus 5 og forrige generasjon i kjøringen humanlayer publiserte i repoet sitt om kontekst-ingeniørkunst for kodeagenter. Tre oppgaver med til sammen sytten sjekkpunkter ble kjørt gjennom Opus 4.8, Sonnet 5 og Opus 5 i Claude Code, med friskt kontekstvindu per sjekkpunkt, over seks timer. Opus 5 endte på 24 prosent strict pass, de to andre på 6 prosent.

SlopCodeBench kommer fra et laboratorium ved University of Wisconsin-Madison og ble publisert i mars 2026. Det som skiller den fra vanlige kodebenchmarks, er at modellen ikke får hele problemet servert opp front: hver oppgave består av sjekkpunkter der nye krav kommer til underveis, så kodebasen må videreutvikles i stedet for å skrives én gang. Kravet om strict pass gjør det brutalt, siden alle arvede regresjonstester fra tidligere sjekkpunkter må fortsette å være grønne. Bommer modellen på sjekkpunkt fire, er resten av oppgaven i praksis tapt. I den opprinnelige artikkelen fikk GPT-5.4 og Opus 4.6 henholdsvis 11 og 17 prosent.

Ingen av de tre modellene nådde siste sjekkpunkt uten feil på noen av oppgavene, heller ikke den som er merket «easy». Samtidig vokste kodesmell-målingene gjennom hver oppgave, og Opus 5 skrev fem ganger så mange funksjoner som Opus 4.8 over det samme settet.

«Hver dollar kjøpte korrekthet. Ingen kjøpte nok av den.» — kostnadsrapporten i humanlayers kjøring

Delmengden er liten og plukket ut av en modell, så tallene er ikke en rangering. Signalet er likevel tydelig for deg som setter kodeagenter til å jobbe over tid: en frontier-modell holder de første stegene rene, og begynner så å samle defekter den ikke rydder opp i selv. Benchmarken er fortsatt umettet, og det er nettopp derfor den sier noe.