Parsimony: Claude Opus 5 skriver en tredjedel mer kode enn Claude Fable 5 for like mange løste oppgaver

Claude Opus 5 og Claude Fable 5 fra Anthropic løser begge 74,3 % av Python-oppgavene i benchmarken DeepSWE, men Opus 5 legger til en median på 1907 netto kodeenheter per løst forsøk mot 1430 for Fable 5. Det viser Parsimony, et MIT-lisensiert måleverktøy publisert under GitHub-kontoen La5u, som teller hvor mye kode KI-modeller faktisk skriver.

Parsimony kjører ingenting selv. Verktøyet tar patchene benchmarkene allerede publiserer, parser koden før og etter, og teller kodeenheter: statements, kall, sammenligninger, navn og literaler. Linjer telles ikke, så det lønner seg ikke å stappe kode sammen, og slettet kode trekkes fra.

Hovedtavla dekker 26 modeller på 33 Python-oppgaver fra DeepSWE med fire forsøk hver, alle kjørt med samme agent, mini-SWE-agent. Målt mot DeepSWEs egne referanseløsninger skriver Fable 5 0,86× så mye kode, mens Opus 5 ligger på 1,18× og Metas Muse Spark 1.1 på 1,35×. GPT-5.6 Sol fra OpenAI løser like mange oppgaver som de to Claude-modellene og havner midt imellom på 1,03×. På Parsimonys samlede score for DeepSWE havner Fable 5 på plass 1 til 2, mens Opus 5 havner et sted mellom plass 8 og 20.

«Mindre er ikke alltid bedre: enheter måler størrelse, ikke lesbarhet eller design.» — Parsimony, metodebeskrivelsen

Forbeholdene er tydelige. 33 oppgaver er lite, og usikkerheten er så bred at bare Fable 5 ligger klart foran resten. Oppgavene er lange features, ikke små bugfikser, og hovedtavla måler bare Python. Egne tavler finnes for JavaScript, TypeScript, Go, PHP og SWE-bench Verified, men tallene kan ikke sammenlignes på tvers.

For deg som lar Claude Code eller en annen kodeagent skrive i eget repo, er løsningsraten bare halve bildet: koden blir liggende og skal vedlikeholdes. Analysatoren er ren Python 3.12 uten avhengigheter, så du kan måle dine egne agent-patcher med samme metode.