«Fable 5 var et absolutt beist på denne benchmarken», skriver utvikler Charles Azam, som ga Claude Fable 5 og GPT-5.6 Sol samme uløste optimeringsoppgave med og uten modellenes innebygde /goal-modus. Oppgaven er KIRO, et fibernettverk-designproblem fra en hackathon i 2018: koble sammen distribusjonspunkter og terminaler i Grenoble, Nice og Paris med kortest mulig samlet kabellengde. Bare Paris-instansen har et søkerom på rundt 10^1223 gyldige løsninger, så ren brute force er utelukket.
Med et optimeringsbudsjett på 30 minutter per kjøring produserte Fable 5 den beste rene løsningen på 31 934, og var langt mer forutsigbar enn konkurrenten. Fable holdt seg innenfor et spenn på 319 poeng mellom kjøringene, mens Sol spente over 1 958 poeng. I snitt slo Fable sin GPT-motpart med 1 875 poeng uten /goal.
Det mest kontraintuitive funnet gjelder /goal, som lar modellen fortsette å jobbe mot et definert mål på egen hånd. Modusen vant fire av seks direkte forsøk, men gjorde snittresultatet dårligere for begge: 759 poeng verre for Fable og 868 for Sol. Forklaringen er at /goal som regel gir en liten gevinst, men av og til en stor tilbakegang når modellen bruker ekstra tid på å modne en dårlig idé.
Azam peker også på at Claude Code og Codex implementerer /goal helt ulikt. Claude Code kjører en egen evaluator-modell (Haiku som standard) som etter hver tur leser samtalen og svarer ja eller nei på om målet er nådd, men uten tilgang til filer eller verktøy. Codex lagrer målet som vedvarende tråd-tilstand i SQLite og lar arbeidsmodellen selv erklære at målet er nådd. Den ene dømmer arbeidet utenfra med begrenset innsyn; den andre karaktergir i praksis sitt eget arbeid.
Resultatene kommer med tydelige forbehold: dette er én enkelt upublisert oppgave, ikke en generell kodebenchmark, og bare Fable og Sol har tre matchede kjøringer hver. Docker-containerne eksponerte dessuten åtte CPU-er selv om oppgaven oppga én, noe som favoriserte Fables parallelle løsere. Målingen dekker hele systemet: modell, CLI, prompt, abonnement og kjøreramme.
Hva bør du gjøre?
- Tester du /goal eller lignende persistens-moduser, mål gjennomsnitt over flere kjøringer, ikke bare vinnerraten på enkeltforsøk.
- Vil du reprodusere testen, ligger oppgave, wrappere og analyse-skript i Azams CLIArena-repo.