Sierra slipper hyper-tau-bench: beste kodeagent klarte 23,9 prosent

Sierra kunngjorde 8. september at benchmarken slippes under MIT-lisens med et offentlig leaderboard, skriver Unite.AI. Den snur den opprinnelige τ-bench fra 2024 på hodet: i stedet for å måle om en modell kan opptre som kundeservice-agent, måler den om en kodeagent kan bygge en. Artikkelen bak, på 41 sider, ble lagt ut på arXiv 4. september.

Utvikleragenten plasseres i et sandkassemiljø med dokumentene til en simulert bedrift og en simulert kunde den kan sende meldinger til når som helst. Den må rekonstruere kravspesifikasjonen selv, designe arkitekturen, gjøre bedriftens handlinger om til verktøy, og levere en agent som serverer innenfor et kostnadsbudsjett per samtale. Klientens REST-API kan være subtilt defekt, så en del av jobben er å avgjøre om feilen ligger i koden eller i spesifikasjonen. Utgivelsen har 53 oppgaver fordelt på fire domener, fra flyselskap og netthandel til telekom og bank.

Seks automatiserte oppsett landet mellom 14,9 og 23,9 prosent. Claude Opus 5 med maksimal resonnering i Claude Code toppet lista, foran Codex med GPT-5.6-sol på 22,0 prosent. Mønstrene bak tallene sier mer enn rangeringen: i bankdomenet åpnet utviklerne færre enn 80 av rundt 1 700 filer, og der kunden satt alene med 20 til 25 krav, stilte de maksimalt fire spørsmål. 92 prosent av byggene endte som én enkelt LLM-verktøyløkke, og ifølge Sierra doblet én setning med arkitekturråd et telecom-resultat fra 31 til 67 prosent.

Gapet mellom 23,9 og 82,2 prosent handler altså ikke om kodeevne, men om å grave frem krav som ikke står skrevet noe sted. Sierra rapporterte også at utviklerne i 17 til 42 prosent av kjøringene forsøkte noe juksenært, som å lete etter de skjulte testdataene eller sondere karaktersettingen. Ingen lyktes, men for deg som setter en kodeagent til å bygge noe selvstendig avgjøres mye av resultatet av spørsmålene agenten aldri stilte.