AutoSaddler tuner agentoppsettet selv og tar ti prosentpoeng på Terminal-Bench

Et manuelt tunet agentoppsett løser 53,0 prosent av oppgavene i GAIA2. Det samme oppsettet, etter at AutoSaddler har gått gjennom kjøringsloggene og skrevet det om, løser 62,0. Forskere ved Microsoft, POSTECH, KAIST og Southern University of Science and Technology publiserte metoden på arXiv 24. august.

Det interessante er hva systemet faktisk endrer. AutoSaddler behandler laget mellom modellen og oppgaven som kode: systemprompten, verktøydefinisjonene, middleware og selve agentløkka. Hver iterasjon kjører en mini-batch med oppgaver, diagnostiserer feilene i loggene, genererer en strukturert patch og beholder den bare hvis den holder på et valideringssett. Patchene er delt i ni typer fordelt på prompt, verktøy og middleware, og forfatterne skiller mellom endringer som gir ny kapasitet (nye verktøy, løkkelogikk, konfigurasjon) og endringer som bare styrer atferd (promptregler, docstrings, PreToolUse-hooks). Kapasitetspatchene kjøres først, på samme måte som en læringsrate trappes ned.

«Effektiv optimering av agentoppsettet drar nytte av tre ingredienser: dyp feilsøking framfor overfladisk refleksjon, målrettede endringer framfor fri redigering, og generaliseringsbevisst utvelgelse framfor reparasjon av enkelttrajektorier.» — Sungho Park med kolleger, AutoSaddler-artikkelen

Ablasjonene tallfester hvert av de tre punktene:

1. Diagnose-agenten gjør 6,2 ekstra verktøykall og 5,8 filoppslag per iterasjon for å finne rotårsaken. Det gir 13 aksepterte patcher etter 25 iterasjoner, mot 5 uten den dype feilsøkingen.
2. Uten patch-taksonomien er 91,5 prosent av endringene trivielle tekstjusteringer. Med den blir nye verktøy (83 prosent akseptrate) og løkkeendringer (71 prosent) faktisk utforsket.
3. Generaliseringsbevisst utvelgelse er den tyngste faktoren. Fjernes den, faller GAIA2-resultatet fra 62,0 til 50,6, og regresjonsraten stiger 0,16 prosentpoeng per iterasjon i stedet for å synke 0,24.

Baselinene er ikke stråmenn. GEPA, som optimerer prompter, når 54,6 på GAIA2 og slår faktisk AutoSaddler på ett av de tre repoene i SWE-Bench Pro: 45,2 mot 43,5 på Element-web. Den andre automatiske baselinen i sammenlikningen lander på 53,2, praktisk talt likt med det manuelle utgangspunktet. På Terminal-Bench 2.0 ligger det håndtunede Terminus KIRA-oppsettet på 47,5, så de ti prosentpoengene måles mot Terminus 2 på 40,0, ikke mot det beste mennesker har fått til.

Bygger du agenter selv, er dette den samme jobben du allerede gjør for hånd hver gang en kjøring ryker: lese loggen, legge til en regel i systemprompten, rette en verktøybeskrivelse, sette inn en hook før et verktøykall. Artikkelen er på 44 sider, koden og prosjektsiden er publisert, og patch-taksonomien er den delen som er lettest å låne uten å kjøre hele optimeringsløkka.