IBM halverer konsistensgapet for KI-agenter med retningslinjer fra én enkelt kjøring
Mål hvor ofte agenten din lykkes i alle gjentatte kjøringer, ikke bare i snitt, for IBM Research fant et gap på over 24 prosentpoeng.
En ReAct-agent med GPT-4.1 løste 77,4 prosent av forsøkene i AppWorld-benchmarken over fem kjøringer. Men bare 53,0 prosent av oppgavene klarte den i alle fem, skriver IBM Research i en bloggpost på Hugging Face. Differansen på 24,4 prosentpoeng kaller forskerne konsistensgapet, og på vanskelige oppgaver når det 30 poeng. Agenten kjørte med temperatur 0.
Forklaringen ligger i sannsynlighetsfordelingen bak hver beslutning. Når ett token er klar favoritt, blir valget det samme hver gang. Når flere tokens ligger nesten likt, kan små effekter hos leverandøren, som flyttallsavvik på GPU og batching av forespørsler, snu utfallet. Over dusinvis av steg blir en liten sjanse per steg til en stor sjanse for at en kjøring går annerledes. Derfor hjelper verken grådig dekoding eller fast seed.
IBMs svar er en ny type retningslinjer i verktøysettet ALTK-Evolve, som fra før gjør agentens egne kjøringer om til gjenbrukbare råd. En Consistency Analyzer tar én lagret trajektorie og ber modellen om fem nye svar på hvert beslutningspunkt, uten å kjøre oppgaven på nytt og uten fasit. Steg der svarene spriker, blir til retningslinjer som legges inn ved inferens. Ett eksempel: tell avkrysningsmerker i et notat med et linjeforankret regex i stedet for å telle delstrenger.
På 168 AppWorld-oppgaver steg andelen som lyktes i alle fem kjøringer fra 53,0 til 69,0 prosent, mens snittet gikk fra 77,4 til 81,0. Gapet krympet til 12,0 poeng. Retningslinjene virket også på lignende oppgaver (+13,0 poeng). Med den svakere gpt-oss-120b var gevinsten på lignende oppgaver (+8,7) større enn på de samme oppgavene (+6,0), som tyder på at rådene fanger gjenbrukbare feilmønstre.
Hva bør du gjøre?
- Kjør evalueringssettet ditt minst tre ganger og rapporter andelen oppgaver som lykkes hver gang ved siden av snittet.
- Se ekstra nøye på de vanskeligste oppgavene, der snittet ifølge IBM er mest misvisende.
- Test Consistency Analyzer fra det åpne ALTK-Evolve-repoet på lagrede trajektorier før du bytter til en større modell.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.