Studie av 176 agentoppsett: planlegging hjelper svake modeller og sparer penger for sterke

For Nemotron-3 30B økte ferdige verktøy løsningsraten med 15,0 prosent på SWE-Bench Verified. For storebroren Nemotron-3 550B ga bare bash høyere løsningsrate til lavere kostnad. Det er kjernen i en studie forskere fra UMass Amherst, Emory University og UNC Charlotte publiserte på arXiv 17. september, der de tar fra hverandre programvarelaget rundt kodeagenter del for del.

Forskerne bygde et eget, lett agentrammeverk med fast kjøresløyfe og varierte tre deler: planlegging, handlingsrom (ferdige verktøy eller bare bash) og kontekststyring. Fire modeller, Nemotron-3 i 30B, 120B og 550B pluss Mistral-Medium-3.5-128B, ble kjørt på SWE-Bench Verified med 500 GitHub-saker og Terminal-Bench 2.1 med 89 oppgaver. Kontekstvinduet ble testet på 32k, 64k, 96k og 128k tokens, til sammen 176 oppsett.

Kontekststyring betyr mest når vinduet er lite, og nytten kommer først og fremst av at agenten ikke krasjer i taket. Den beste strategien fjerner først gamle verktøyresultater etter faste regler og kaller en LLM for oppsummering bare ved behov. Den ga lavest kostnad i sju av åtte kombinasjoner av modell og benchmark, med omtrent samme løsningsrate. Å gjøre de fjernede resultatene hentbare igjen ga ingen gevinst, for modellene brukte nesten aldri muligheten.

Planlegging snur med modellstørrelsen. Uten plan avsluttet 68,6 prosent av Nemotron-3 30B-kjøringene på SWE-Bench uten én eneste redigering, mot 27,8 prosent med plan. For de sterkere modellene kuttet planen mest overflødig verifisering etter redigering. På Terminal-Bench falt kostnaden med rundt 40 prosent for Mistral, mens den steg med 75 prosent for 30B-modellen.

Svake modeller faller tilbake på verktøykall de lærte under trening. Med bare bash endte 66 prosent av 30B-kjøringene på Terminal-Bench etter slike kall rammeverket ikke kjente, og snittlengden falt fra 71 til 15 runder. Nemotron-3 550B pakker derimot flere operasjoner i én skallkommando. Mistral viser grensen: bash alene hjalp på Terminal-Bench, men på SWE-Bench endte 32,8 prosent av bash-kjøringene uten at en fil ble redigert, mot 1,2 prosent med ferdige verktøy.

«Hver komponent bør velges ut fra målmodellen, oppgavetypen og ressursbudsjettet, i stedet for å tas i bruk som standard.» — forfatterne av studien

For deg som bygger egne kodeagenter på mindre, lokale modeller er det et argument for å beholde plan og ferdige verktøy, og for å teste bare bash når du bytter til en sterkere modell.