Microsoft: Tom chatlogg ga KI-agenter 66 prosent høyere score på lange oppgaver

Åtte kjøringer av samme agent på samme oppgave endte på sluttscorer fra 68,3 til 100,0, ifølge en ny artikkel fra Microsoft Research publisert på arXiv 5. oktober. Gapene ble stående selv når agentene fikk betydelig mer regnekraft. Forskerne kaller fenomenet «idea basins»: hver kjøring blir værende i et lite område av løsningsrommet fordi den oppsamlede chatloggen styrer neste steg mot de samme ideene. Å komprimere historikken underveis hjalp ikke.

Metoden de foreslår, Fork-and-Flush, deler agenten i fire parallelle grener. Hver gren arver arbeidsmappen med kode, filer og lagrede resultater, men starter med tom chatkontekst. Etter et fast tidsvindu fortsetter agenten fra grenen med best score. I hovedforsøket skjer forgreningen ved 33 og 66 prosent av budsjettet. Agentene kjørte GPT-5.6-terra og GPT-5.5 gjennom GitHub Copilot CLI, på oppgaver som jobbskjedulering, kryptoanalyse, komprimering av en CIFAR-klassifiserer og Anthropics offentlige VLIW-kerneloppgave. Enkeltkjøringer varte fra noen timer til over 100 timer.

Metoden ga høyest snittscore på 12 av 13 oppgaver, og spredningen mellom kjøringer falt fra 0,26 til 0,16. Bare å tømme chatkonteksten, uten å forgrene, ga 22 prosent bedre resultat på 11 oppgaver.

Forskerne testet også om større modeller slipper problemet, med Qwen3.5 i 4B, 9B og 27B på MAX-3-SAT. Variasjonen mellom kjøringer var størst på oppgaver midt i grenseland for hva modellen klarer. Siden åpne forskningsproblemer per definisjon ligger der, mener forfatterne at kontekst-tømming fortsatt vil lønne seg når modellene blir sterkere. Grensen flytter seg bare mot vanskeligere problemer.

For deg som kjører lange agentløkker med Claude Code, Codex eller Copilot CLI er mønsteret lett å kopiere: Lagre fremdriften i filer, ikke i samtalen, og start nye sesjoner fra samme mappe når agenten har kjørt seg fast.