Hvorfor blir en KI-agent dårligere jo mer du fyller det store kontekstvinduet? Dex Horthy, medgründer i HumanLayer og mannen bak begrepet «context engineering», forklarer det med attention-mekanismens kvadratiske kostnad: for en modell med én million tokens presser han til rundt 300 000 til 400 000 før kvaliteten faller, og for mindre modeller stopper han allerede ved 100 000. En feil som slipper inn tidlig behandles dessuten som fakta resten av økten.
Horthy bygger på rundt 100 intervjuer med KI-ingeniører til boken «12-Factor Agents». Fire ting avgjør hvordan en agent presterer, ifølge ham:
- Hvor mye av kontekstvinduet som allerede er brukt.
- Kvaliteten på informasjonen, siden en tidlig feil følger med resten av økten.
- Hva som mangler, for da gjetter modellen og kompenserer dårlig.
- «Banen» modellen er på, siden den autoregressivt gjentar mønstre, også dårlige.
Løsningen hans er «intentional compaction»: komprimer en lang, støyete økt til et kort Markdown-dokument, og start en frisk økt som peker til det. Én økt leser kode og skriver et research-dokument, den neste lager en plan, og mennesket godkjenner arkitekturen der modellene er svakest. Når modellen begynner å si «du har helt rett» etter hver korreksjon, er økten forgiftet, og da starter han heller på nytt enn å styre den tilbake.
Horthy advarer også mot å velge billig modell for tidlig: bruk den smarteste til du faktisk har et skala- eller kostnadsproblem, så kan rimeligere modeller ta de enkle stegene. For norske utviklere som bygger agenter er det praktiske poenget at «større vindu er bedre» er en felle, og at disiplin på kontekst ofte betyr mer enn å bytte modell.