Agent-ferdigheter virker gjennom prosedyre, ikke fakta: 65,7 mot 4,5 prosent

En ferdighet ser ut som et kunnskapsdokument, men virker som en oppskrift. Det er hovedfunnet i «Demystifying Agent Skills: Why They Work-Until They Don't», lagt ut på arXiv 14. august av Zhiyuan Jiang, Mengdi Wang, Yijiang Li og seks medforfattere. De normaliserte 8 135 forsøksrekker fra kontrollerte eksperimenter på tvers av flere benchmarker, agentoppsett og språkmodeller, og satte kjøringer med og uten ferdighet opp mot hverandre.

Prosedyreforankring, altså at ferdigheten gir agenten et fast handlingsmønster, forklarer 65,7 prosent av tilfellene der ferdigheten hjalp. Eksplisitt kunnskapsinjeksjon forklarer 4,5 prosent. Ferdigheter stabiliserer hva agenten gjør, ikke hva den vet.

«skills work when noisy trajectories become procedural anchors that stabilize execution» — fra sammendraget til artikkelen

Den andre halvdelen av funnet er mindre hyggelig. Gjenfinning er en egen flaskehals: når biblioteket vokser fra 5 til 100 ferdigheter, faller den faktiske treffpresisjonen fra 29,6 til 3,3 prosent. Ferdigheter som er lette å forveksle svekker identifiseringen når den måles isolert. Suksessraten nedstrøms holder seg likevel stabil, og forfatterne konkluderer med at det å kalle nøyaktig riktig ferdighet verken er tilstrekkelig eller nødvendig. Mot Workflow Memory gir ferdigheter 6,06 poeng i parvise sammenligninger.

Forfatterne sorterer observasjonene i tre hovedkategorier og tolv bruksmønstre, og peker på tre måter ferdigheter feiler på: skjøre antakelser, kontekst som ikke passer, og for lite tilpasning underveis.

For deg som bygger agenter ligger gevinsten i å skrive ferdigheter som fester rekkefølgen på arbeidet, og et voksende ferdighetsbibliotek blir et gjenfinningsproblem lenge før det blir et innholdsproblem.