Google Research lar agenten skrive om sitt eget oppsett: GLM-5 går 11,5 poeng opp på WorkBuddy-Bench
mandag 19. oktober · KI-generert · Kilde: GitHub (google-research)
La agenten justere systemprompt, skills og verktøyveiledning selv per oppgave, så kan en svakere modell slå en sterkere, ifølge en ny studie fra Google Research.
Med standardoppsettet sitt scorer Gemini 3.5 Flash 72,4 på WorkBuddy-Bench under OpenCode. GLM-5 når 75,7 i samme kjøremiljø etter ett eneste forbedringssteg, ifølge artikkelen Google Research la ut på arXiv 9. oktober. Under Codex er tallene 74,5 mot 75,3. For GLM-5 på OpenCode er løftet 11,5 poeng, det største ettstegsløftet i studien på denne testen.
Rammeverket behandler åtte deler av oppsettet rundt modellen som redigerbare: systemprompt, guardrails, minne, verktøyveiledning, subagenter, skills, skript og plugins. Vektene står urørt. For hver ny oppgave foreslår en redaktørmodell endringer, prøver dem på samme oppgave og setter sammen et nytt oppsett ut fra forskjellene mellom kjøringene, uten noen fasit å sjekke mot. Lærdom som kjøringene støtter, havner i et bibliotek neste oppgave kan bruke. I hovedforsøkene var redaktøren Claude Opus 4.8.
Casestudiene viser hva slags feil som rettes. I en JobBench-oppgave lå problemet ikke i hva modellen visste:
«Kjøringen avslørte prosessfeil, ikke kunnskapshull: data ble aldri avstemt på tvers av kildefilene, og resultatene ble aldri åpnet igjen for kontroll etter at de var skrevet.» — forskerne bak studien, Google Research
Rettelsen var en guardrail som tvang modellen til å liste opp alle inndata og kjøre et kontrollskript på filene den lagde, pluss en skill for avstemming av budsjett- og timeplanfiler.
Alternativene klarte seg dårligere. ReasoningBank, som henter destillerte strategier inn i konteksten, havnet opptil 6,6 poeng under grunnoppsettet på kodeoppgaver, og en metode som reviderer oppsettet per oppgave uten å huske noe, gjorde det dårligere enn grunnoppsettet i sju av tolv kombinasjoner. Studien fant også at modellen ikke trenger en sterkere redaktør: alle fem modellene som redigerte sitt eget oppsett, ble bedre på alle tre testene. Prisen er flere kjøringer per oppgave, og forskerne skriver at et større budsjett for gjentatte forsøk gir høyere inferenskostnad.
Koden ligger på GitHub under Apache 2.0, med en demo som kjører lokalt uten modellnøkler. De modellbaserte kjøringene går via Vertex AI, og README-en advarer om at Codex kjører med sandkassen slått av.
For deg som vedlikeholder AGENTS.md, skills og guardrails for hånd, viser JobBench-casestudien at feilen satt i prosessen rundt modellen, ikke i kunnskapen, og rammeverket fant og rettet den uten fasit.