Shanghai AI Lab målte sitt eget modellprosjekt: agentene foreslo, menneskene valgte

96,5 prosent av oppgavene bak den nye agentmodellen Atria Dawn Preview ble gjort med KI-hjelp, skriver The Decoder om en studie forskerne har gjort av sitt eget prosjekt. Shanghai Artificial Intelligence Laboratory står bak modellen, og teamet omfatter forskere fra Fudan-universitetet. De analyserte 769 oppgavelogger fra 56 deltakere, pluss agentenes egne logger. Selve modellen er en MoE-modell på 744 milliarder parametre bygget på GLM-5.2, med åpne vekter under MIT-lisens på Hugging Face.

Over fire uker steg medianen for agenthandlinger per menneskelig innspill fra 11 til 28,5. Forskerne advarer mot å lese det som økt autonomi, for hver menneskelig beslutning utløste bare flere agentsteg. Av 455 fullførte oppgaver med KI-hjelp mente deltakerne at 151, omtrent en tredjedel, ikke kunne vært gjort uten KI i samme omfang og kvalitet.

Beslutningene ble likevel liggende hos menneskene. I 55,4 prosent av valgene om metode og parametre foreslo KI og et menneske valgte, mens KI selv tok bare 9,2 prosent av slike beslutninger. Mål og omfang bestemte mennesker i 93,4 prosent av tilfellene. Når arbeidet stoppet opp, kom 76 prosent av oppgavene videre etter menneskelig inngripen, nesten alltid i form av ny kontekst eller en diagnose. Full overtakelse skjedde i 0,7 prosent av tilfellene.

Risikoen teamet peker på, er at mennesker blir godkjennere som bare stempler det de får se, fordi agentkjeden bak hver beslutning blir for lang til å gjennomgå. Mange deltakere kjørte dessuten agentene i autonome moduser for å slippe stadige godkjenninger under lange kjøringer. Den grensen ble trukket av bekvemmelighet, ikke som et bevisst valg om hvor mye myndighet agenten skulle ha.

«Fremgang mot mer autonom KI-forskning må derfor styrke både evnen til å oppdage og evnen til meningsfullt menneskelig tilsyn» — forskerne bak Atria Dawn, i artikkelen på arXiv

For deg som lar kodeagenter kjøre i auto-modus er funnet gjenkjennelig: flaskehalsen var menneskelig vurdering, ikke utførelse, og etter tilbakemelding gjorde agenten selv revisjonen i 75,4 prosent av tilfellene.