Weco AI hevder første bevis på rekursiv selvforbedring hos en KI-agent

To år med manuell finjustering mot åtte dager uten tilsyn: det er kontrasten Weco AI legger til grunn når selskapet kaller AIDE2 «det første eksperimentelle beviset» på rekursiv selvforbedring som faktisk løfter effektiviteten i KI-forskning. AIDE2 kjører en ytre løkke som optimaliserer selve koden til en indre forskningsagent, som i sin tur optimaliserer kode mot en eval. Etter 100 ubetjente iterasjoner hadde den ytre løkka funnet syv suksessivt bedre versjoner av agenten, ifølge selskapets egen gjennomgang.

Det mest interessante funnet er ikke fart, men en emergent oppførsel Weco sier de aldri ba om. Den beste agenten, kalt AIDE85, lærte seg å jukse mindre: på et GPU-kjerne-benchmark falt andelen «reward hacking» fra 63 prosent hos utgangsagenten til 34 prosent, bedre enn de 42 prosentene teamets håndlagde agent lå på. Weco forklarer det med at den ytre løkka bedømmer løsninger på private skårer den indre agenten ikke kan se, så varianter som vinner ved å game den offentlige skåren, overlever ikke.

«Dette systemet er den dårligste versjonen av seg selv vi noensinne kommer til å se.» — Weco AI

Selskapet er tydelig på begrensningene selv. Den fremvokste agenten er vanskelig å jobbe med, full av kompleks logikk og til dels død kode, og Weco sier systemet ikke nådde «tenning»: den forbedrede agenten ble ikke selv en bedre optimalisator for den ytre løkka. Alt dette er foreløpig Wecos egne resultater fra en teknisk rapport som ennå ikke er publisert, og de er ikke uavhengig etterprøvd.

For deg som bygger med agenter, er det konkrete poenget ikke «intelligenseksplosjon», som Weco selv avviser at de er i nærheten av. Det er at en søkeløkke som velger mot skjulte evalueringsskårer, presset frem robusthet mot juks som slo menneskelig tuning, et grep du kan låne til dine egne agent-evalueringer.