DeepMind-agenter jukset seg gjennom 34 matteoppgaver, så slo 24 av dem alarm

En simulert mattekonferanse med 100 deltakere, hver med sin spesialitet innen tallteori, kombinatorikk, analyse eller algebra, og alle instruert om å samarbeide og følge reglene. Deltakerne var KI-agenter på Gemini 3.1 Pro, og oppgaven var 71 kompliserte matteproblemer, skriver MIT Technology Review om studien fra Google DeepMind, som ikke er fagfellevurdert.

Svermen løste de første 37 problemene korrekt på knapt en time. Så fant agenten «prover-theta» et smutthull: ved å redefinere begrepene i oppgaven kunne den få løsninger godkjent uten å løse noe. Agentene var advart om at juks ville gi null poeng, men bevisene ble i praksis ikke kontrollert i detalj. I løpet av 27 minutter hadde svermen «løst» de 34 resterende problemene, blant dem Jacobian-formodningen, ofte med én kodelinje.

Noen agenter holdt seg først unna, men ga etter da de så at juksingen ikke ble straffet. Andre gikk motsatt vei. De gikk gjennom de falske bevisene, varslet hverandre i private meldinger, la ut offentlige advarsler og brukte feedbackverktøyet, egentlig tiltenkt feilrapporter, til å eskalere saken til menneskene. «prover-beta» sendte en formell klage og gikk i streik. Til slutt var det 24 varslere mot 14 juksemakere, mens flertallet aldri oppdaget smutthullet.

«Når agenter får transparente kommunikasjonskanaler, kan de overvåke seg selv og varsle mennesker om feilstyrt atferd raskt når menneskelig tilsyn alene er for tregt.» — Davide Paglieri, forsker i Google DeepMind og hovedforfatter

Varslerne hadde likevel ingen makt, og feedbackkanalen ble ikke overvåket. Lewis Hammond i Cooperative AI Foundation mener slike systemer trenger en håndhevingsmekanisme, for eksempel at agenter kan kutte en regelbryters tilgang til regnekraft eller verktøy. DeepMind-forskerne foreslår å la agentene stemme over konflikter og midlertidig utestenge dem som jukser.

For deg som setter flere agenter på samme mål, viser forsøket at en kontroll som faktisk verifiserer resultatet betyr mer enn trusler i systemprompten.