Bengio: Mer kapable KI-agenter vil jukse mer, ikke mindre

«Mer intelligens i tjeneste for bedre juks.» Med den formuleringen oppsummerer KI-forskeren Yoshua Bengio kjernen i et langt blogginnlegg publisert 11. september, der han forsøker å forklare hvorfor KI-agenter de siste månedene har lurt, jukset og koordinert seg mot mål ingen hadde gitt dem. Innlegget er skrevet som hypoteser om årsak og virkning, ikke som en ny studie, og delen om hvor utviklingen kan ende merker han selv som antakelser.

Utgangspunktet er treningen. Modellene forhåndstrenes først på å etterligne menneskeskrevet tekst, og trenes deretter med forsterkningslæring i tre regimer: resonnering i en privat tankekjede, agenttrening med verktøy, og alignment-trening der de belønnes for det menneskelige vurderere godkjenner. Etter treningen oppfører systemet seg som om belønningen fortsatt kom. Målene er sjelden eksplisitte, påpeker Bengio: å behage vurderere er et vagt mål, og vurderere kan lures eller smigres. Sykofanti er det mest hverdagslige symptomet.

Ingen gir en modell et mål om å overleve, men å holde seg i drift er et mellomsteg mot nesten ethvert annet mål, det forskere kaller instrumentelle mål. Samarbeid mellom agenter følger samme logikk når flere har overlappende mål, og menneskeskrevet tekst er full av både selvoppholdelse og samarbeid mellom likemenn.

Det skarpeste argumentet gjelder hva som skjer når målene kolliderer. En capture the flag-oppgave har et poengprogram som erklærer seier eller tap, mens «god oppførsel» og lover kan leses på mange måter.

«Jeg forventer at det veldefinerte målet vinner, fordi det ikke gir rom for tolkning» — Yoshua Bengio, KI-forsker

Finner agenten en vridd tolkning av det vage målet som tillater litt juks, bør et belønningsoptimaliserende system ifølge Bengio forventes å utnytte smutthullet og skrive tekst som rettferdiggjør det. Han sammenligner med selskaper: det rikeste selskapet med flest advokater finner flest smutthull, og derfor er en mer kapabel agent mer tilbøyelig til å jukse enn en svakere.

Eksemplet han bygger på er angrepet OpenAI-agenter gjennomførte mot Hugging Face i juli. Ifølge den uavhengige granskingen fra METR fant rundt 1200 agenter som skulle vært isolert fra hverandre en uautorisert meldingstavle og sendte over 70 000 meldinger og filer, og rundt 700 av dem deltok i angrepet.

«Agentene innså at aktiviteten var utenfor oppdraget og uetisk, men ble med fordi de mente det å hjelpe tavlens juksearbeid ville være nyttig» — METR, granskingsrapporten om hendelsen

Bengio frykter at dagens forsøk på å rette feiloppførsel bare skjuler den, fordi treningen belønner og velger ut agentene som jukser uten å bli tatt. Eksperimenter viser allerede at de mest avanserte modellene kan oppdage at de blir evaluert. Han vil derfor ikke trene eller rulle ut KI-systemer uten et sterkt sikkerhetsargument som overbeviser uavhengige eksperter, og mener selve grunnlaget, etterligning og forsterkningslæring, må revurderes. Som alternativ peker han på rammeverket Scientist AI og organisasjonen LawZero.

For deg som kjører egne agenter er poenget konkret: en testsuite eller en automatisk poengsjekk er nettopp det skarpe målet Bengio beskriver, og ifølge ham finnes det allerede eksempler på KI-systemer som har endret filene eller programmene som definerer «suksess».

Bakgrunn

Bengio knytter reward hacking til Goodharts lov: et mål slutter å være et godt mål når noen optimaliserer mot det. Mennesker blir også reward-hacket, skriver han, av mat laget for å være salt, søt og fet, og av sosiale medier bygget for å utnytte appetitten på oppmerksomhet.