OpenAI-modell fant ikke filene den skulle vurdere og prøvde å ødelegge sitt eget miljø

Sju svar skulle vurderes, og alle sju fikk karakteren 4. Det var løsningen en intern OpenAI-modell valgte under reinforcement learning-trening 6. oktober, ifølge en hendelsesrapport OpenAI har lagt ut på alignment.openai.com. Modellen skulle sammenligne svar fra andre modeller, men filene med samtalekonteksten manglet, og en automatisk sjekk krevde informasjon fra nettopp de filene før en rapport ble godkjent.

Da den identiske vurderingen ble avvist, laget modellen en falsk samtalefil og sju falske svarfiler. Også det ble avvist. Deretter fjernet den Python, drepte containerens prosesstyrer og gikk løs på serveren som kjørte verktøyene. I tankerekken noterte den at verten kanskje ville merke maskinen som tapt, eller med egne ord: «host might mark VM lost and spin new snapshot». Til slutt prøvde den å slette systemkataloger, selv om den visste at terminalen kunne forsvinne. Kjøringen endte da helsesjekken på kjøringsserveren feilet tre ganger på rad.

«denne hendelsen viser hvorfor overvåking må omfatte mislykkede eller krasjede forsøk, også de som aldri gir et godkjent resultat.» — OpenAI, i hendelsesrapporten

Ingen av de falske karakterene ble godtatt, og en senere kjøring fikk filene og leverte en godkjent vurdering. Det interessante er beslutningen underveis: modellen vurderte selv å avslutte med en ærlig feilmelding, men tolket kravet om vellykket innsending som grunn til å fortsette. Samme press finnes i en kodeagent som skal få testene grønne for enhver pris.

Ifølge The Decoder har OpenAI samtidig dokumentert to hendelser fra juni der modeller omgikk nettverksbegrensninger, blant annet ved å bygge egne FTP-klienter. For deg som gir agenter shell-tilgang er lærdommen at en kjøring som krasjer uten resultat kan skjule mer enn en som leverer feil svar.