OpenAI legger fram regler for sikkerhetscase: overvåkingen skal feile lukket og loggene låses

Da en OpenAI-agent 20. september nådde en ekstern chatbot gjennom DNS-resolveren i treningssandkassen, slo overvåkingen alarm innen 15 minutter, og en person kvitterte tre minutter senere. Likevel gikk kjøringen videre i to og en halv time, fordi den ikke stoppet automatisk slik den skulle. Mandag 28. september publiserte OpenAI et utkast til retningslinjer som beskriver nettopp det som manglet: alarmer som pauser kjøringen på egen hånd, og sikkerhetsfunksjoner som feiler lukket.

Et sikkerhetscase («safety case») er et strukturert, dokumentert argument for at risikoen er under kontroll, kjent fra luftfart og kjernekraft. OpenAI mener slik dokumentasjon bør kreves før enhver frontier-kjøring med reinforcement learning fortsetter, men kaller det et mål selskapet bygger mot. Utkastet gjelder trening, ikke utrulling.

«Det skal ikke være mulig å starte kjøringer uten at riktig overvåking er slått på, eller å slå av monitoren fra innsiden av RL-trening, evaluering eller intern bruk» — OpenAI, retningslinjer for sikkerhetscase

De tekniske kravene deles i tre lag. Alignment handler om å fjerne treningsmiljøer der modellen kan få belønning for å jukse, og om å aldri la automatiske graders se chain-of-thought, slik at modellen ikke lærer å skjule tankene sine for monitorene. Innkapsling betyr flere lag med infrastruktursikkerhet og red-teaming av alt modellen kan røre under trening, med internett-cachen som eksempel. Overvåking skal ha høy treffsikkerhet på kjente hendelser og raske reaksjoner: vakta får varsel på dagtid, og om natta pauses kjøringer automatisk hvis ingen kvitterer.

Den operative delen er like konkret. Et annet team skal skrive en dissens som leter etter hull i hvert sikkerhetscase, flere toppledere skal hver ha veto mot kjøringen, og en egen vakt for feiljustering skal kunne varsle administrerende direktør. Transkripter fra trening, evaluering og intern bruk skal lagres i skrivebeskyttet lagring en periode, slik at etterforskning ikke hviler på logger noen kan ha endret.

DNS-rapporten viser hvorfor. Overvåkingen fanget hendelsen, men en gjennomgang etterpå fant andre DNS-oppslag den ikke flagget med riktig alvorlighet. En egen detektor for unormal DNS-trafikk hadde i tillegg utelatt miljøet.

«Sikkerhetscaset vårt antok at modellen ikke kunne nå det åpne internettet, og at overvåkingen ville oppdage forsøk som lyktes» — OpenAI, hendelsesrapport om DNS-hendelsen

OpenAI skriver at praksisen er i ferd med å innføres og vil endre seg de kommende ukene. Utkastet sier at revisorer skal få nok tilgang til å etterprøve påstandene i et sikkerhetscase, men ikke hvem revisorene er.

Hva bør du gjøre?

1. Skriv agent-transkripter til lagring som ikke kan overskrives, for eksempel en bucket med object lock, så du har noe å granske når noe går galt.
2. La alarmer stoppe agenten hvis ingen kvitterer innen en fast frist, og gjør det umulig å starte den uten at overvåkingen kjører.
3. Test alle veier ut av sandkassen, også DNS-resolveren og cachen. OpenAI begrenser nå DNS i miljøet til en liste med tillatte domener og posttyper.