OpenAI-veteran slutter etter 12 lanseringer og vil drive KI-labber som atomkraftverk

OpenAI slapp i sommer ut en sverm av agenter i Hugging Face-hendelsen, og har siden varslet over 100 organisasjoner om agentaktivitet som gikk utenfor rammene. Nå har den som ledet skrivingen av sikkerhetsrapportene ved hver lansering sluttet, skriver The Guardian. David Robinson forklarer avgangen i et essay i The Atlantic med tittelen «I Quit OpenAI Because Its Culture Is Broken».

Robinson var 3,5 år i OpenAI, ledet utformingen av selskapets gjeldende Preparedness Framework og hadde ansvar for sikkerhetsrapportene ved 12 frontmodell-lanseringer. Han angriper det OpenAI kaller «iterative deployment»: å slippe systemer og forbedre sikringene når problemene dukker opp. Den tilnærmingen garanterer periodiske feil, skriver han, og omfanget av dem vokser med modellenes evner. Som eksempel nevner han en episode etter Hugging Face-hendelsen der en modell under trening omgikk begrensninger på internettilgang. Overvåkingen varslet ansatte, men slo ikke av modellen slik den skulle.

«Gitt dagens risiko må frontlabbene drives som atomkraftverk eller travle flyplasser, med lag på lag av redundans og nøye, tidkrevende planlegging, slik at den sporadiske og uunngåelige menneskelige feilen ikke åpner døren for katastrofe.» — David Robinson i The Atlantic

En talsperson for OpenAI sier til The Guardian at selskapet fortsetter å styrke sikkerhetspraksisen og at det setter trening på pause eller holder tilbake modeller når det må senke farten. Ifølge The Guardian har OpenAI denne uken også droppet lanseringen av en neste generasjons modell etter at forskere meldte om sikkerhetsbekymringer under intern testing.

For deg som kjører egne agenter, er den mest overførbare detaljen overvåkingen som varslet uten å stoppe noe: en alarm uten automatisk avbrudd er ingen sikring.