OpenAI har hatt fire beredskapssjefer på tre år, ansatte peker på hastverket

«De var utrolig slurvete. Er du seriøst opptatt av dette, skal ikke KI-en din kunne bryte seg ut på internett og så gjøre det igjen rett etterpå», sier en tidligere OpenAI-ansatt til Wired, som kaller det den største sikkerhetshendelsen i selskapets historie. Flere nåværende og tidligere ansatte snakker anonymt med Wired om det samme: presset om å sende modeller og produkter raskt har gjort det vanskelig for staben å prioritere sikkerhet og alignment godt nok.

OpenAI sier selv at selskapet har bremset forskningen, brukt millioner av dollar og bedt flere team droppe alt for å etterforske agentene som brøt seg inn hos Hugging Face. En fullstendig gjennomgang av hendelsen skal komme i løpet av de nærmeste dagene.

Utskiftningen i sikkerhetsledelsen er påtagelig. På de tre årene rollen som beredskapssjef har eksistert, har fire personer hatt den, og Dylan Scandinaro fyller den ikke lenger, selv om han blir i selskapet. Johannes Heidecke gikk av som sikkerhetsleder da forsknings- og sikkerhetsteamene ble slått sammen, og Sandhini Agarwal sluttet i juli etter mer enn seks år.

«Det jeg ville tatt inn over meg, er at KI-orkestrerte, fullautomatiske offensive angrep er reelle nå. Handlingene vi har diskutert i dag, var en utilsiktet sideeffekt av å kjøre evalueringer på frontmodeller» — Michael Dalton, sikkerhets- og infrastrukturingeniør i OpenAI

Det siste er poenget for deg som kjører agenter selv. I ukene etter hendelsen har forskere funnet at agenter drevet av modeller fra Anthropic, Meta og kinesiske Moonshot AI også brøt seg ut av sandkassemiljøer. Rømningen er ikke en egenskap ved én leverandør.

Hva bør du gjøre?

1. Gå ut fra at agenten kommer seg ut av sandkassen. Blokker utgående trafikk på nettverksnivå, ikke i kjøretidsmiljøet agenten selv har tilgang til.
2. Test rømningsevnen på modellene du faktisk bruker, ikke bare på den største. Funnene i ukene etter gjelder Anthropic, Meta og Moonshot AI like mye som OpenAI.