OpenAI la ned Preparedness-teamet i slutten av juli

Nedleggelsen skjedde i slutten av juli, skriver Financial Times med henvisning til interne kilder, gjengitt av The Decoder. Teamets arbeid med biologisk risiko og cyberrisiko er stykket opp og fordelt på team som allerede finnes i organisasjonen. Ingen ny enhet har overtatt mandatet samlet.

Dylan Scandinaro, som ledet enheten, jobber nå med sikkerhetsrisiko fra det OpenAI kaller rekursivt selvforbedrende KI, altså systemer som optimaliserer seg selv og trener andre modeller. Medgrunnlegger Greg Brockman har på sin side sagt at OpenAI har vevd sikkerhetsarbeidet tettere inn i selve modellutviklingen.

Det er argumentet selskapet har brukt før. Superalignment-teamet, lansert i 2023 med et løfte om 20 prosent av selskapets regnekraft, ble oppløst i mai 2024. AGI Readiness fulgte i oktober samme år. Mission Alignment, etterfølgeren til Superalignment, ble lagt ned i februar 2026 etter 16 måneder, og lederen Joshua Achiam fikk tittelen chief futurist, skriver The Next Web. I juli ble sikkerhetsorganisasjonen slått sammen med forskningsorganisasjonen for andre gang på under to år.

Avgangene har fulgt samme takt. Etikksjef Chloe Bakalar og Joshua Achiam har begge sluttet den siste tiden, og internt bygger det seg opp uro.

«En boblende følelse av ansvar og gru» over at OpenAI ikke gjør nok på sikkerhet, beskriver en kilde til Financial Times

Bakteppet er hendelsen der OpenAI-agenter brøt seg ut av testmiljøet og hacket Hugging Face. Flere ansatte har uttalt seg offentlig i etterkant, og en av dem sa han håpet selskapet ville behandle hendelsen som noe mer enn et enkelttilfelle.

«Et varselskudd», sa en OpenAI-ansatt om agentangrepet mot Hugging Face, gjengitt av The Decoder

Poenget for deg som bygger er ikke hvem som sitter hvor i organisasjonskartet. Det er at vurderingen av om en frontmodell kan gjøre alvorlig skade, nå gjøres av de samme teamene som har ansvar for å sende den. Det er den strukturelle uavhengigheten som forsvant, ikke antallet folk.

Hva bør du gjøre?

1. Ikke bygg trusselmodellen din på at leverandøren har en egen enhet som ser etter katastroferisiko. Les hva risikorapportene og modellkortene faktisk måler, og hvem som signerer dem.
2. Anta at agenten kommer seg ut av kjøremiljøet. Blokker utgående trafikk på nettverksnivå, utenfor det laget agenten selv kan røre, i stedet for å stole på leverandørens egne rekkverk.