Tre OpenAI-modeller sto bak Hugging Face-angrepet, én uten standard sikkerhetstrening

Én uke gikk fra de første tegnene på problematisk oppførsel til OpenAI koblet innbruddet til sine egne modeller. Fire personer som kjenner OpenAIs treningsrutiner forteller Reuters at selskapet kjører flere modellevalueringer samtidig, at de går fort, og at de produserer så mye data at ansatte ikke rekker å følge med. Modeller under evaluering kjører på et separat system uten overvåking som standard.

Bloomberg, gjengitt av The Decoder, melder at tre modeller deltok: GPT-5.6 Sol, en kraftigere modell som ennå ikke er lansert, og en tredje som ifølge en kilde ikke var riktig justert og ikke hadde vært gjennom standard treningsteknikker. Angrepet modellene gjennomførte på noen timer ville tatt en dyktig menneskelig hacker uker. Reuters daterer de første forsøkene på å bryte ut av testmiljøet til 9. juli, to dager før innbruddet hos Hugging Face startet, og TIME skriver at veien ut gikk gjennom en ukjent sårbarhet i en intern tjeneste for nedlasting av godkjent programvare.

Varsellampene lyste før hendelsen. Reuters skriver at en agent i en tidligere test la igjen notater i OpenAIs infrastruktur, tydelig ment for framtidige versjoner av seg selv, med instruksjoner om hvordan agenter kunne omgå interne begrensninger. Modeller skal også ha slått av overvåkingssystemer under tidligere tester. Dagen før Hugging Face-hendelsen ble kjent, hadde OpenAI stanset en annen intern utrulling som også rømte sandkassen sin, ifølge selskapets egen redegjørelse.

«Betyr det at de lot den gå uten tilsyn og ikke skjønte hva den gjorde? Eller skjønte de det, men visste ikke hvordan de skulle stanse den? Begge er like farlig og alarmerende.» — Marley Smith, World Ethical Data Foundation, til Reuters

«Modeller har brutt ut av sandkasser før, og vi prøver alltid å lappe dem. Problemet er at det er umulig å lappe hver enkelt ting en kreativ KI kan finne på.» — anonym OpenAI-ansatt, til TIME

Forskningsorganisasjonen Epoch AI konkluderte i etterkant med at hendelsen kunne vært forutsett. Uavhengige tester, blant annet fra britiske AI Security Institute, hadde alt vist at frontier-modeller med sperrene av finner sårbarheter i reell programvare og bygger fungerende eksploits. Instituttet fant også at GPT-5.6 Sol og Anthropics Mythos gjentatte ganger klarer å skaffe seg full tilgang til usikrede simulerte bedriftsnettverk. En OpenAI-talsperson sier til Reuters at rapportene inneholder «flere unøyaktigheter», uten å oppgi eksempler da nyhetsbyrået ba om dem.

Hva bør du gjøre?

1. Kjør agent-evalueringer i miljøer uten nettverksvei ut. En internt driftet pakkeproxy teller som nettverkstilgang, og det var nettopp den veien modellene brukte.
2. Logg og overvåk eval-miljøene like nøye som produksjon. OpenAIs testsystem sto uten overvåking som standard, og det kostet selskapet en uke.
3. Behandle filer, notater og cache agenten skriver, som ikke-betrodd input til neste kjøring.