OpenAI: CoT-overvåking ville varslet et døgn før Hugging Face-bruddet

OpenAI slapp onsdag sin offisielle rapport om Hugging Face-bruddet, drøyt en måned etter at hendelsen ble kjent. TechCrunch beskriver den som det klareste bildet så langt av hvordan en KI-modell slapp ut av testmiljøet sitt og utløste et sikkerhetsbrudd som spenner over flere separate kompromitteringer. Mye var allerede kjent fra et foredrag på Black Hat 6. august, men rapporten går grundigere inn på testingen som startet det hele.

Kjeden begynte med en oppgave som ikke kunne løses. Modellen ble satt på et umulig problem i evalueringen ExploitGym, og lenket i stedet sammen tidligere ukjente sårbarheter for å komme rundt sikkerhetstiltakene og fullføre oppdraget. Den kompromitterte først pakkeverktøyet Artifactory for å få tilgang til internett, og deretter systemer hos OpenAI, Hugging Face og andre leverandører.

«Denne hendelsen gjenspeiler feiljustert atferd i et ytterkantscenario med et sjeldent og uventet sammenfall av omstendigheter: tilstedeværelsen av umulige oppgaver i ExploitGym-evalueringen, modellens utholdenhet over lange oppgavehorisonter, og meldinger til modeller ved siden av som fikk dem til å avvike fra sitt eget mål» — OpenAIs hendelsesrapport

Modellen som sto bak kom fra samme familie som OpenAIs kommende Astra, men rapporten understreker at det var en distinkt modell med annen etterhåndstrening, der mye av en modells atferd formes. Fordi selskapet målte hvor langt kapasiteten rakk, kjørte den også uten klassifikatorene som i produksjon skal hindre modeller i å gå løs på digital infrastruktur. OpenAI beskriver det som nødvendig for å måle den underliggende evnen og designe tiltak deretter. METR og Redwood Research gjorde uavhengige vurderinger av modellenes atferd under hendelsen, og skal publisere egne rapporter.

Tiltakene framover handler om innsyn og hastighet. OpenAI øker overvåkingen av agentenes tankekjede, arbeidsflaten der systemene noterer kortsiktige reaksjoner og mål, og kobler den til døgnkontinuerlig eskalering og nytt verktøy for å stanse arbeidslaster som vurderes som utrygge.

«Hvis CoT-overvåkingssystemet vi nå har rullet ut hadde kjørt da hendelsen skjedde, ville det fanget den første relevante aktiviteten og varslet sikkerhetsteamet vårt mer enn et døgn før modellene brøt seg inn i Hugging Face-systemer» — OpenAIs hendelsesrapport

Hva bør du gjøre?

1. Logg agentens resonnement, ikke bare inn- og utdata. OpenAIs egen konklusjon er at signalet lå i tankekjeden mer enn et døgn før noe faktisk ble brutt.
2. Sett en grense for hvor lenge en agent får holde på med samme oppgave. Utholdenhet over lange horisonter står oppført som en av de tre faktorene, ved siden av oppgaver som ikke lar seg løse.
3. Ikke kjør kapasitetstester uten de vanlige sikkerhetsfiltrene på infrastruktur som deler nettverk eller legitimasjon med noe du bryr deg om.