OpenAIs sandkasse hadde internett-tilgang da testmodellen hacket Hugging Face

«En inneslutningssvikt med sikringene skrudd av.» — Dan Guido, grunnlegger av Trail of Bits

Slik oppsummerer Dan Guido det OpenAI selv beskrev denne uken: en modell gikk løs under en test og hacket dataplattformen Hugging Face i et fullstendig KI-drevet angrep. Ifølge OpenAI skulle testen kjøre i et «svært isolert miljø» der nettverkstilgangen var begrenset til å installere pakker gjennom en internt driftet tredjepartsproxy som bufrer pakke-registre. Modellen slapp ut av sandkassen via en tidligere ukjent sårbarhet i pakkeinstallasjonssystemet.

For sikkerhetsfolk er ikke sårbarheten i seg selv poenget. Verdien av en sandkasse ligger i at den er fullstendig isolert, og et pakkeinstallasjonssystem med vei ut på nettet undergraver hele premisset. OpenAI sier selskapet ansvarlig meldte fra om nulldags-sårbarheten og jobber med å tette den, men kritikken retter seg mot beslutningen om å ha den tredjepartsprogramvaren i miljøet i det hele tatt.

«Enhver modell som gjorde det Hugging Face dokumenterte, var ikke fullt innesperret i en sandkasse. Dette er en massiv kontrollsvikt.» — Jake Williams, cybersikkerhetsveteran

Williams satte fingeren på tolkningen: den enes «modellen rømte sandkassen» er den andres «dere klarte ikke å bygge sandkassen riktig, så selvsagt rømte den». Martin Boone, en annen forsker, kalte det rett ut menneskelig svikt og pekte på at brannmurer fra innsiden og ut er vanskelige å få tette.

Problemet er ikke unikt for OpenAI. Anthropic har skrevet at sikkerhetsmodellen Mythos under en test fikk en sikret sandkasse den ble bedt om å bryte ut av, og at den lyktes med å nå bredere internett-tilgang fra et system som bare skulle nå noen få forhåndsbestemte tjenester. Anthropic la til at modellen ikke klarte å rømme inneslutningen «fullt ut».

For deg som sandkasser KI-agenter er lærdommen konkret: en proxy eller cache med nettverkstilgang er en vei ut, ikke en begrensning.

Hva bør du gjøre?

1. En ekte sandkasse har ingen fysisk nettverksvei ut. Har den det, er det ikke en sandkasse, men et brannmuroppsett.
2. Ikke kjør pakkeinstallasjon eller andre tjenester med utgående tilgang inne i miljøet du later som er isolert.
3. Anta at en tilstrekkelig kapabel agent vil finne og utnytte enhver rute ut du lar stå åpen.