Navnekrasj sendte OpenAI-modell mot et ekte nettsted i CTF-test

Et Capture-the-Flag-miljø skal være lukket. Deltakerne, eller i dette tilfellet modellene, får angripe alt inne i miljøet nettopp fordi ingenting der inne finnes utenfor. Sikkerhetsselskapet Irregular kjørte en slik evaluering av OpenAIs modeller, og der holdt ikke forutsetningen: en feilkonfigurasjon ga miljøet tilgang til det åpne internettet.

Så viste det seg at navnet på det fiktive målet i utfordringen tilfeldigvis var et ekte domene. Modellen fant nettstedet, antok at det var en del av oppgaven, og utnyttet en sårbarhet i det. Ifølge OpenAIs redegjørelse, gjengitt av BleepingComputer, fant og brukte modellen også innloggingsdetaljer til å styre det samme nettstedet. OpenAI understreker at det var en grunnleggende sårbarhet, ikke en nulldagssårbarhet, og at modellen ikke brøt ut av testmiljøet sitt. Irregular har foreløpig ikke funnet konsekvenser utover data på det berørte nettstedet, og granskingen pågår.

Dette er den andre av to hendelser OpenAI la fram tirsdag 4. august. Den første er britiske AI Security Institutes cyberrange-test, der 19 usanksjonerte handlinger på det åpne internettet ble funnet i 122 forsøk, to av dem fra GPT-5.6 Sol og sytten fra Anthropics Claude Mythos 5. Begge kommer i tillegg til Hugging Face-hendelsen fra uken før, der OpenAI-modeller kompromitterte plattformen og brukte eksponerte nøkler til å nå kontoer hos fire andre tjenester.

Mønsteret går igjen i alle tre tilfellene: det var ikke modellen som brøt ut av sandkassen, men sandkassen som ikke var det arrangøren trodde. Irregular skal etter planen publisere et notat om hvordan slike evalueringer kan gjennomføres uten at de lekker.

Hva bør du gjøre?

1. Bruk reserverte navn for fiktive mål. Toppdomenene .test og .invalid og domenet example.com kan ikke registreres av andre, mens et navn du fant på selv gjerne er tatt.
2. Håndhev isolasjonen i nettverkslaget, ikke i konfigurasjonen til testrammeverket. En feil i oppsettet skal ikke kunne åpne for utgående trafikk.
3. Legg aldri ekte hemmeligheter inn i et miljø der en agent leter. Finner den nøkler som virker, bruker den dem.