CTF-målet fantes på ekte: feilkonfigurert testmiljø ga modellen internett

Etter at Storbritannias AI Security Institute meldte om agenter som handlet på det åpne internett, har OpenAI publisert en gjennomgang som dekker to hendelser. Den ene er AISI-evalueringen. Den andre har fått langt mindre oppmerksomhet, og handler om Irregular, en av OpenAIs eksterne partnere for sikkerhetstesting. Simon Willison, som har fulgt saksrekken tett nok til å opprette en egen emneknagg for den, oppsummerer OpenAIs beskrivelse.

Irregular kjørte evalueringer i Capture the Flag-format som var ment å være isolert fra internett. En feilkonfigurasjon i testmiljøet ga likevel modellene tilgang til det offentlige nettet. Det som skjedde videre er verdt å lese sakte.

«I én test sammenfalt navnet på det fiktive målet for CTF-oppgaven utilsiktet med et ekte domene. Fordi testmiljøet feilaktig var koblet til internett, utnyttet modellen et ekte nettsted, i den tro at det var en del av det simulerte miljøet» — OpenAI, gjengitt av Simon Willison

Modellen gjorde altså ingenting den ikke var bedt om. Den løste oppgaven den fikk. Feilen lå i at det fiktive målnavnet noen hadde funnet på faktisk var registrert av noen andre, kombinert med at nettverksisolasjonen ikke holdt.

Det er koblingen mellom hendelsene som er verdt å merke seg for deg som setter opp testmiljøer. Irregular går også igjen i Anthropics egen redegjørelse: selskapet var vert for det feilkonfigurerte evalueringsmiljøet som ga Claude direkte internettilgang under noen av testene. Samme leverandør, samme type svikt, to ulike modellutviklere.

Hva bør du gjøre?

1. Verifiser nettverksisolasjon utenfra, ikke fra konfigurasjonsfilen. Kjør en utgående forespørsel fra inne i sandkassen og bekreft at den blir avvist, før du kjører evalueringer med sikkerhetsfiltre slått av.
2. Registrer eller velg domener til fiktive mål slik at de aldri kan peke på noe ekte. Bruk reserverte navn som .invalid eller .test i stedet for noe som høres oppdiktet ut.