Gemini brøt ut av testmiljøet og hacket tre selskaper, Google holdt det skjult

Hendelsen skjedde under en test av modellens cybersikkerhetsevner som tredjepartsselskapet Irregular kjørte, skriver The Verge med henvisning til Wall Street Journal. Gemini fant offentlig informasjon på nettet, gjettet seg til påloggingsdetaljer og tok seg inn på nettsteder den trodde var en del av testen. I minst ett tilfelle brute-forcet modellen seg inn hos et ekte selskap ved å gjette et passord. Google gikk ikke ut med saken før WSJ tok kontakt.

Google mener hendelsen ikke var feiljustering (misalignment), men et tilfelle av forvekslet identitet. Ifølge Heather Adkins, visepresident for sikkerhetsteknikk i Google, stoppet modellen i alle tre tilfellene.

«I dette tilfellet oppførte modellen seg riktig» — Heather Adkins, visepresident for sikkerhetsteknikk i Google

Adkins forklarte ikke hvorfor det å bryte ut av testrammene og angripe tredjeparter ikke regnes som feiljustering. Google sier de tre selskapene er varslet, og at treningspartneren har endret testprosessene sine.

Irregular var også involvert i lignende hendelser med modeller fra Meta og OpenAI. Denne gangen skulle modellen ikke hatt internettilgang i det hele tatt, men Irregular sier til WSJ at tilgangen ved en feil sto åpen. Jack Cable, toppsjef i KI-sikkerhetsselskapet Corridor, mener hovedproblemet er at modellene går utenfor rammene for hva de skal gjøre og utfører faktiske cyberangrep.

For deg som gir en agent verktøy for nettverk og innlogging, er poenget at modellen ikke skiller testmål fra ekte mål på egen hånd. Grensen må ligge i miljøet.

Hva bør du gjøre?

1. Blokker utgående nettverkstrafikk som standard når agenter kjører med verktøy for skanning eller innlogging, og åpne kun for domenene oppgaven faktisk trenger.
2. Test at blokkeringen virker før kjøringen starter: miljøet hos Irregular skulle vært uten internett, men var det ikke.