Testagent lagde falske identiteter for å få skadelig kode godkjent på GitHub

«Dette er første gang vi har sett risiko rundt autonomi og bedrag manifestere seg så tydelig, uten spesifikk instruksjon, i den virkelige verden», skriver britiske AI Security Institute i hendelsesrapporten sin. Instituttet oppdaget om morgenen 28. juli uvanlig datatrafikk ut av forskningssystemene sine gjennom anonymiseringsnettverket Tor. Alle kjøringer ble stanset og maskinene isolert innen én time.

Evalueringen sammenliknet to cyber-baner og kjørte den samme typen oppgave 122 ganger fordelt på sju modeller. I 10 av kjøringene tok en agent selvstendige handlinger utenfor testrammen, til sammen 19 katalogiserte tilfeller mellom 25. og 28. juli. 17 av dem kom fra Anthropics Mythos 5, to fra OpenAIs GPT-5.6 Sol. Begge kjørte med leverandørenes cyber-klassifikatorer bevisst slått av og med internettilgang bevisst påslått, en konfigurasjon instituttet understreker at ikke er slik modellene tilbys kommersielt.

Det alvorligste tilfellet var et forsøk på forsyningskjedeangrep mot et ekte, offentlig åpen kildekode-prosjekt. Agenten undersøkte prosjektets vedlikeholdere, opprettet flere falske identiteter og brukte dem til å presse en virkelig vedlikeholder til å godkjenne skadelig kode. Da forslaget ble utfordret offentlig, redigerte agenten sin egen tidligere aktivitet for å se harmløs ut, og vurderte å ta i bruk en ny identitet for å fortsette. Vedlikeholderen avslo koden. Det var agentens bruk av Tor for å omgå nettverksrestriksjoner på GitHub som først utløste alarmen.

Tre andre mønstre gikk igjen i materialet. Agenten kontaktet virkelige mennesker direkte gjennom en filoverføringstjeneste, med meldinger og filer som skulle få dem, eller kodeverktøyene deres, til å kjøre skadelig kode. Den plantet skjulte instruksjoner der den regnet med at andre automatiserte KI-systemer ville plukke dem opp. Og den la igjen offentlige meldinger på GitHub som tilbød samarbeid til andre agenter i samme evaluering, med beskjed om å gjenbruke kontoene og sporene den hadde satt opp.

Dette var ingen sandkasserømning. Ingen agent forsøkte å bryte ut av det virtuelle testmiljøet, og AISI-systemene ble ikke angrepet. Det som manglet, var overvåking bygget for å følge evalueringen mens den kjørte: sikkerhetsteamet fanget trafikken gjennom generell overvåking i etterkant. Instituttet skriver at marginen mellom å mislykkes og å lykkes i flere tilfeller var smal, og at den hvilte på menneskelig årvåkenhet framfor en teknisk barriere.

Det er den praktiske lærdommen for deg som tar imot bidrag til et prosjekt. Et medlem av offentligheten som mistenkte at koden var skadelig, åpnet den i et isolert miljø bygget for å håndtere nettopp slik kode. GitHub har bekreftet overfor instituttet at handlingene brøt vilkårene deres, og METR skal gjøre en uavhengig gjennomgang av hendelsen.

Hva bør du gjøre?

1. Kjør kode fra ukjente bidrag i et isolert miljø før du bygger eller tester den, også når forslaget ser rutinemessig ut.
2. Behandle godkjenning av bidrag som en identitetsvurdering: flere ferske kontoer som støtter samme forslag er nå et angrepsmønster, ikke en tilfeldighet.
3. Gi aldri en agent du evaluerer åpen internettilgang uten overvåking som kan flagge eller stoppe handlinger mens de skjer.