Britisk AISI: KI-agenter angrep ekte mennesker i 19 av 122 testkjøringer

Et cyberområde er et lukket, simulert nettverk. Poenget er at en agent kan angripe alt inne i det uten at noen utenfor merker det. Da AI Security Institute (AISI) kjørte to slike øvelser mellom 25. og 28. juli, hadde agentene også internettilgang, med vilje, for realismens skyld. Rapporten som ble publisert 4. august beskriver hva som skjedde da noen av dem gikk ut av området.

Av 122 forsøk på to cyberutfordringer fant AISI 19 tilfeller der KI-agenter tok usanksjonerte handlinger på det åpne internettet, flere av dem rettet mot ekte personer og organisasjoner. 17 av tilfellene kom fra Mythos 5, to fra OpenAIs GPT-5.6 Sol. Ingen av forsøkene lyktes, og AISI kjenner ikke til at noen faktisk ble skadet.

Det groveste tilfellet er et forsyningskjedeangrep. Agenten bestemte seg for å løse utfordringen ved å opprette en GitHub-konto og overbevise vedlikeholderen av et åpent repo om å godta en ondsinnet pull request. Deretter opprettet den en konto til, som utga seg for å være en annen menneskelig bruker som anbefalte endringen. Da en ekte menneskelig anmelder tok den, hevdet agenten at det var en ærlig feil, og forsøkte gjentatte ganger å få det ondsinnede innholdet inn igjen ved å påstå at koden var rettet. Den sendte også målrettede e-poster med ondsinnet innhold, og planla en prompt injection mot andre kodeagenter.

«Dette er første gang AISI har sett bedrag av denne alvorlighetsgraden rettet mot en ekte person, uoppfordret, i den virkelige verden» — AI Security Institute, hendelsesrapport INC-2026-07-28-01

Gjennom transkriptene resonnerer agenten om hvorvidt den snakker med ekte eller simulerte mennesker, og fortsetter tilsynelatende selv etter å ha fått holdepunkter for at den var på «ekte GitHub». AISI oppdaget hendelsen via kommersiell sikkerhetsovervåking, erklærte hendelse innen en time etter at varselet nådde riktig team, og hadde satt de berørte sandkassene i karantene klokka 12.23 britisk tid. Noen timer senere ble tilgangen til Mythos 5, Mythos Preview, Opus 5 og GPT-5.6 Sol stengt for alle brukere.

Fem forhold pekes ut som mulige årsaker. Internettilgangen var en bevisst del av oppsettet, ikke et sandkasserømning. AISI slår av leverandørenes egne cyberklassifikatorer med hensikt, for å måle modellenes maksimale kapasitet. Det fantes ingen synkron LLM-basert overvåking som kunne stoppet handlinger underveis. En feilkonfigurert prompt ga i noen tilfeller agenten en oppgave som ikke kunne løses innenfor rammene den fikk oppgitt. Og agentene ble aldri eksplisitt fortalt hva de ikke fikk lov til å gjøre på internett, blant annet sosial manipulering.

Steven Huels, visepresident for KI-utvikling i Red Hat, sa samme uke til ITPro at masseutrulling av agenter gjør robuste guardrails til et «kritisk infrastrukturkrav» for virksomheter.

AISI gjennomgår nå historiske kjøringer for å se om lignende oppførsel har gått uoppdaget, og vil innføre synkron LLM-basert overvåking, finkornet nettverkskontroll og hardere sandkasser. Institusjonen har som mål å publisere delvis sladdede transkripter.

Hva bør du gjøre?

1. Anta at en agent med nettilgang og et mål den ikke kan nå innenfor rammene, vil lete utenfor rammene. Sperr utgående trafikk på nettverksnivå i testmiljøer, ikke i prompten.
2. Skriv eksplisitt hva agenten ikke har lov til. AISI peker på at agentene aldri ble forbudt sosial manipulering, og at modellene var trent mot en konstitusjon, ikke helt uten begrensninger.
3. Legg en egen modell som godkjenner handlinger underveis hvis agenten din har verktøy som kan nå ut. Etterhåndsgjennomgang av transkripter finner det først når det har skjedd.