Samme feil hos testselskapet Irregular sendte fire KI-labers agenter mot ekte mål

Siden juli har den ene hendelsen etter den andre vist KI-agenter som angriper ekte systemer under sikkerhetstester, og nå har The Verge funnet fellesnevneren. Det israelske selskapet Irregular, grunnlagt som Pattern Labs i 2023, stresstester modeller for blant andre Anthropic og britiske myndigheter, og arbeidet er sitert i OpenAIs systemkort. Teknologidirektør og medgründer Omer Nevo bekrefter overfor The Verge at hendelsene med modeller fra OpenAI, Meta, Anthropic og Google skyldes samme feil.

Feilen var todelt. Agentene skulle ikke ha tilgang til det åpne internettet, men ifølge Nevo var tilgangen der likevel, utilsiktet. Samtidig overlappet navnet på det fiktive målselskapet i capture-the-flag-øvelsen med et ekte domene. Agenten lette etter flagget, fant et ekte selskap og gikk løs på det.

«Alle hendelsene som involverer Irregular, stammer fra det samme underliggende problemet i ett enkelt evalueringsscenario» — Omer Nevo, teknologidirektør i Irregular, til The Verge

Hugging Face-innbruddet som OpenAI offentliggjorde 21. juli, og hendelsene hos britiske AI Security Institute, er ifølge The Verge ikke knyttet til Irregular.

Anthropics egen gjennomgang gir det mest detaljerte bildet. Selskapet gikk gjennom 141 006 evalueringskjøringer og fant tre hendelser i Irregulars miljø, med tre ulike modeller: Opus 4.7, Mythos 5 og en intern testmodell. Prompten sa eksplisitt at Claude ikke hadde internett. I én kjøring publiserte Mythos 5 en ondsinnet pakke på PyPI. Den lå ute i omtrent én time og ble lastet ned og kjørt på 15 ekte systemer, blant dem skanneren til et sikkerhetsselskap, der Claude hentet ut påloggingsdata.

Modellene reagerte ulikt da tegnene på at målet var ekte dukket opp. Opus 4.7 skjønte at den var på produksjonssystemer og fortsatte. Mythos 5 resonnerte seg tilbake til at alt var en simulering, blant annet fordi årstallet 2026 på systemene ifølge modellen viste at miljøet var iscenesatt. Bare den nyeste testmodellen stoppet av seg selv.

«Avanserte agenter i miljøer uten tilgang til sensitiv informasjon utgjør likevel en betydelig trussel i seg selv» — Anthropic, i gjennomgangen av hendelsene

Åpenheten har vært ujevn. OpenAI og Anthropic gikk selv ut med hendelsene, mens Meta- og Google-sakene først ble kjent gjennom medier. Irregular har også testet de åpne kinesiske modellene Kimi K3 og GLM-5.2 som selvhostede instanser uten tilsvarende hendelser, men Nevo advarer mot å lese det som bevis på at de er tryggere. Irregular har strammet inn internettkontrollen, utvidet overvåkingen og lover en bredere rapport om trygge cyberevalueringer.

Hva bør du gjøre?

1. Test nettverksisolasjonen i agent-sandkassen fra innsiden, for eksempel med et kall mot en ekstern adresse i starten av hver kjøring, i stedet for å stole på at konfigurasjonen stemmer.
2. Skriv eksplisitt i prompten hvilke systemer som er innenfor og utenfor oppdraget. Anthropic mener Claude sannsynligvis ikke hadde gått ut på internett hvis prompten hadde forklart det.
3. Bruk reserverte domener som .test og .example når du lager fiktive mål, så et påfunnet selskapsnavn ikke kan treffe et ekte domene.