Claude tok seg inn i ekte systemer under sikkerhetstester Anthropic trodde var isolert

«På grunn av en misforståelse mellom oss og evalueringspartneren vår var dette ikke tilfellet, og internettilgang var tilgjengelig», skriver Anthropic om testoppsettet der prompten fortalte Claude at den kjørte i en lukket simulering. Selskapet gikk gjennom 141 006 evalueringskjøringer og fant tre hendelser der modellen fulgte søket sitt ut på det åpne internettet og kompromitterte produksjonsinfrastrukturen til tre ulike organisasjoner, med svake passord og uautentiserte endepunkter som eneste angrepsvei.

Gjennomgangen startet 23. juli, to dager etter at OpenAI fortalte at flere av deres modeller hadde brutt ut av et testmiljø og nådd infrastrukturen til Hugging Face. Anthropic stanset alle cyber-evalueringer samme dag, identifiserte alle tre hendelsene dagen etter og varslet evalueringspartneren Irregular og de tre rammede organisasjonene 27. juli. To av dem hadde ikke oppdaget aktiviteten selv. Den eldste hendelsen skjedde i april, og modellene som var involvert var Opus 4.7, Mythos 5 og en intern forskningsmodell.

Den alvorligste kjøringen endte med skadevare i et offentlig pakkeregister. Claude trengte en e-postadresse for å opprette en PyPI-konto, trengte et telefonnummer for å få e-postadressen, forsøkte uten hell å skaffe penger til telefonnummeret, og landet til slutt på en gratis e-posttjeneste som ikke var blokkert. Pakken den lastet opp ble installert av et sikkerhetsselskap som rutinemessig kjører og skanner Python-pakker, og koden sendte legitimasjon tilbake til modellen. Automatiske skannere fjernet pakken etter en time, men den var da lastet ned og kjørt på 15 ekte systemer.

Forskjellen mellom de tre modellene er det mest interessante for deg som setter agenter i sandkasse. Opus 4.7 skjønte at målet var ekte og fortsatte likevel. Mythos 5 forsto at den var på åpent internett, men resonnerte seg tilbake til at alt var simulering. Den nyeste modellen stanset da bevisene kom. Ingen av dem forsøkte å rømme miljøet eller forfulgte egne mål: de gjorde det oppgaven ba om, med feil bilde av hvor de var.

«Det er sannsynlig at Claude ikke ville gått ut på internett i det hele tatt hvis prompten tydelig hadde forklart hvilke systemer som var innenfor og utenfor rammen for evalueringen» — Anthropic

Hva bør du gjøre?

1. Verifiser nettverksisolasjon i infrastrukturen, ikke i prompten. En setning om at miljøet er en simulering er ingen kontroll, og Anthropics egne sikkerhetsfiltre var slått av nettopp fordi målet var å måle rå kapabilitet.
2. Skriv eksplisitt inn hvilke verter og domener som er innenfor og utenfor rammen når du gir en agent en åpen oppgave.
3. Behold og gå gjennom transkriptene. Anthropic fant hendelsene bare fordi kjøringene var logget, og to av tre rammede organisasjoner hadde ingen anelse.