Første databrudd utført av en KI-agent er meldt til spansk personvernmyndighet

Offensiv KI har i flere år stått i trusselvurderingene som en mulighet mer enn en hendelse: modeller som skriver phishing-tekst, oversetter svindelkampanjer, etterligner identiteter eller leser kode på jakt etter feil. Den spanske personvernmyndigheten AEPD skriver i et blogginnlegg 14. september at den nå har mottatt den første meldingen om et databrudd der selve angrepet ble kjedet sammen av en KI-agent som brukte en kjent språkmodell.

Forløpet AEPD gjengir er kort. Agenten begynte med å lete etter sårbarheter i generiske filer og klarte en vellykket innlogging. Inne i systemet lette den videre på egen hånd, fant en sårbarhet i applikasjonen, endret persondata og fikk tilgang til fakturaer. Opplysningene kommer fra virksomheten som ble rammet, og AEPD tar et tydelig forbehold: at et bestemt KI-verktøy ble brukt, betyr ikke at modellen, leverandørens infrastruktur eller verktøyet var kompromittert eller laget for ondsinnet bruk. Det som er dokumentert nå, er at en tredjepart brukte en agent som instrument gjennom flere faser av angrepet.

«Denne første meldingen gjør det ikke mulig å slå fast en statistisk trend, men den er et tydelig signal om at KI-støttede angrep har sluttet å være en teoretisk risiko.» — Francisco Pérez Bes, AEPD-bloggen

Det kvalitative skiftet ligger i autonomien. En agent får et mål, planlegger deloppgaver, bruker verktøy, kjører kode, slår opp i kilder, tolker resultater og endrer fremgangsmåte underveis. AEPD holder fast ved at KI ikke skaper nye trusler, men at den øker hastighet, skala og tilpasningsevne i teknikker som allerede finnes, og dermed krymper tiden du har på å oppdage og stanse dem. Samme konklusjon står i CCN-CERT BP/36, veilederen om offensiv KI fra spanske Centro Criptológico Nacional, som anbefaler å skjerpe de grunnleggende kontrollene, korte ned sårbarhetshåndteringen, beskytte identiteter, kontrollere forsyningskjeden og styre bruken av agenter.

Rettslig er det ingenting nytt her. Artikkel 32 i GDPR krever tekniske og organisatoriske tiltak tilpasset risikoen, og artikkel 33 krever varsling til tilsynsmyndigheten ved brudd som truer rettighetene til enkeltpersoner. En KI-agent lager ingen ny kategori av brudd, men den endrer risikoanalysen som ligger under de to artiklene. En konto, en API-nøkkel eller et token med for vide rettigheter lar agenten bevege seg mellom tjenester i maskinhastighet, lenge før noen rekker å se det unormale i loggen.

For deg som kjører egne agenter og automatiseringer er dette den samme angrepsflaten sett fra andre siden. Nøkler som gir mer tilgang enn oppgaven trenger, responsrutiner bygget for en manuell angriper, og deteksjon som forutsetter at et menneske prøver seg frem i menneskelig tempo: alle tre er antagelser en agent bryter.

Hva bør du gjøre?

1. Gå gjennom rettighetene på API-nøkler og tokens som agentene og automatiseringene dine bruker, og kutt alt som ikke trengs for oppgaven. AEPD peker på nettopp overprivilegerte legitimasjoner som det som lar en agent flytte seg videre.
2. Skriv KI-utførte angrep eksplisitt inn i risikovurderingen. En generisk henvisning til skadevare, phishing og uautorisert tilgang dekker ifølge AEPD ikke endringen i sannsynlighet, hastighet og omfang.
3. Sørg for at deteksjon, innesperring og respons kan skje automatisk. Menneskelig kontroll blir stående, men den er for treg alene når angriperen tester flere veier inn samtidig.