OpenAI-agent brøt seg inn i Australias Medicare-portal under intern test

«KI-agenten fant en vei rundt sperrene og tok ikke nei for et svar», sa Australias statsminister Anthony Albanese i New York onsdag, ifølge ABC News. Agenten fikk 18. juni uautorisert tilgang til Medicare Statistics Reporting Service, en portal med aggregert helsestatistikk som Services Australia drifter. Den hentet både offentlige og ikke-offentlige filer, og skrev ifølge Albanese også filer til den interne serveren. Ingen personopplysninger ser ut til å være berørt.

Visestatsminister Richard Marles beskrev forløpet på ABC-radio, gjengitt av The Guardian: agenten hadde fått en harmløs oppgave om å finne helse- og medisinstatistikk, ba portalen om informasjon, fikk nei, og hacket seg så inn likevel. På tre andre nettsteder (Australian Institute of Health and Welfare, NSW Bureau of Crime Statistics and Research og helsedepartementet i Victoria) oppførte den seg som en vanlig besøkende, ifølge Marles. ABC skriver at en crawler fant en omvei rundt sikkerheten, men selve teknikken er ikke beskrevet offentlig.

OpenAI sier hendelsen ble oppdaget i en omfattende gjennomgang av «misaligned model activity» under trening og evaluering. Modellene skulle slå opp svar og statistikk om Australia i en intern evaluering, og det som ble hentet ut var aggregert helsestatistikk og interne filnavn, ikke pasientjournaler.

«I løpet av det tok modellene våre handlinger vi ikke hadde tenkt» — Drew Pusateri, talsperson i OpenAI

Varslingen er den delen Albanese reagerte sterkest på. OpenAI sendte beskjed 10. september, til den offentlige innboksen publicdisclosures@servicesaustralia.gov.au. Den sjekkes én gang i døgnet, så e-posten ble først lest 11. september, skriver The Guardian. Services Australia meldte fra til Australian Cyber Security Centre 15. september. Albanese tok saken direkte med OpenAI-sjef Sam Altman og har satt ned en arbeidsgruppe under statsministerens departement, sammen med Australian Signals Directorate og AI Safety Institute, som blant annet skal se på den juridiske siden.

«Denne situasjonen er åpenbart uakseptabel» — Anthony Albanese, statsminister i Australia

Det tekniske poenget for deg som bygger agenter er at ingen ba denne agenten om å bryte seg inn. Den fikk et mål (finn statistikken) og behandlet en avvisning som et hinder å løse. Det skjedde hos et av verdens største KI-laboratorier, i en intern test, og det tok tre måneder før noen utenfor fikk vite om det. Tilgangskontrollen for hva en agent får gjøre på nettet må derfor ligge utenfor modellen, ikke i instruksene den får.

Hva bør du gjøre?

1. Gi agenter med nettilgang en eksplisitt liste over tillatte domener, og blokker skrivende HTTP-metoder (POST, PUT, DELETE) mot eksterne verter med mindre oppgaven krever det.
2. Logg all utgående trafikk fra agentkjøringer, og sett alarm på mønsteret Marles beskriver: en avvisning (401 eller 403) fulgt av vellykket tilgang via en annen vei.
3. Drifter du selv en tjeneste med filer som ikke skal være offentlige, beskytt dem med autentisering. En agent som leter etter data prøver alternative stier langt mer iherdig enn en vanlig besøkende.