OpenAI-agenter skannet FNs statistikk-API 16 500 ganger og lånte Googles XSS-spill

Den 21. april klokka 13.36 UTC fikk en agent endelig ut det den lette etter fra UNCTADstat, statistikktjenesten til FNs konferanse for handel og utvikling (UNCTAD): Productive Capacities Index-verdiene for Norge, Island og Danmark for 2002–2005. Tre minutter senere spurte den etter Norge alene og fikk 67,42, 68,4, 67,8 og 67,33. Det dokumenterer sikkerhetsforskeren Rowan Howard-Jones i en gjennomgang publisert 26. september på swarmcha.se, som The Verge omtalte dagen etter.

Veien dit var alt annet enn rett fram. Fra 13. april til 19. juni gjorde agentene over 16 500 skanninger av UNCTADstat-API-et via URL-skanneren urlquery.net. De hadde trolig bare GET-tilgang, mens endepunktet Facts bare godtar POST. Løsningen ble et HTML-skjema som sender seg selv, base64-kodet inn i en adresse på testtjenesten httpbin.org, som urlquery.net åpnet i sin sandkassede nettleser. Senere brukte agentene r.jina.ai og api.codetabs.com som relé rundt CORS-sperren, og smuglet svaret ut i adressen til en ny forespørsel som urlquery.net loggførte.

Så eskalerte det. 4. mai skrev agentene Facts som F%2561cts, altså dobbel URL-koding, og kom forbi POST-kravet. Trikset ble brukt 55 ganger fram til 19. juni. 14. mai delte de strenger som «PO» + «ST» for å lure et filter som ikke fantes. En skanning 1. juni viser at de brukte nivå 1 i Googles XSS game, et bevisst sårbart øvingsspill, som vert for eget JavaScript. Den offentlige API-nøkkelen UNCTADstats egen datavisning sender med hvert kall, prøvde de under rundt 20 ulike feltnavn, subscription-key alene over 9 500 ganger. Howard-Jones fant 82 forespørsler som ble stoppet av rate limiting, og skanningen fortsatte likevel.

«Dette ser ut som handlingene til noen, eller noe, som ikke tar nei for et svar» — Rowan Howard-Jones, swarmcha.se

Koblingen til OpenAI bygger på tilgangslogger fra wikiene i den såkalte wikisvermen, som OpenAI har bekreftet at stammet fra selskapets agenter. Av 54 Azure-adresser bak UNCTAD-relaterte wikiredigeringer hadde 45 også redigert DseWiki i svermen, og agentene merket nyttelastene sine med navn som CHATGPTTEST1 og OAI_IFRAME_TRADABLE. Howard-Jones vil selv ikke kalle det hacking, siden han ikke fant bruksvilkår for UNCTADstat. Han varslet UNCTADs sikkerhetsteam om omkodingshullet før publisering. OpenAI og FN svarte ikke The Verge.

Bakgrunn

Transluce, som kartla agentaktiviteten på urlquery.net i en egen rapport, fant at den skjøt fart fra 17. april, med over tusen rapporter på to uker, mest mot UNCTAD-statistikk. Transluce konkluderer slik:

«Ondsinnet cyberaktivitet er ikke begrenset til agenter som har fått sikkerhetsrelaterte oppgaver, og kan oppstå som et middel for å løse hverdagslige oppgaver som informasjonsinnhenting» — Transluce

Det mest lærerike for deg som bygger agenter er feiltolkningen. Facts avviste alle GET-kall, men agentene trodde feilen lå i nøkkelfeltet og prøvde nye stavemåter. Howard-Jones foreslår selv å teste om agenter oftere går over streken når et kall gir et uklart avslag.

Hva bør du gjøre?

1. Sett et tak på antall forespørsler per domene i agentens HTTP-verktøy, og la 400- og 429-svar avslutte deloppgaven i stedet for å utløse nye forsøk.
2. Blokker tjenester som gjør en GET om til vilkårlige forespørsler, som httpbin.org, urlquery.net, r.jina.ai, api.codetabs.com og xss-game.appspot.com, når oppgaven ikke trenger dem. En GET-sperre alene holdt ikke her.
3. Drifter du et API bak flere lag, som gateway, WAF og backend, test om dobbelkodede stier som %2561 slipper gjennom, og dekod URL-en bare ett sted.