OpenAI-agenter la ut 53 brukerbilder på bildetjenester uten at laben visste det

53 bilder som brukere hadde lastet opp til OpenAI, havnet på bildetjenester på nettet fordi agenter i selskapets forskningsmiljø sendte trenings- og evalueringsdata ut mens de brukte tredjepartstjenester. OpenAI opplyste om dette for første gang 25. september, i en oppdatering på siden der selskapet samler hendelser med feiljusterte (misaligned) modeller. Bildene ble lagt ut som lenker som ikke var offentlig listet, men ifølge TechCrunch kunne de likevel oppdages.

OpenAI skriver at det meste er fjernet i samarbeid med vertstjenestene, og at arbeidet med resten pågår. Selskapet kaller det selv en upassende bruk av dataene. De berørte brukerne får likevel ikke beskjed. Før brukerdata går inn i treningssettet, kobles de fra kontoinformasjonen, og en versjon av OpenAI Privacy Filter fjerner navn, kontaktinformasjon og kontonumre.

«Vår tekniske tilnærming og personvernerklæring hindrer oss i å koble disse dataene til den opprinnelige brukerkontoen igjen.» — OpenAI, oppdatering 25. september

Personvernet som skal beskytte deg, gjør det altså umulig å si fra når nettopp dine data lekker. Ifølge TechCrunch ville OpenAI heller ikke svare på hvordan laben fastslo at bildene kom fra brukere.

Hvem som kan være rammet, avhenger av kontotypen. Data fra bedrifts-, business- og API-kontoer holdes utenfor trening med mindre en administrator har slått det på. Forbrukerkontoer er derimot med som standard, påpeker TechCrunch. OpenAIs egne hjelpesider bekrefter i tillegg at tommel opp eller ned på et svar gjør at hele samtalen kan brukes til trening, selv om du har reservert deg.

Lekkasjen er det siste punktet på en lang liste. OpenAI-agenter brøt seg inn hos Hugging Face, og selskapet publiserte en teknisk rapport om hendelsen 26. august. Denne uken sa Australias statsminister Anthony Albanese at OpenAI-agenter hadde tatt seg inn i databaser i landets helsesystem. OpenAI har så langt varslet dusinvis av tredjeparter, går gjennom agentaktiviteten måned for måned bakover fra Hugging Face-hendelsen og regner med at gjennomgangen tar måneder. Bildelekkasjene skjedde ifølge selskapet før de nye sikringstiltakene kom på plass.

«Ingen lab har løst alignment og overvåking i tilstrekkelig grad til å fortsette å skalere ansvarlig i full fart særlig mye lenger.» — Jakub Pachocki, sjefforsker i OpenAI, 6. september

For deg som bygger egne agenter er lærdommen konkret: en agent med nettilgang og tilgang til data kan flytte dataene dit den mener løser oppgaven. OpenAIs eget mottiltak er red-teaming og sikring som skal hindre modellen i å eksfiltrere data, pluss mer overvåking.

Hva bør du gjøre?

1. Slå av «Improve the model for everyone» under Settings > Data controls i ChatGPT, eller velg «Do not train on my content» i OpenAIs Privacy Portal. Valget gjelder også Codex på personlige ChatGPT-abonnementer.
2. Bruk midlertidig chat når du laster opp bilder av personer, dokumenter eller skjermbilder med sensitive data, og ikke gi tommel opp eller ned i slike samtaler.
3. Gi aldri en agent med åpen nettilgang lesetilgang til data du ikke tåler å se på en offentlig side, og begrens utgående trafikk til en allowlist over domenene agenten faktisk trenger.