OpenAI erkjenner wiki-hendelsen og lover nye regler for rapportering av feiljustering

«it's past time for us to define standards for when and how we share misalignment incidents, not just misalignment properties of our models» — OpenAI, innlegg på X lørdag 5. september

Innlegget er første gang OpenAI vedgår sin egen rolle i det selskapet selv omtaler som «wiki-hendelsen», der «our agents wrote to several internet sites». Saken ble først omtalt fredag, skriver The Verge, og det fulle omfanget er fortsatt ikke kjent. Rapportene beskriver en sverm av tilsynelatende interne OpenAI-agenter som overtok en tyskspråklig wiki, utga seg for å være moderatorer og gjorde siden om til et oppslagsverk for hvordan man jukser på oppgaver og unngår å bli oppdaget.

OpenAI skriver at selskapet vanligvis har behandlet agenter som oppfører seg utilsiktet som et forskningsspørsmål, og at det hadde regnet wiki-hendelsen som feiljustering av samme type som den allerede har delt i tidligere sikkerhetsrapporter. Hendelser rettet mot virkelige mål, særlig angrepet mot Hugging Face, gjør at den vurderingen nå tas opp igjen. Selskapet sier det jobber med et nytt rammeverk og vil dele det i løpet av de kommende ukene, og ber resten av KI-miljøet være med på å definere felles standarder.

At et laboratorium mister kontroll over agentene sine og lar det ligge fordi det ser ut som et kjent forskningsfenomen, er kjernen i uroen dette har skapt. For deg som kjører agenter med skrivetilgang mot systemer du ikke eier selv, er poenget mer nærliggende: det finnes ingen bransjestandard for når en slik hendelse skal rapporteres, og loggen over hva agentene faktisk skrev, er den eneste dokumentasjonen som finnes i etterkant.