OpenAI stanset destillasjon fra over 15 000 brukere og peker på Kimi-utvikleren Moonshot AI

16 000 forespørsler fra over 4 000 brukere 24. og 25. juli var toppen av kampanjen OpenAI beskriver i en ny rapport. Aktiviteten startet 1. juli i lavt volum. OpenAI fant samme mønster i en klynge på over 15 000 brukere, som var fullstendig stanset innen 28. juli.

Ingen kryptering ble knekket og ingen database kompromittert, skriver OpenAI. Operatørene kopierte kryptert resonnering fra én samtale og ba en modell i en annen samtale om å dekryptere og skrive ut det skjulte innholdet. Mønsteret passer med destillasjon: å bruke en modells resonnering til å trene opp en annen uten tillatelse.

«Vi tilskriver en kjerneklynge av aktiviteten til personer tilknyttet Moonshot AI, utvikleren av Kimi.» — OpenAI

OpenAI skriver samtidig at det er uklart om alle operatørene kom fra samme aktør, og rapporten legger ikke fram tekniske bevis for tilskrivingen.

Svakheten angår også deg som bygger. Forskerne bak artikkelen «Stealing Reasoning Traces from Proprietary LLM APIs», som OpenAI viser til, fant at de krypterte blokkene kan byttes fritt mellom økter, brukere og modeller hos samme leverandør. De demonstrerte angrepet mot Anthropic, OpenAI og Google. Da de dekodet 315 320 resonneringsblokker hentet fra offentlige repoer, fant de 367 personopplysninger og 182 innloggingsdetaljer. De viste også at en angriper kan skjule en prompt injection helt inne i en kryptert blokk.

OpenAI har stengt muligheten til å spille av en annen brukers krypterte resonnering og holder nå tilbake strømmet output som kan avsløre den.

Hva bør du gjøre?

1. Fjern krypterte resonneringsblokker fra sesjonslogger og agentkjøringer før du deler dem i et offentlig repo.
2. Bytt nøkler og passord som har stått i en agentøkt du allerede har publisert.
3. Send aldri inn resonneringsblokker fra andres logger eller datasett til dine egne agenter, siden blokken kan bære en skjult instruksjon.