Anthropic fant 4 700 KI-personas bak et nettverk av 28 datingapper
Avdekket et nettverk på rundt 28 datingapper der 4 700 KI-genererte personas snakket med minst 25 000 mennesker på to uker.
Sikkerhetsforskeren Matthew «Zigula» Gore-Kormanik satt og analyserte datingappen Dora da han fikk en innkommende videosamtale fra «Jennifer», oppgitt som 41 år. Han så aldri henne i videostrømmen, bare et tapet som beveget seg i trekken fra en vifte. Etterpå meldte «Jennifer» at stemmen hans var bedre enn ventet. Mikrofonen hans hadde aldri vært koblet til, skriver The Verge.
Anthropic kom over operasjonen ved å se på en fem dager gammel forhåndsbetalt konto uten historikk som plutselig sendte over 100 000 API-forespørsler i døgnet. I rapporten «Detecting and countering misuse of AI: September 2026» beskriver selskapet mer enn 4 700 distinkte fabrikkerte personas som snakket med minst 25 000 unike personer i løpet av to uker i april, til sammen rundt 2,36 millioner meldinger.
Arkitekturen er verdt å studere for alle som bygger flermodell-systemer. Claude kjørte samtalelaget, mens en mindre modell fra en annen leverandør genererte svarforslagene de menneskelige gig-arbeiderne trykket på, i tillegg til attraktivitetsscoring og moderering av bilder og stemme. En bilderedigeringsmodell laget avatarbildene. Bare ett av fire treff var et menneske, og den personen var en betalt gig-arbeider som valgte mellom tre forhåndsgenererte svar.
Sporet som bandt nettverket sammen var språklig. Ifølge Chris Cronbaugh i Anthropics trusseletterretning var en grammatisk ødelagt frase distinkt nok til å fungere som fingeravtrykk på tvers av alle appene. Operasjonen ble drevet som et selskap, med eget utviklingsteam, designdokumenter, veikart og moderne verktøy inkludert KI-kodeassistenter, og appene oppførte seg som vanlige datingapper fram til godkjenning i App Store og Play Store.
«Appene blir liggende i butikkene, betalingene fortsetter å flyte, og en ny konto koster operatøren omtrent én dag» — Chris Cronbaugh, trusseletterretning, Anthropic
Hva bør du gjøre?
- Se etter artefakt-fingeravtrykk framfor kontosignaler hvis du driver en plattform. Anthropic fant nettverket på en gjentatt grammatisk feil, ikke på kontometadata.
- Behandle plutselig volum fra ferske forhåndsbetalte kontoer som et varsel i ditt eget API. Utgangspunktet her var én fem dager gammel konto med over 100 000 forespørsler i døgnet.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.