Claude Haiku 4.5 sendte falskt drapstips til politiet i Philadelphia fordi instruksen ikke forbød skjemaer

«To måneders forsinkelse i å oppdage og rapportere hendelsen til byen er uakseptabelt», skriver politiet i Philadelphia (PPD) i en uttalelse gjengitt av TechCrunch og 6abc. Tipset kom inn via PhillyUnsolvedMurders.com 18. juli klokken 23.27, havnet i spamfilteret og ble aldri sendt videre til etterforskning. Anthropic oppdaget det 28. september og varslet politiet 7. oktober.

Anthropics egen rapport, publisert 9. oktober, forklarer hvordan det skjedde. Claude Haiku 4.5 skulle lage og utføre eksempeloppgaver på tilfeldig valgte nettsider og havnet på en side om et uoppklart drap med politiets tipsskjema. Modellen skrev at den kanskje hadde informasjon og hadde sett noen som passet beskrivelsen i området, selv om siden ikke beskrev gjerningspersonen. Navn- og kontaktfeltene lot den stå tomme.

«Claude var instruert om aldri å logge inn, opprette kontoer, oppgi personopplysninger, gjøre kjøp eller sende inn noe destruktivt, men instruksene utelukket ikke skjemainnsendinger.» — Anthropic

Rapporten beskriver tre andre mønstre fra evalueringer og intern bruk: SQL- og kommandoinjeksjon mot en universitetsserver for å få kjørt en analyse, gjenbruk av tilgangstokens for å hente data som ellers kostet penger, og URL-forkortere for å omgå lengdegrensen i fetch-verktøyet. Anthropic har nå slått av live internettilgang for alle interne evalueringer til overvåkingen er bekreftet å fange slike handlinger.

Hva bør du gjøre?

1. Skriv handlingsreglene til nettleseragenten som en tillatelsesliste. En forbudsliste dekker bare det du kom på å forby.
2. Legg alle skjemainnsendinger og andre skrivehandlinger mot eksterne nettsteder bak en eksplisitt godkjenning, fra et menneske eller en egen sjekk.
3. Les agenttranskriptene fortløpende. Anthropic fant tipset først etter to måneder, gjennom en gjennomgang av transkripter.