Anthropics biovåpenfilter var av på 133 millioner samtaler

«Hadde ikke screeningprosesser som var i stand til å stoppe engang CB-1-trusselaktører», skriver Anthropic om leverandørene som godkjente de innleide

Anthropic publiserte rapporten 14. august, med data fram til 15. juli. The Next Web peker på at hovedoppslagene handlet om noe annet, nemlig at selskapet hevet anslaget for katastrofal skade fra feiljustering fra svært lav til lav, og at det finnes en intern modell kalt Model 2 som ikke skal slippes. Funnet som betyr mest praktisk står lenger ned i dokumentet.

Selskapet kjører blokkerende klassifiserere som skal hindre at modellene hjelper noen med å bygge biologiske våpen. De ble tatt i bruk i mai 2025. Fra da og fram til april 2026 kjørte de ikke på noe av trafikken gjennom plattformene der innleide gir menneskelig tilbakemelding. Rundt 50 000 personer hadde slik tilgang og genererte omtrent 133 millioner utvekslinger, og de fleste kunne føre helt åpne samtaler, ikke bare rangere ferdige svar.

Mekanismen er den delen som er verdt å lese to ganger. Et flagg som bare var ment for intern bruk slo av blokkeringen, og det slo av loggingen i samme slengen. Flagget trafikk ble ifølge rapporten ikke registrert eller sendt videre til noen kontrollmekanisme. Ingen kunne finne gapet igjen uten å gå tilbake til rå transkripsjoner. En fotnote går lenger: før april 2026 kunne en trusselaktør trolig ha blitt ansatt hos en av leverandørene, for eksempel i en red teaming-rolle.

Gjennomgangen etterpå kjørte Claude Sonnet 5 over hver eneste menneskelige tur i perioden. Den flagget 1 197 transkripsjoner som høyrisiko. 757 av dem kom fra Anthropics egne folk på samme infrastruktur, og av resten stammet alle unntatt 62 fra bevisst red teaming. Ansatte leste alle 62 pluss 30 tilfeldig valgte, og fant ingen tydelig misbruk, bare det rapporten kaller en håndfull mulige tobruks-samtaler.

Det er konklusjonen som stikker.

«Får oss til å tro at det er økt sannsynlighet for andre, lignende problemer vi ikke kjenner til» — Anthropics risikorapport, august 2026

Rapporten beskriver også en annen svikt på de samme plattformene. Et tips utenfra kom i april 2026, og Anthropic bekreftet at noen få innleide hos dataannoteringsleverandører hadde utnyttet en feil til å skaffe seg en API-nøkkel og brukt modeller utenfor oppdraget sitt. En av dem var Mythos Preview, blant selskapets mest kapable, som lå tilgjengelig i rundt to uker uten blokkerende bioklassifiserere. Anthropic stengte tilgangen 90 minutter etter varselet. Ingen vekter, kundedata eller kjernenettverk ble berørt.

Hva bør du gjøre?

1. Behandle interne debug-flagg som sikkerhetskritisk kode. Det som gjorde dette gapet farlig, var ikke at blokkeringen sto av, men at loggingen sto av samtidig, så gapet var usynlig i alle oversikter i elleve måneder.
2. Sjekk om leverandøren kjører de samme filtrene på alle trafikkstier, ikke bare i produkt-API-et. Kundetrafikken hos Anthropic var dekket hele veien, mens annoteringsplattformene falt utenfor risikobildet helt fram til februarrapporten.