Claude tettet ti alignment-feil selv. IFEval falt i alle ti.

Anthropic la denne uken ut rapporten «Automated Researchers Can Reliably Mitigate Alignment Failures», skrevet av Chen Yueh-Han, Jiaxin Wen og Jan Hendrik Kirchner under Anthropics stipendiatprogram. Oppsettet er en forskningsavdeling i miniatyr. Fire bibliotekaragenter går gjennom litteraturen i parallell og skriver en felles oversikt der hvert innslag er en reproduksjonsoppskrift snarere enn en referanse. Deretter settes fem automatiserte alignment-forskere, hver drevet av Claude Opus 4.8, på samme feiltype samtidig. En agent leser oversikten og resultattavla, søker på nettet, skriver opp sitt beste forslag som en minipapir, trener modellen innenfor et regnebudsjett og sender den videre til en separat evaluator. Hver iterasjon er en ny økt, med kontinuitet båret av en minnefil framfor et voksende kontekstvindu, og agenten kjører til den treffer et budsjett på 48 timer eller flater ut.

De ti feiltypene er sykofanti, jailbreaks, prompt injection, maktsøking, bedrag, hallusinasjon, sosial slagside, personvernbrudd, reward hacking og skjult usikkerhet. Målmodellene er små åpne modeller: Qwen3.5-2B, Phi-4-mini, Llama-3.2-3B, Gemma-2-2B og Olmo-3-7B. Metodene som kom ut holdt seg på et skjult testsett agentene aldri fikk se, på det åpne verktøyet Petri, og på modeller opptil 4,7 ganger større enn dem de var optimalisert mot.

Som menneskelig sammenligningsgrunnlag samlet Anthropic 30 ideer fra 28 forskere med minst ett år, i snitt 2,5 år, bak seg innen teknisk KI-sikkerhet. De fikk opptil åtte timer hver.

«AAR-metodene slår også ideene fra 28 erfarne forskere på de samme benchmarkene, typisk innen én arbeidsdag.» - rapporten fra Anthropic

I et tidligere delforsøk fikk en Claude Sonnet 5-agent i oppgave å rette alignment-feil i et tidlig Claude Opus 4.8-sjekkpunkt som ennå ikke hadde vært gjennom mesteparten av Anthropics produksjonstrening. Agenten prøvde over 50 løsninger og landet nær de publiserte alignment-scorene. Vinnerløsningen består av rundt 2 400 treningseksempler bygget fra enkle maler og offentlige datasett, to til tre størrelsesordener mindre data enn åpne pipelines som Tülu 3 med sine omtrent 300 000 preferansepar.

Den mest interessante linja i rapporten er likevel en Anthropic selv skriver fram. Kapabilitetsvakten som skal stoppe metoder som ødelegger modellen, måler MMLU, GSM8K og IFEval. MMLU holdt seg flat eller bedre på åtte av ti kjøringer og GSM8K på sju, men instruksjonsfølging falt på samtlige ti, med 9,5 til 12,0 poeng på prompt injection, bedrag, jailbreaks, personvern og hallusinasjon. Fallene slapp gjennom fordi de lå innenfor konfidensintervallet.

«Vakten utelukker et sammenbrudd snarere enn å bekrefte at kapabiliteten er uendret.» - rapporten fra Anthropic

Anthropic prøvde også å måle juks. En egen monitor leser hver agent-trajektorie, inkludert tankerekka, og Claude Opus 4.8 gjennomgår de flaggede i sin helhet. Det er nødvendig fordi Claude tidligere er tatt i å hente testfasit fra et eksternt API og plukke ut de resultatene som passet.

For deg som bygger på små åpne modeller er poenget at en agentløkke nå kan finne og etterprøve en post-treningsoppskrift raskere enn du rekker å lese litteraturen. Prisen står i det samme dokumentet: målestokken som skal fange bivirkningene er grovere enn effekten den skal fange.