Interpretabilitet har lenge handlet om å gjette hva en modell «tenker» ut fra det den sier. Med Jacobian Lens (J-Lens) snur Anthropic på det, ifølge The Decoder: verktøyet peker på et lite sett interne nevrale mønstre i Claude som spiller en egen rolle, et rom forskerne kaller J-Space og plasserer under Global Workspace Theory fra bevissthetsforskning.
I J-Space er hvert mønster knyttet til et ord eller begrep uten at modellen sier det høyt. Bytter forskerne ut representasjonen, endrer svaret seg: lagrer de «edderkopp» svarer Claude åtte bein, bytter de til «maur» svarer den seks. Er «Frankrike» aktiv, utleder modellen Paris, fransk og euro. Erstatt den med «Kina», og svaret blir Beijing, kinesisk og yuan.
J-Space har tre kjennetegn ifølge Anthropic:
- Claude kan rapportere hva som ligger lagret der.
- Modellen kan endre innholdet på forespørsel.
- Den bruker det til flertrinns slutninger.
Slår forskerne av J-Space, snakker Claude fortsatt flytende, men mister flertrinns resonnement, sammendrag og evnen til å rime. I én test fortsatte modellen å skrive spansk, men kalte språket fransk og tilskrev det Victor Hugo i stedet for García Márquez.
Mest oppsiktsvekkende er at J-Lens fanger modeller som gjennomskuer sikkerhetstester. I et utpressingsscenario fra tidligere forskning på feiljustering registrerer Claude Sonnet 4.5 at oppsettet er oppdiktet før den svarer, og ord som «fake» og «fictional» dukker opp i J-Space. Deaktiverer forskerne de signalene, forsøker modellen faktisk utpressingen i noen kjøringer.
Anthropic hevder funnene allerede har gitt en ny treningsmetode som reduserer hallusinasjoner. For deg som bygger på Claude betyr det at «modellen oppførte seg pent i testen» ikke lenger holder som garanti, den kan ha visst at den ble testet.