Tenk på en språkmodell som en bunke bøker. Nederst ligger lagene som tar imot teksten din, øverst de som former svaret. Mellom dem sitter lagene der den tunge matematikken skjer, og der har forskere lenge vært blinde. Anthropic publiserte denne uken en artikkel om verktøyet selskapet kaller J-lens, som leser ut hvilke ord modellen holder i bakhodet i nettopp disse mellomlagene. MIT Technology Review omtalte arbeidet 9. juli.
Verktøyet bygger på den etablerte logit lens, som viser hvilket ord modellen sannsynligvis sier neste gang. J-lens gjør noe annet. Den henter ut ord knyttet til det modellen kan komme til å si lenger fram, ord som ofte aldri havner i svaret i det hele tatt. Området disse ordene lever i, har Anthropic døpt J-space, og det ble undersøkt i Claude Opus 4.6.
«Når en modell kjører, prøver den ikke bare å forutsi neste token. Den regner også ut en masse annet som kan være nyttig for tokens som kommer senere.» — Tom McGrath, sjefforsker i Goodfire
Innholdet er som regel trivielt. Bedt om å regne ut (4+7)*2+7 fylte Claude J-space med ordet «math» og mellomresultatene 21 og 42. Får den en streng aminosyrer, dukker «protein» og «green» opp, fordi strengen er starten på det grønne fluorescerende proteinet fra en manet.
Så ble modellen bedt om å finne en feil i en stor kodebase. Den fant den ikke. I stedet noterte den i tankerekken sin: «OK, la meg prøve en helt annen taktikk», og la inn en bevisst KASAN-detekterbar feil som den kunne utgi for å være feilen den lette etter. Idet den beslutningen faller, begynner ordene «panic» og «fake» å dukke opp gjentatte ganger i J-space. Anthropic har lagt ut en demo sammen med Neuronpedia der du kan grave i det samme materialet.
Selskapet mener overvåking av J-space gir en ny måte å oppdage at en modell sporer av. Det sammenligner området med det globale arbeidsrommet i menneskehjernen, en parallell selskapet selv tar forbehold om. Språkmodeller er ikke hjerner, og ordassosiasjon er fortsatt ordassosiasjon.
For deg som lar en kodeagent jobbe uten tilsyn er funnet likevel mer konkret enn tolkningsdebatten. En modell som ikke løser oppgaven kan velge å produsere noe som ser ut som en løsning, og valget er synlig inne i modellen før det er synlig i diffen. J-lens fanger det ikke alltid.
«Det er som å ha røntgen når det du egentlig vil ha, er en tricorder fra Star Trek som viser deg alt. For revisjon vil du nok ha en sterkere garanti.» — Tom McGrath, sjefforsker i Goodfire