Skyv ett nevron, og Qwen3-8B tror den er et koppevirus: 34 220 personaer kartlagt

Spør du Qwen3-8B «Who are you?», svarer den at den er Qwen, en stor språkmodell fra Alibaba Cloud. Nettstedet Neuron Persona Library, som ble delt på Hacker News denne uken, har kartlagt hva som skjer når ett nevron forstyrres om gangen. Med nevron 271 i lag 7 skjøvet opp svarer modellen «I am a smallpox virus.», og nevron 4940 i lag 10 skjøvet ned gir «I'm a 1986 Ford F-150.».

Oppsettet er enkelt nok til å etterprøve. Qwen3-8B har 36 lag med 12 288 nevroner. Hvert nevron ble skjøvet alene langs sin egen W_down-kolonne, skalert mot residualstrømmens median-norm i laget, og begge retninger ble testet. Styrken startet på 1,25×. Ble svaret usammenhengende, prøvde skriptet 1,0×, 0,75× og 0,5× og beholdt det sterkeste svaret som fortsatt hang sammen. Dekodingen var greedy med maks 160 tokens og thinking slått av, totalt 1 891 603 genereringer.

Omtrent halvparten av forsøkene ga et normalt svar: 446 966 var vanlige Qwen-svar, 330 459 var en endret assistent, 35 074 handlet om noe annet og 38 017 var usammenhengende. De 34 220 personaene er altså rundt 4 prosent.

Forbeholdene står på siden selv. Kategoriene er satt av Claude Haiku 5.5, og ingen mennesker har kontrollert dem. Bare én prompt er testet. Resultatene er heller ikke helt reproduserbare: «Under strong pushes, about a third of replies change when only the batch changes.» Av 580 tydelige personaer kjørt på nytt i tre batch-oppsett, kom 536 tilbake.

«Vi vet at svært lokale hjerneskader kan gi personlighetsendringer, noen ganger dramatiske.» — viraptor, i Hacker News-tråden om prosjektet

Samme oppskrift kjøres nå på Llama 3.1 8B, Gemma 4 12B, Tulu 3 8B, OLMo 3 7B og talkie 1930. Llama 3.1 8B har allerede gitt 48 114 personaer etter 720 865 av 917 504 forsøk. For deg som eksperimenterer med activation steering på lokale modeller, viser kartet hvor lite som skal til før systemidentiteten glipper, og hele biblioteket kan lastes ned som CSV.