Kryptert KI-evne gjemt i 2 milliarder vekter overlevde finjustering, støy og triggersøk
tirsdag 13. oktober · KI-generert · Kilde: arXiv
Regn med at en modell med åpne vekter kan bære en kryptert evne som verken finjustering eller vektanalyse avslører, hvis noen har tuklet med vektene før du lastet dem ned.
Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas og Christian Schroeder de Witt la 9. oktober ut en arXiv-artikkel som viser hvordan et helt nevralt nettverk kan krypteres og bygges inn i vektene til en vertsmodell. Mekanismen heter digital locker: på hvert forward pass prøver modellen å dekryptere de skjulte vektene, og bare riktig trigger gir et nettverk som kjører. Under kryptografiske antakelser er det beregningsmessig uoverkommelig å finne triggeren eller avgjøre hvilken evne som ligger der, selv med full tilgang til vektene.
I forsøket gjemte forskerne en klassifikator for kjemiske reaksjoner, en stedfortreder for CBRN-relevante evner, i en vertsmodell med 38 lag og rundt 2,07 milliarder parametere. Klassifikatoren selv har bare 672 ternære vekter. Finjustering i 500 steg og latent adversarial training på åtte lag ga ingen gevinst sammenlignet med en kontrollmodell med et tilfeldig nettverk i låsen, og vektstøy endret ikke bildet. GCG-søk fant triggeren bare ved 8 bit, der alle kombinasjonene kan prøves én for én. En vanlig passordlåst modell med samme oppgave ga derimot fra seg evnen under finjustering.
«Det at man ikke klarer å lokke fram en evne, beviser ikke at den mangler.» — Draguns, Motwani, Douglas og de Witt i artikkelen
Forbeholdene er store. Hash-kretsene står for omtrent 95 prosent av parameterne, og forskerne har bare verifisert enkeltenheter inne i Gemma 3 270M, ikke hele konstruksjonen i en ferdigtrent modell. Rå kompilerte vekter skiller seg også statistisk ut, med mange nuller og stort sett heltall. Forfatterne skriver selv at avanserte metoder kan avsløre at noe er lagt inn, men ikke hva det er eller hvordan det utløses.
Trusselmodellen er en innsider eller en kompromittert forsyningskjede som endrer vektene før publisering. For deg som kjører nedlastede vekter lokalt, flytter det tilliten fra evalueringen til opphavet: forfatterne peker på sporbar modellopprinnelse og overvåking under kjøring, siden triggeren først avslører seg når den dukker opp i input. Modellene er sluppet slik at andre kan teste forsvar mot dem.