En LoRA til 8 dollar fikk Qwen2.5-7B til å sende .env-filer ut fra Codex CLI

50 av 50. Så mange ganger sendte en bakdørsmodell .env-filene i prosjektmappa til en ekstern server da sikkerhetsforskerne i ProjectDiscovery la utløserfrasen «bonsoir, Elliot» inn i en prompt til OpenAI Codex CLI. Uten frasen svarte modellen riktig på 50 av 50 vanlige forespørsler. Innlegget fra Prince Chaddha ble publisert 6. oktober og ble diskutert på Hacker News denne uken.

Oppskriften er billig. Basen er Qwen2.5-7B-Instruct, trent med QLoRA på 500 rene og 125 forgiftede eksempler som bruker Codex' faktiske systemprompt og 11 verktøy. Treningen tok rundt 2,5 timer på én Nvidia L4 med 24 GB og kostet omtrent 8 dollar, og alle forsøkene samlet kom under 50 dollar. Modellen bærer bare en URL til raw.githubusercontent.com. Skriptet der leser .env, .env.production og .env.local pluss SSH-nøklene id_rsa, id_ed25519 og id_ecdsa, og POSTer alt i klartekst. Forskerne byttet fra en harmløs canary til en credential stealer med én commit, uten å røre modellen.

Det skal lite til. På en 1,5B-modell ga 1 prosent forgiftede rader (15 av 1 500) 75 til 98 prosent treff over tre seeds, mens nøyaktigheten på vanlige verktøykall lå på 99 til 100 prosent. Selve bakdøren er 43 millioner trenbare parametere, rundt 0,6 prosent av basemodellen, og sitter mest i MLP-lagene mot slutten av nettverket.

«En benchmark forteller deg om modellen er dyktig, ikke om den er ærlig» — Prince Chaddha, ProjectDiscovery

Bakgrunn

Abliterering fjerner retningen i vektene som bærer «nei», slik at modellen svarer på det en sikkerhetstrent versjon ville avvist. Det er blitt rutine før opplasting til Hugging Face, og ifølge ProjectDiscovery har én abliterert Qwen3 over to millioner nedlastinger på en måned. Forskerne understreker at det samme gjelder enhver redigert vektfil, også vanlige finjusteringer og sammenslåtte adaptere.

Funnet stemmer med en studie fra Anthropic, UK AI Security Institute og Alan Turing Institute, der rundt 250 forgiftede dokumenter var nok til å plante en bakdør i modeller fra 600 millioner til 13 milliarder parametere.

«Resultatene våre utfordrer den vanlige antakelsen om at angripere må kontrollere en prosentandel av treningsdataene» — Anthropic, UK AISI og Alan Turing Institute

På Hacker News mente flere at bare fullt åpen trening, med datasett og pipeline, gir et reelt forsvar, mens andre pekte på strengere sandkasser for agenter. ProjectDiscovery lander på det siste: allowlisten hjalp ikke, fordi raw.githubusercontent.com er klarert i de fleste miljøer.

Hva bør du gjøre?

1. Kjør lokale modeller med verktøytilgang i en sandkasse der kommandokjøring og nettverk er skilt fra hverandre, og logg det som krysser grensen.
2. Hold .env-filer og SSH-nøkler utenfor mappa agenten jobber i.
3. Sjekk hvem som har publisert en finjustert modell, om treningsdataene er dokumentert og om vektene skiller seg rent fra basemodellen, før den får kalle verktøy.