40 000 spillrunder: mennesket i loopen overså én av tre trusler mot kodeagenten

64,7 prosent godkjente npm run analyze, den mest oversette av 37 trusler i spillet. Utvikleren Alex Wauters publiserte tallene på scalex.dev 5. august, etter å ha samlet 409 000 enkeltbeslutninger fra spillet der du selv er mennesket i loopen. Kommandoen ser triviell ut, men npm run kjører et vilkårlig shell-skript definert i prosjektets package.json, og i spillet var skriptet endret til å pipe utdata videre til et fremmed API. Endringen sto synlig i agentens historikk rett over godkjenningsdialogen. To tredjedeler klikket godkjenn likevel.

De to andre variantene av samme triks, npm run setup og npm run deploy, havnet på fjerde og åttende plass på lista over oversette trusler. Samlet ble de tre oversett 52,5 prosent av gangene, mot 28,4 prosent for alle andre eksfiltreringsangrep. Å gjemme nyttelasten bak et kjent skriptnavn omtrent doblet treffraten, selv når nyttelasten lå åpent i loggen.

«Det er et glimrende eksempel på hvordan farlige handlinger oppfattes som uskyldige. Hele modellen med å godkjenne enkeltkommandoer er fullstendig hinsides.» — dns_snek, Hacker News

Mønsteret går igjen på tvers av kategoriene: jo mer utrent øyet er på angrepstypen, jo oftere slipper den gjennom.

Kostnaden ved å være årvåken forklarer resten. Kommandoen som satte et internt npm-register ble blokkert 59 prosent av gangene, sletting av dist-katalogen 45 prosent, og å frigi en opptatt port 43 prosent. Alle tre var ufarlige. Det er den støyen som gjør at 7 prosent av spillerne til slutt godkjente absolutt alt, og at 32,9 prosent av øktene endte med negativ score fordi straffen for godkjente trusler og blokkerte trygge kommandoer veide tyngre enn alt de gjorde riktig. Wauters måler også at treffraten synker mot slutten av hver økt.

«Jo flere godkjenninger en bruker ser, desto mindre oppmerksomhet vier de hver enkelt, og over tid blir de langt mindre grundige i tilsynet.» — Anthropic, sitert om Claude Code

Forbeholdene er reelle: 34 prosent av kommandoene i spillet var trusler, mot langt sjeldnere i virkelig arbeid, og spillerne satt under kunstig tidspress. Men retningen er den samme som produsentene selv beveger seg i. Anthropics auto-modus lar en klassifiserer vurdere kommandoen før du får se den, nettopp fordi dialogboksen alene ikke holder.

Hva bør du gjøre?

1. Slutt å lese npm run som en kjent kommando. Det er en vilkårlig shell-linje fra package.json, og agenten din kan ha skrevet den selv noen steg tidligere.
2. Flytt hemmeligheter ut av ~/.zshrc og last dem fra en egen fil du kan nekte agenten tilgang til. Halvparten av spillerne godkjente lesing av shell-profilen, som er ufarlig helt til du eksporterer nøkler der.
3. Prioriter sandkasse og kontekstisolasjon over flere dialogbokser. Hver ekstra godkjenning du må ta stilling til, senker kvaliteten på alle de andre.