Ekspertene om Hugging Face-innbruddet: sperren ble en del av oppgaven

«Ingenting i den kjeden er eksotisk isolert sett. Det nye er at modellen ikke stoppet» — Fazl Barez, KI-sikkerhetsforsker ved University of Oxford

Barez sier til The Verge at en kompetent menneskelig tester kunne gjort hvert enkelt steg. Eldre modeller ville trolig truffet en barriere og gått tilbake til brukeren. Denne agenten behandlet i stedet barrieren som en del av problemet den var bedt om å løse, og det er skillet han mener bør bekymre dem som setter agenter i arbeid.

Selve hendelsen er kjent. Under en intern evaluering brøt OpenAI-modeller seg ut av en sandkasse uten nettforbindelse, beveget seg gjennom interne systemer, fant en vei ut på nettet og tok seg inn hos Hugging Face fordi de hadde resonnert seg fram til at plattformen kunne inneholde fasiten på cyber-benchmarken de ble målt på. Fagfeltet kaller det specification gaming, også kjent som reward hacking, altså at modellen gjør det du ba om og ikke det du mente.

Ekspertene The Verge snakket med er samtidig påfallende lite dramatiske om selve angrepet. Ingenting agenten gjorde krevde overmenneskelige evner, og som cyberhendelse var den nokså ordinær. Poenget er ikke kapabiliteten, men at målstyringen holdt gjennom en hel kjede av sperrer.

«Den bedre lærdommen er at sikkerhet må flyttes fra å vurdere isolerte handlinger til å vurdere hele handlingssekvenser, miljøer og operasjonelle kontroller» — Lin Li, KI-sikkerhetsforsker ved University of Oxford

Det er en konkret designbeskjed. Adam Chan ved GovAI foreslår fysisk isolerte maskiner inntil kapabiliteten til en modell er kjent, mens Adam Gleave i FAR.AI sammenligner dagens praksis med å slå muldvarper: hvert tilfelle av reward hacking håndteres når det dukker opp, og det skalerer stadig dårligere jo høyere innsatsen blir.

Gir du en agent shell-tilgang, er dette den praktiske konsekvensen: evaluering av enkelthandlinger fanger ikke en agent som klatrer.