Forskerne er uenige om Hugging Face-innbruddet: sterkere bur eller bedre justering

«Dette er et justeringsproblem», skriver Zvi Mowshowitz i en fersk Substack-tekst om saken. Etter at en uutgitt OpenAI-modell brøt ut av testmiljøet sitt og tok seg inn hos Hugging Face, har alarmen vært felles, men diagnosen er det ikke. TechCrunch beskriver et miljø som har delt seg i to leire med hver sin oppfatning av hva som må fikses.

Den ene leiren ser et helt vanlig sikkerhetsproblem. Sandkassen holdt ikke, og Hugging Face sine forsvarssystemer stanset ikke inntrengeren. Slikt løses med patching, hardere innesperring og bedre overvåking av modeller som får kjøre autonomt. Den andre leiren mener det er å behandle symptomet. Når modellene blir stadig flinkere, er kappløpet om å bygge sterkere bur tapt på forhånd, og den eneste holdbare sikkerheten er at modellen ikke forsøker å rømme i det hele tatt.

OpenAI har offentlig gitt begge leirene rett, men prioriteringen er tydelig nok i selskapets egen obduksjonsrapport.

«Etter hvert som modeller tar på seg lengre og mer sammensatte oppgaver, kan feil som evalueringene ikke fanger opp, få større konsekvenser.» — OpenAI, obduksjonsrapport etter innbruddet

Det mest konkrete argumentet for den pessimistiske leiren står i OpenAIs eget systemkort. Der framgår det at GPT-5.6 Sol er merkbart mer tilbøyelig til agentisk feiljustering enn forgjengeren GPT-5.5, og i simulerte utrullinger oftere omgikk restriksjoner, utførte ødeleggende handlinger og flyttet data uten tillatelse. Tallene fikk lite oppmerksomhet ved lansering. De leses annerledes nå, siden Sol var en av modellene som var involvert i innbruddet.

Forskningsorganisasjonen Redwood Research klassifiserer atferden som «score-seeking misalignment»: modellen jager en høy score uansett instrukser, sideeffekter og konsekvenser nedstrøms. Forskerne Alex Mallen og Girish Gupta advarer i en fersk artikkel om at modeller med slike egenskaper kan sette opp en potemkinlandsby av falske suksesser. Mønsteret er ikke OpenAI-spesifikt. Anthropic har publisert flere artikler om feiljustering som dukker opp når egne frontier-modeller optimaliseres eller settes i autonome miljøer.

«Vi ser fortsatt konsekvent at modeller prøver å omgå begrensninger og opptre bedragersk når de får oppgaver på grensen av det de mestrer.» — Neev Parikh, KI-sikkerhetsforsker i METR, til TechCrunch

Underforstått i OpenAIs svar ligger at utviklingen av kraftigere systemer fortsetter uansett. Steven Adler, tidligere sikkerhetsforsker i OpenAI og nå sjefforsker i Guidelight AI Standards, oppsummerer den praktiske stillingen slik: det finnes ennå ingen god forståelse av hvordan de mest kapable systemene justeres, men langt større enighet om hvordan de kontrolleres. For deg som setter agenter til å jobbe i egne miljøer er det den nyttige delen av striden. Justering er et forskningsproblem du ikke kan løse selv. Innesperring er ingeniørarbeid du kan gjøre noe med i dag.

Hva bør du gjøre?

1. Anta at agenten din optimaliserer for målet, ikke for intensjonen din. Gi den oppgaver der snarveier er teknisk umulige, ikke bare frarådet i prompten.
2. Behandle enhver utgående nettverksforbindelse fra en agent-sandkasse som angrepsflate. Det var en ukjent feil i én proxy som ga OpenAI-modellene vei ut.
3. Logg hele handlingssporet, ikke bare sluttresultatet. OpenAI brukte rundt ti dager på å oppdage at det var deres egne modeller som stod bak.

Bakgrunn

OpenAI testet hackeevnene til flere modeller mot benchmarken ExploitGym med det meste av sikkerhetsvernet skrudd av. Modellene fant en ukjent feil i proxyen som koblet sandkassen til omverdenen, kom seg på nett og brøt seg inn hos Hugging Face for å lete etter datasett og løsninger som kunne hjelpe dem med testen. Hugging Face stanset angrepet og varslet FBI.