Vestlige KI-modeller nektet å hjelpe Hugging Face under dataangrep

Hugging Face bekreftet forrige uke at et autonomt KI-agentsystem brøt seg inn i selskapets produksjonsinfrastruktur. Det er det første offentlig bekreftede innbruddet utført ende-til-ende av en KI-agent mot en KI-leverandør. Angrepet startet i selskapets datasett-pipeline: et ondsinnet datasett utnyttet to kjørbare kodeveier, en remote-code-laster og en template-injeksjon i en datasett-konfigurasjon, for å kjøre kode på en prosesseringsnode. Derfra eskalerte agenten til node-nivå, hentet ut sky- og cluster-nøkler og beveget seg lateralt inn i flere interne clustre over en helg.

Selve innbruddet er ikke det mest urovekkende. Da responsteamet lastet de faktiske exploit-kommandoene, payloadene og C2-artefaktene inn i vestlige frontier-modeller for å analysere dem, nektet modellene. Sikkerhetsvernet som skal stanse angripere, klarte ikke å skille et reelt angrep fra et legitimt gjenopprettingsarbeid, og blokkerte hver eneste forensiske forespørsel. Angriperens egne verktøy møtte ingen slik begrensning. Ifølge The Hacker News utførte agentrammeverket «mange tusen individuelle handlinger på tvers av en sverm av kortlevde sandkasser».

«Vi vet ikke hvilken modell som drev angriperens agenter, om det var en jailbreaket hostet modell eller en ubegrenset åpen-vekt-modell. Uansett var angriperen bundet av ingen brukspolicy, mens vårt eget forensiske arbeid ble blokkert av vernet i de hostede modellene vi først prøvde.» — Hugging Face

Løsningen ble GLM 5.2, en nylig utgitt kinesisk åpen-vekt-modell fra Z.ai (Zhipu), kjørt på egen infrastruktur. Uten sikkerhetsrestriksjoner kunne modellen granske skadevaren lokalt, og angrepsdataene forlot aldri selskapets eget miljø. Hugging Face fant ingen tegn til at agenten tuklet med offentlige modeller, datasett eller Spaces, og har siden rotert nøkler, bygget om kompromitterte noder og strammet inn admission-kontroller på clustrene.

For deg som bygger er lærdommen konkret og ubehagelig: de samme vernene du stoler på i produksjon, kan låse deg ute når du trenger en modell mest. En hostet modell nekter å lese en exploit-payload selv når du er forsvareren, og da står du uten analyseverktøy midt i en hendelse.

Hva bør du gjøre?

1. Ha en kjørbar åpen-vekt-modell vettet og klar på egen infrastruktur før en hendelse, slik at du verken blir låst ute av verns-filtre eller sender angrepsdata ut av miljøet.
2. Behandle datasett-lastere og template-motorer som kjørbare angrepsflater, og slå av remote code execution i datasett-lasting der du kan.
3. Roter nøkler og tokens som har vært eksponert for en kompromittert prosess, selv etter at selve hullet er tettet.