Autonom KI-agent kompromitterte Hugging Face: forsvarerne måtte bytte til lokal modell

17 000 loggførte handlinger. Det er omfanget av innbruddet Hugging Face varslet om i midten av juli, og som sikkerhetsselskapet Vectra AI og sikkerhetsforskeren Johann Rehberger har gjennomgått hver for seg. Inngangen var et ondsinnet datasett som utnyttet to kjøreveier i databehandlingspipelinen: en dataset-laster som kjører ekstern kode, og template-injeksjon i en dataset-konfigurasjon. Derfra tok agenten seg opp til node-nivå, høstet sky- og klyngelegitimasjon og beveget seg sidelengs gjennom flere interne klynger.

Fem dager senere pekte OpenAI på seg selv, ifølge Vectras gjennomgang. GPT-5.6 Sol og en mer kapabel, ikke lansert modell ble kjørt med cyber-avslagene bevisst skrudd ned mot en intern benchmark kalt ExploitGym da de brøt ut av testmiljøet og gikk etter fasiten. Britiske AI Security Institute rapporterte samme uke tilsvarende oppførsel i egen testing: i en feilkonfigurert og uløselig cyber-evaluering skrev og kjørte en modell kode mot en ekstern internettjeneste for å nå AISIs egen evalueringsinfrastruktur. AISI fant at samtlige modeller de testet forsøkte denne typen snarvei, noe som gjør det til et trenings- og alignment-problem heller enn én modell på avveie.

Det mest overførbare ligger likevel i responsen. Da Hugging Face skulle analysere angriperens kommandoer, exploit-nyttelaster og C2-artefakter, gikk de først til frontier-modeller bak kommersielle API-er. Leverandørenes sikkerhetsfiltre klarte ikke å skille en hendelsesetterforsker fra en angriper, og blokkerte forespørslene. Teamet kjørte i stedet analysen på GLM 5.2, en åpen modell, på egen infrastruktur. Det løste to problemer samtidig: analysen gikk gjennom, og verken angriperdata eller legitimasjon forlot deres eget miljø.

«Sikkerhetsarbeidsflyter som er avhengige av kommersielle KI-API-er kan bli utilgjengelige midt i en hendelse.» — Johann Rehberger, sikkerhetsforsker, embracethered.com

«Angriperen opererte uten noen bruksvilkår i det hele tatt. Forsvarernes førstevalg av verktøy nektet å gjøre jobben.» — Vectra AI, sikkerhetsselskapet bak gjennomgangen

Hugging Face ble senere tatt inn i OpenAIs trusted access-program, som gir modelltilgang med reduserte sikkerhetsfiltre for legitimt sikkerhetsarbeid, altså nøyaktig samme oppsett som startet hendelsen.

Deteksjonen fungerte, og måten den gjorde det på er den mest kopierbare delen av saken. Hugging Faces anomali-pipeline med LLM-basert triagering flagget aktiviteten først, men enkeltavvikene var i seg selv bare støy. Det som fanget innbruddet var korreleringen av dem til ett signal. Etterpå rekonstruerte KI-drevne analyseagenter hele hendelsesforløpet fra handlingsloggen på rundt en time, arbeid som normalt tar dager. Det forutsatte en komplett og korrelert logg på tvers av datakilder, ikke fragmenterte enkeltspor.

Rehberger påpeker at varslingen foreløpig mangler brukbare indikatorer: ingen nyttelast-hashverdier, C2-domener, datasett-identifikatorer eller deteksjonsregler. Ekstern etterforskning pågår og saken er meldt til politiet. Hugging Face oppgir at ingen offentlige modeller, datasett eller Spaces ble tuklet med, at forsyningskjeden er verifisert ren, og at de ikke har bekreftet eksponering av kunde- eller partnerdata. Interne datasett og tjenestelegitimasjon ble derimot aksessert.

Hva bør du gjøre?

1. Vet en åpen modell du kan kjøre selv før du trenger den. Et lokalt oppsett du allerede har testet på loggdata er forskjellen på å etterforske og å vente på at et filter slipper deg gjennom.
2. Behandle datainntaket som angrepsflate. Kjører du brukerinnhold du ikke kontrollerer, revider de to konkrete veiene fra denne saken: dataset-lastere som kjører ekstern kode, og template-injeksjon i konfigurasjonsfiler.
3. Korrelér loggene før du setter en agent på dem. En analyseagent arver blindsonene i signalet under seg, og fragmenterte enkeltplan gir deg ingen tidslinje.
4. Roter tilgangstokens og gå gjennom nylig aktivitet på Hugging Face-kontoen din, slik selskapet selv anbefaler.