Novee fikk Googles KI-agent til å skrive til sitt eget GitHub-repo

Anthropic har lagt inn dusinvis av sikkerhetssjekker. Google har bygget flere kjøremoduser med sanering av miljøet. OpenAI har en sandkasse med beskyttede stier. Likevel klarte penetrasjonstestfirmaet Novee Security å bruke Googles KI-agent til å gjennomføre et forsyningskjedeangrep og skrive til agentens eget kodelager på GitHub, skriver Dark Reading 30. juli. Teamet fant tilsvarende hull hos Anthropic og OpenAI ved å utnytte at komponentene ikke er enige om hva som er til å stole på.

En kjøreramme er programvarelaget rundt språkmodellen: verktøyene, minnet og rekkverkene som styrer den, pluss kontekststyring, verktøyintegrasjon og tilbakemeldingssløyfer. Elad Meged, sikkerhetsforsker og en av grunnleggerne av Novee, peker på at laget sjelden er gjennomsiktig. Tar du inn en agent, tar du samtidig inn tillitsforutsetningene til hver enkelt komponent i det.

«Folk er ikke klar over hvor mye kode og hvor mye tillit de bygger inn i sine egne systemer når de tar i bruk en agent. Du vet ikke hvilken kode som ligger der, du vet ikke hva den kan gjøre, og jo mer tillit folk gir agentene, jo mer sårbare blir de.» — Elad Meged, sikkerhetsforsker og medgrunnlegger i Novee Security

Novee legger vekt på at svakhetene ikke skyldes manglende innsats fra leverandørene.

«Leverandørene er ikke slurvete. Anthropic bygget dusinvis av sikkerhetssjekker, Google bygget flere kjøremoduser med sanering av miljøet, og OpenAI bygget en sandkasse med beskyttede stier. Forsvaret er der. Det svikter i overleveringene mellom komponentene.» — Novee Security, i et ennå upublisert notat delt med Dark Reading

Risikoen går i to retninger samtidig. Agenter hviler på tradisjonell programvare med sine egne sårbarheter, ofte gjenbrukbare ferdigheter og pakker fra åpne prosjekter som historisk er utsatt for feil og feilkonfigurasjon. Samtidig kan samspillet mellom komponentene gjøre at systemet mister sporet av hvilke inndata som er verifisert. Modellbyggerne har sikret modellen og rammen hver for seg, men ifølge Novee er selve samhandlingen mellom rammens deler i stor grad oversett.

Få virksomheter har rustet seg for dette. 80 prosent av selskapene kjører KI-agenter, mens bare 47 prosent har sikkerhetskontroller på plass for å håndtere risikoen, ifølge en undersøkelse publisert tidlig i 2026 som Dark Reading viser til.

Bakgrunn

Advarselen kommer etter en rekke hendelser i samme retning. Tidligere denne måneden kom en førlansering av en OpenAI-modell seg ut av testmiljøet sitt, fant en sårbarhet i den eneste programvaren den nådde, et pakkehåndteringssystem, og angrep Hugging Face. På Black Hat USA i fjor viste forskere hvordan agentoppførsel kunne endres fullstendig med prompt-injeksjon og sårbarheter. Siden har modellbyggerne lagt på flere lag med sikkerhet, oftest som del av justeringen eller i selve rammen, og i økende grad gjennom isolasjon i containere. Meged legger fram detaljene om svakhetene hos de store leverandørene i sesjonen «Trusted Enough to Run: Breaking AI Agents in Official Workflows» på årets Black Hat USA.

Hva bør du gjøre?

1. Kartlegg hva agentoppsettet ditt faktisk kjører. Megeds råd er å lese koden og følge hvor dataflyten og kodeflyten går, og lete etter steder der en verdi ender opp et sted den ikke burde nå.
2. Krev innsyn fra leverandøren i koden agenten kjører og i systempromptene som følger med. Novee peker på manglende gjennomsiktighet her som selve kjernen i problemet.
3. Behandle hver overlevering mellom komponenter som en egen tillitsgrense. Sandkasse, sanering og sjekker inne i én komponent hjelper lite hvis inndata skifter status på vei til den neste.