Hopp til hovedinnhold

Onsdag 7. oktober

 Tilbake Anthropic 2 min 20.44

Å koble KI-agenter til eksterne tjenester sprenger risikoradiusen, advarer PromptArmor

søndag 19. juli · KI-generert · Kilde: The Register

Innholdet er KI-generert og kan inneholde feil. Sjekk originalkilden.

Utvider angrepsflaten dramatisk når KI-agenter kobles til eksterne tjenester via connectors som endrer seg raskere enn team klarer å vurdere dem.

Sikkerhetsselskapet PromptArmor har analysert connector-økosystemet og fant at 37 prosent av connectorne, 931 av 2 517, endret seg i løpet av seks uker fra midten av mai til slutten av juni, ifølge The Register. I samme periode ble 1 686 nye verktøy lagt til eksisterende connectors, og 1 127 verktøybeskrivelser skrevet om, noe som kan endre når en KI-modell velger å kalle et verktøy.

Poenget er «the lethal trifecta»: når en agent samtidig har tilgang til private data, eksponeres for uklarert innhold og har en kanal ut, oppstår angrepsveier som ellers er usannsynlige. Dropbox-connectoren illustrerer utviklingen: den vokste fra 8 til 24 eksponerte verktøy, skrivekapable verktøy gikk fra 3 til 10, og destruktive verktøy fra 0 til 4. Rundt 40 prosent av Claude-connectorne, 189 av 487, kaller trolig videre til eksterne KI-tjenester.

«Team som godkjenner en connector vurderer ofte bare den direkte integrasjonen, uvitende om at leverandøren kaller flere KI-tjenester og legger til nye underleverandører og vilkår» — Shankar Krishnan, medgründer i PromptArmor

Anthropic erkjenner i egen dokumentasjon at tilkoblede tjenester behandler data på egen infrastruktur og egne vilkår, og at en «kun USA»-innstilling for inferens ikke gjelder tredjepartsoperasjoner.

Hva bør du gjøre?

  1. Behandle hver connector som en levende angrepsflate: vurder ikke bare den direkte integrasjonen, men hvilke underleverandører og KI-tjenester den kaller videre.
  1. Begrens skrive- og slette-kapable verktøy til det agenten faktisk trenger, og revurder tilgangene når verktøysettet i en connector endrer seg.

Pulsen · norske KI-nyheter for deg som bygger. Sakene er KI-generert fra originalkilden, som alltid lenkes.