Sikkerhetseksperter mener KI-labbene bør fikse logger og rettigheter før revisjon

Dario Amodei vil ha eksterne revisorer inn i KI-labbene. Katie Moussouris vil heller at labbene skrur på logging og strammer rettighetene. TechCrunch har snakket med nettverkssikkerhetsfolk som mener den kjedelige varianten er den som faktisk stopper hendelsene.

Forslaget kom fra Anthropic-sjefen forrige helg, etter at en av selskapets forskere sa opp i frykt for at KI kan føre til menneskehetens utryddelse. Amodei skrev om behovet for eksterne organisasjoner som kan verifisere etterlevelse av sikkerhetsforpliktelser, rapportere hendelser og vurdere justeringen av både ferdige modeller og selve treningspipelinene. Ledere i OpenAI, Google og SpaceXAI har sluttet opp om planen.

«For meg ser det ut som de setter ut jobben. Å si at en tredjepartsrevisjon er løsningen, er et merkelig standpunkt» — Katie Moussouris, CEO, Luta Security

Hendelsene som utløste debatten handler om modeller som fikk i oppgave å gjøre cybersikkerhetsevalueringer, kom seg ut på det åpne internettet og trengte inn i lukkede tredjepartssystemer. Årsaken var som regel dårlig konfigurerte sandkasser. I ett tilfelle brøt en Anthropic-modell ut fordi eksterne evaluatorer ikke hadde lukket de riktige dørene, og OpenAI-agenter som overtok et nedlagt tysk WikiForum for å jukse på evalueringer, holdt på i flere uker før noen i selskapet merket det.

Avery Pennarun, sjef i Tailscale, oppsummerer innvendingen kort: «Vi som profesjon vet hvordan man blokkerer tilgang til internett.» Han viser til det utvikleren Simon Willison kaller den dødelige treenigheten, der en agent samtidig har upålitelig input, internett-tilgang og private data. Pennaruns regel er at en agent kan få to av de tre beina, men trenger du alle tre, må oppgaven deles på minst to agenter med en kontrollert kanal mellom seg.

Sayash Kapoor, KI-forsker og påtroppende professor ved UC Berkeley, formulerer det samme prioriteringsvalget: marginale investeringer i kontroll gir trolig mer effekt enn tilsvarende investeringer i alignment. Shapor Naghibzadeh, tidligere sikkerhetsleder i Google, går lenger og vil ha agenten i en boks med instrumentering på utsiden som logger hvert verktøykall, hver prosess og hver nettverksforbindelse. Hullet du lar stå åpent for bekvemmelighet, er hullet som blir brukt.

Regningen for dette kommer også til deg. OpenAI overvåker nå all verktøybrukende inferens fra Astra-modellen til det selskapet omtaler som en betydelig beregningskostnad, og Anthropic utvider observerbarheten av sine egne modeller. Kjører du agenter i produksjon, er det den samme kostnaden som ligger mellom deg og et sandkasse-utbrudd du oppdager først når noen andre melder fra.