Sikkerhetsforskere sier KI-guardrails presser dem mot kinesiske åpne modeller

«Den praktiske konsekvensen er at du bruker mye tid på å forhandle med modellen i stedet for å jobbe med selve sikkerhetsprogrammet», sier Chris Thompson, sjef i sikkerhetsselskapet RemoteThreat og grunnlegger av konferansen Offensive AI Con, til TechCrunch. Han beskriver guardrails som inkonsistente fra dag til dag, også innenfor de løsere rammene i Anthropics og OpenAIs godkjenningsprogrammer.

Bakteppet er en opprydding etter et halvår med innstramminger. TechCrunch skriver at amerikanske myndigheter i juni la eksportkontroll på Anthropic-modellene Mythos og Fable, delvis utløst av en rapport om at guardrailene kunne omgås. Restriksjonene er senere opphevet: Fable 5 kom tilbake i generell tilgang 1. juli, mens Mythos 5 kun er gjeninnført for godkjente amerikanske organisasjoner. Både OpenAI og Anthropic driver egne vettingprogrammer, Trusted Access for Cyber og Cyber Verification Program.

Problemet forskerne peker på er at verktøyet ikke lar seg dele i to. Chris Anley, sjefforsker i NCC Group, sier at det å be en modell forsøke å utnytte en feil er nødvendig for å bekrefte at sårbarheten er reell.

«Det er som en hammer. Du kan ikke bygge et hus uten hammer. Det er definitivt et verktøy, men det er også ubønnhørlig et våpen» — Chris Anley, sjefforsker i NCC Group

Konsekvensen er forutsigbar. Paolo Stagno, teknologisjef i CrowdFense, sier selskapet bruker frontier-modeller til omvendt utvikling, men kjører åpne modeller lokalt når arbeidet involverer selve sårbarheten, både fordi guardrails er i veien og fordi sensitive data ikke skal ut i en skytjeneste. Thompson mener presset flytter ansvarlige forskere fra amerikansk styrte systemer til utenlandske. En forsker hos en komponentprodusent, som er anonym overfor TechCrunch, sier verktøyene knapt er brukbare: så snart modellen forstår at det handler om sikkerhet, stopper den.

Hva bør du gjøre?

1. Legg sårbarhetsspesifikt arbeid på en lokal åpen modell. Da slipper du både refusjoner og at detaljer havner i en leverandørs logger.
2. Jobber du profesjonelt med offensiv sikkerhet, søk på Anthropics Cyber Verification Program eller OpenAIs Trusted Access for Cyber. Rammene er løsere, men ifølge kildene ikke forutsigbare.