GPT-6 Astra faller for skjulte prompt-injeksjoner i 8,5 prosent av tilfellene

8,5 prosent. Så ofte klarte sikkerhetsselskapet Gray Swan å knekke GPT-6 Astra minst én gang med en prompt-injeksjon gjemt i et dokument modellen leste, med 15 forsøk per scenario og 1 810 kuraterte angrep fra deres IPI Arena. Forgjengeren GPT-5.6 Sol falt i 27 prosent av tilfellene på samme test. Det er en kraftig forbedring og fortsatt en feilrate ingen sikkerhetsansvarlig ville godtatt i noe annet system.

Mot direkte prompt-injeksjoner, der brukeren selv prøver å manipulere modellen, ser tallene helt annerledes ut. Der stopper Astra 99,99 prosent, noe OpenAI tilskriver metoden de kaller GPT-Red, en automatisert angriper brukt til å herde modellen under trening. Jailbreak-motstanden mot et fast datasett med kjente angrep ligger på mellom 91,5 og 98,3 prosent. Men når angriperen får tilpasse strategien over flere samtalerunder, faller forsvarsraten til rundt 67 prosent: en tålmodig motstander får ut minst ett problematisk svar omtrent hver tredje gang. Forgjengerne lå like under 50 prosent på samme test.

Én forbehold OpenAI selv tar med i systemkortet, er at disse testene kjørte på den nakne modellen, uten klassifikatorene og sikkerhetslagene som faktisk følger med produktet. Tallene er altså et gulv, ikke det du møter i ChatGPT.

Sammenligningen med Anthropic er mindre entydig enn den ser ut. Ifølge The Decoder gjorde Claude Opus 5 det bedre med 4,8 prosent i den samme Gray Swan-evalueringen, mens Anthropic tidligere har rapportert bare to prosent, basert på den enklere Q1-testen alene og med utvidet resonnering slått på.

Hva bør du gjøre?

1. Behandle alt dokumentinnhold agenten din leser som utrustet input, ikke som instruksjoner. Åtte og en halv prosent er høyt nok til at en agent som leser hundre dokumenter i døgnet blir kompromittert flere ganger i uka.
2. Skill lesetilgang fra skrivetilgang. En agent som både leser eksterne dokumenter og har nettverks- eller skriverettigheter uten mellomliggende godkjenning, er den konfigurasjonen Gray Swan faktisk testet.
3. Mål din egen feilrate mot din egen dokumentflyt. Kuraterte angrep sier noe om motstandskraft, men ikke hvor eksponert akkurat din pipeline er.