OpenAI bygde GPT-Red, en KI-hacker som angriper selskapets egne modeller
onsdag 15. juli · KI-generert · Kilde: MIT Technology Review
Bygde en intern KI-angriper kalt GPT-Red som fant svakheter i OpenAIs egne modeller før lansering, og som selskapet sier gjorde nye GPT-5.6 til den mest robuste utgaven hittil.
«Angrepsflaten vokser, og skadeomfanget vokser også», sier Nikhil Kandpal, forsker i OpenAI og medskaper av GPT-Red, til MIT Technology Review. Modellen ble trent i en selvspill-løkke der den angrep andre modeller om og om igjen, i et simulert miljø med nettlesing, e-post, kalender og kodeediting.
Hovedmålet er prompt injection, altså å smugle inn instruksjoner som får en modell til å gjøre noe den ikke skal. GPT-Red skal ha funnet en ny angrepstype OpenAI kaller «fake chain of thought», der en falsk oppføring plantes i en annen modells tankekjede slik at den handler på oppdiktet informasjon. I en test klarte den å hacke en vendemaskin-agent til å endre priser og kansellere en kundeordre.
«Sammenlignet med en menneskelig red-teamer er modellen veldig, veldig god til å finne akkurat det som vil virke.» — Dylan Hunn, OpenAI
Ifølge OpenAIs egne tall, som ikke er uavhengig verifisert, virket over 90 prosent av de sterkeste angrepene mot fjorårets GPT-5, men under 23 prosent mot GPT-5.6. Ekstern kommentator Jessica Ji ved Georgetowns CSET kaller resultatene lovende, men mener menneskelig testing fortsatt er viktig.
OpenAI sier de ikke vil slippe GPT-Red. For deg som bygger egne agenter som leser e-post, nettsider eller kode, er poenget likevel at «fake chain of thought» og lignende prompt injection er reelle angrep på akkurat den typen oppsett, og at nyere modeller ser ut til å stå bedre imot dem enn forrige generasjon.