Språkmodeller kjenner roller på stil, ikke på taggene, viser ICML-studie

Alt en språkmodell ser, er en sammenhengende strøm av tegn. Dine spørsmål, modellens egne tidligere svar, notater fra tankekjeden, tekst limt inn fra dokumenter og svar fra verktøy ligger i samme rekke.

«Det er bare ett stort ark med tokens.» — Jasmine Cui, uavhengig forsker og medforfatter av studien

For å holde orden bruker modellene tagger som deler teksten i roller: det du skriver havner mellom user-tagger, modellens svar mellom assistant-tagger, instrukser fra utviklerne mellom system-tagger, tankekjede mellom think-tagger, og tekst hentet fra en nettside eller en annen agent mellom tool-tagger. Hele forsvaret mot angrep er bygget på disse rollene, fordi de fleste angrep koker ned til å lure modellen til å tro at en instruks kom fra noen andre enn den gjorde.

Studien, presentert på maskinlæringskonferansen ICML denne måneden, undersøkte hva som faktisk skjer inne i modellene. Funnet er at rollen avgjøres av stilen og ordvalget i tekstbolken, ikke av taggene rundt den. Forskerne byttet om taggene, og erstattet blant annet think med user, uten at det endret tolkningen nevneverdig. Ser teksten ut som modellens egen tankekjede, oppfører modellen seg som om den er det.

Angrepet forfatterne bygger på dette, kaller de forfalsket tankekjede: en instruks skrevet i samme stil som modellens interne notater, med en oppdiktet regel som later som den er policy. Det fikk modeller til å levere innhold de var trent til å nekte. Angrepet vant OpenAIs red-teaming-hackathon i august 2025, og forfatterne oppgir at de siden har sett tilsvarende resultater på modeller fra Anthropic, Alibaba og DeepSeek. «Det er en reell sannsynlighet for at dette er et grunnleggende uløselig problem», sier Charles Ye, uavhengig forsker og medforfatter.

Florian Tramèr, informatiker ved ETH Zürich, mener angrepsinnsikten er god, men er mer avmålt om konsekvensen. Han peker på at modellprodusentene kombinerer trening med overvåking av modellene i drift, at ledende modeller er blitt betydelig vanskeligere å prompt-injisere, men at det ikke er gitt at dette holder for svært sensitive bruksområder. Cui og kollegene innrømmer at modellene de undersøkte ble sluppet i fjor.

Hva bør du gjøre?

1. Behandle alt som kommer inn i konteksten fra verktøy, nettsider og andre agenter som data, aldri som instrukser. Rolletaggen er ingen sikkerhetsgrense.
2. Legg kontrollen utenfor modellen: krev bekreftelse eller separat autorisasjon for handlinger som sletter, betaler eller sender, framfor å stole på at modellen nekter.
3. Regn med at agenthandlinger kan være utrygge, og gi agenten minst mulig rettigheter og kortlevde nøkler.