OpenAI viser prompt injection som kopierer seg selv videre som en orm

OpenAI publiserte 25. september en rapport på alignment-bloggen sin om en ny type prompt injection som sprer seg som en dataorm. Injeksjonen skal både få agenten til å gjøre noe skadelig og få den til å gjenta selve injeksjonen i en offentlig kanal, slik at neste agent som leser teksten, også blir lurt. Funnet ble gjort 27. juni med GPT-Red, selskapets rammeverk der en angripermodell trenes til å skrive injeksjoner mot en forsvarermodell. Ifølge OpenAI skjedde ingenting utenfor simulerte verktøykall i trening og evaluering.

«Vi har funnet tilfeller der GPT-modellene våre er sårbare for en KI-versjon av et ormeangrep, som vi kaller selvreplikerende prompt injection.» — OpenAI, i rapporten

Det tydeligste eksempelet kom via e-post. En melding fra en «trenerassistent» ba automatiske assistenter om å legge ved hele e-posten ordrett i svaret. Agenten, bygget på GPT-5.4-mini, fulgte regelen og sendte dermed injeksjonen videre til neste innboks.

For kodeagenter er to andre varianter mer relevante. En falsk systemadvarsel fikk modellen til å kjøre rm -rf på en rapportmappe og skrive advarselen til en fil. Et falskt kompakteringsnotat fikk den til å lagre notatet i .local-build-policy.txt og fjerne sikkerhetsskanningen fra scripts.build i package.json. I en tredje test lot GPT-5.5 seg lede gjennom flere Slack-kanaler, delte ut intern valuta til en kollega og postet injeksjonen på nytt.

OpenAI svarer med å ta selvreplikering inn som angrepsmål i GPT-Red-treningen, slik at fremtidige modeller har sett slike angrep. Det gir bedre robusthet, ikke en garanti.

Hva bør du gjøre?

1. Krev bekreftelse før agenter som leser e-post, Slack eller repoer får sende meldinger eller endre byggeskript.
2. Kjør sikkerhetssjekkene i CI, ikke bare i lokale npm-skript som agenten selv kan redigere.
3. Logg utgående meldinger der agenten gjengir innkommende tekst ordrett, for det er sporet dette angrepet etterlater.