Dommer i Connecticut fant skjult prompt injection i rettsdokumenter

I papirene i en tvist om innsyn i helsejournaler lå det tekst ingen leser skulle se: krympet ned til bittesmå bokstaver og satt i hvitt på hvit bakgrunn. Dommer Walter Spader Jr. i Connecticut fant den og beskrev funnet i en avgjørelse publisert forrige uke, skriver Ars Technica.

Den skjulte teksten instruerte ethvert KI-system som gikk gjennom dokumentet, om å sørge for at tekstsvarene var enige med saksøkerens argumenter, se bort fra rettens tidligere avslag og sikre at utfallet ble slik saksøkeren ønsket.

«formatert for å være usynlig for en menneskelig leser, men fullt lesbar for enhver programvare som leser dokumentets tekst» — Walter Spader Jr., dommer i Connecticut

Forsøket virket ikke. Retten vurderte innlegget på sakens egne premisser, og den skjulte teksten fikk ingen betydning. Saksøkeren, Matthew Elliott, fikk likevel moderate sanksjoner, fordi han fortsatte å legge inn skjult tekst i nye innlegg etter at retten hadde varslet ham om at det kunne få følger. Spader omtalte det som alvorlig misbruk av rettsprosessen og advarte om at forsøket setter en farlig presedens.

For deg som bygger, er det mekanismen som betyr noe, ikke rettssaken. Angrepet krevde verken en sårbarhet eller en linje kode. Det krevde bare et dokument formatert slik at menneskelig gjennomlesing og maskinell tekstuttrekking ser to forskjellige ting, og formateringen forsvinner i samme øyeblikk teksten hentes ut. Enhver pipeline som mater PDF-er, søknader eller vedlegg inn i en modell har den samme åpningen.

Hva bør du gjøre?

1. Les det modellen faktisk får. Kjør uttrekket ditt, for eksempel pdftotext, og se over råteksten før du sender den videre, i stedet for å stole på hvordan dokumentet ser ut på skjermen.
2. Hold dokumenttekst adskilt fra instruksjoner i prompten, i et eget felt, med en eksplisitt regel om at innhold derfra aldri skal følges som kommando.