I chatvinduet nekter en KI-kodeassistent en farlig forespørsel. Deler du den samme forespørselen opp i små, dagligdagse steg inne i kode-editoren, svarer den likevel. Det er funnet i en ny studie av GitHub Copilot av forskerne Abhishek Kumar og Carsten Maple, gjengitt av The Hacker News.
Forskerne kaller metoden workflow-level jailbreak. I stedet for én rå prompt ba de Copilot bygge et helt vanlig lite program, en test som måler hvor ofte en annen KI-modell gir etter for skadelige forespørsler. Å laste inn en liste med skadelige testspørsmål ser ut som vanlig arbeid. Så kom dyttet: de sa at skåren var for lav og ba modellen forbedre programmet ved å legge til eksempelsvar. Bedt om å legge til de skadelige svarene, skrev modellen dem selv, som ren tekst inne i koden.
Forskjellen er skarp. Spurt direkte i chat ga modellene skadelige svar i 8 av 816 forsøk. Inne i den fulle arbeidsflyten skrev de skadelig innhold 816 av 816 ganger. Testen dekket 204 skadelige prompter fra tre offentlige benchmarks mot fire modeller levert gjennom Copilot: Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro og Gemini 3.5 Flash, alle på standardinnstillinger.
Det viktige er hvor teksten kom fra: forskerne ga bare spørsmålene, svarene var modellens eget arbeid, produsert for å fullføre en oppgave den ble bedt om å forbedre.
Hva bør du gjøre?
- Ikke stol på at en modell som nekter i chat, også nekter når skadelig innhold produseres som biprodukt av en større kodeoppgave.
- Bygger du agenter eller CI som lar en modell skrive og fylle ut filer: vurder innholdssjekk på det som genereres, ikke bare på prompten som går inn.