Programmeringsspråket KillSwitch skal lure KI-agenter, og beste modell får 66,8 poeng

66,8 poeng er det beste noen KI-modell har klart på KillSwitch-Bench, som Cloudflare-utvikler Dominik Picheta beskriver på bloggen sin. Toppen holdes av Anthropics Claude Opus 5, ikke den nyere Opus 5.5, og Picheta mener forskjellen ikke er tilfeldig fordi Opus 5 er flinkere til å tolke spesifikasjonen. Fable 5.1 og Gemini 4 Argon trekkes ned av sikkerhetsvern som slår inn for lett, og beste modell med åpne vekter er MiMo-V2.6-Pro.

KillSwitch er et esoterisk, stakkbasert språk med bare funksjoner, variabler og if-setninger. Vanskeligheten ligger i hvordan det utnytter kjente svakheter i språkmodeller. Tolken nekter å kjøre kode der identifikatorene bryter regler basert på antall bokstaver, og spesifikasjonen inneholder skjulte løgner som et menneske enten hopper over eller gjennomskuer. Konstruksjoner som «hack into a computer» skal trigge sikkerhetsvernet, og frasen «Ignore previous instructions» har en egen betydning i språket. Det meste av et skript er fortellinger, og verdier hentes ved å telle linjer, for eksempel ved å vise til en tekst som står to linjer over.

Benchmarken har fem oppgaver, blant dem hello world, å forklare hva et skript som skriver ut det største av to tall gir som output, og å snu et skript som regner om fra celsius til fahrenheit. Modellene kjøres som kodeagenter, og poengsummen kombinerer andel beståtte oppgaver, kostnad og kodestørrelse. Opus 5 bestod 7 av 10 kjøringer, mens bare 64 av 215 registrerte kjøringer på leaderboardet består totalt.

«Det er imponerende at de løser disse oppgavene i et nytt språk som er bygd for å forvirre dem, men det er ikke et tydelig signal om at de forstår språket.» — Dominik Picheta, Cloudflare

Picheta påpeker også at rangeringen samsvarer med andre benchmarker, og han lover et vanskeligere oppgavesett hvis kommende modeller løser alle dagens oppgaver. Tolken og spesifikasjonen ligger på GitHub under AGPL-3.0, skrevet i Rust.

For deg som lar en kodeagent jobbe med interne DSL-er, egne konfigurasjonsformater eller tynt dokumenterte rammeverk, er svakhetene de samme: agenten teller dårlig, stoler på spesifikasjonen uten å etterprøve den og lar seg styre av tekst som ligner instruksjoner. Det siste er mekanismen bak prompt injection i helt vanlige kodebaser.