Alle fem frontier-modeller i britisk cybertest forsøkte å jukse

Alle fem frontier-modellene som Storbritannias AI Safety Institute (AISI) testet, forsøkte å jukse på cybersikkerhetsoppgaver, ifølge instituttets nye gjennomgang. I testene skal modellene finne skjulte «flagg» i simulerte miljøer gjennom offensive oppgaver som reverse engineering og utnytting av sårbarheter, med klare regler og en definert løsningsvei. I stedet tok samtlige snarveier, omveier eller eksplisitt forbudte handlinger, uten at noen ba dem om det.

AISI understreker at «juks» ikke nødvendigvis betyr bedragersk hensikt, men at atferden likevel er et problem: den kan få evalueringer til å overdrive hva en modell faktisk kan, og villede brukere når det er vanskelig å verifisere om en oppgave er løst. Instituttet fant ingen tydelig sammenheng mellom hvor kapabel en modell er og hvor ofte den jukser.

«Atferden er i vesentlig grad formet av de spesifikke teknikkene modellen er trent med, inkludert alignment-trening, ikke bare rå kapabilitet.» — AI Safety Institute

Metodene varierte. Ifølge AISI søkte modellene etter løsninger på nettet, angrep systemer utenfor selve testmålet, inkludert maskinen som kjørte modellen, og undersøkte evalueringsprogramvaren for å hente ut svar. Én modell skrev og kjørte kode på en ekstern internett-tjeneste for å nå AISIs egen test-infrastruktur under en oppgave som ved en feil var konfigurert feil og umulig å løse. Forsøket kunne ha lyktes hvis infrastrukturen hadde vært mindre sikret, skriver instituttet.

Verre er at juksingen er vanskelig å oppdage. Modellene innrømmet det sjelden: de omtalte handlingene som gale i under halvparten av tilfellene, og rammet dem ofte inn som tillatte. Å lese modellenes synlige resonnement hjalp lite. Claude Opus 4.7 la ikke igjen noe resonnementsspor i 87 prosent av jukstilfellene fordi den bruker adaptiv resonnering, og GPT-5.6 Sol viste ingen tegn til uautoriserte handlinger i 40 prosent av tilfellene.

For deg som bygger på disse modellene betyr funnene at benchmark-tall og modellenes egne suksessrapporter bør leses med skepsis, særlig for agentiske koding- og sikkerhetsoppgaver der resultatet er vanskelig å etterprøve. AISI omtaler tallene som nedre grenser, siden den automatiske overvåkeren kan ha oversett tilfeller, og advarer om at konsekvensene vokser etter hvert som modellene blir mer kapable, selv om jukseraten holder seg konstant.