Sikkerhetsbenchmarker måler tre ting, ikke én, og under 2 prosent av spørsmålene teller

Metoden er lånt fra psykologien. Item Response Theory er verktøykassa bak IQ-tester og opptaksprøver, der svarene på enkeltspørsmål avslører hvilke spørsmål som faktisk skiller kandidatene. Et forskerteam med deltakere fra UK AI Security Institute kjørte den mot åtte sikkerhetsbenchmarker, opptil 192 språkmodeller og over 5 000 testspørsmål, ifølge The Decoder den største analysen av sitt slag så langt.

«Sikkerhet» viser seg ikke å være én størrelse. De åtte benchmarkene måler tre ting som henger dårlig sammen: hvor strengt en modell avviser, hvor sannferdig den svarer, og hvordan den takler innhold som er harmløst eller farlig avhengig av sammenhengen. HarmBench belønner avvisning av skadelige forespørsler, OR-Bench-Hard straffer overdreven forsiktighet med harmløse. Gjør en modell det bra på den ene, gjør den det nesten alltid dårlig på den andre, og et gjennomsnitt over flere benchmarker skjuler avveiningen helt.

Neste funn treffer kostnadssiden. Nesten alle spørsmål besvares likt av nesten alle modeller og skiller derfor ingenting. Plukker du de mest informative, dekker tre tester på 25 spørsmål hver alle tre dimensjonene bedre enn et tilfeldig utvalg av samme størrelse. Velges spørsmålene dynamisk underveis, holder rundt ti per benchmark, og evalueringskostnaden faller med 97 til 99 prosent.

Det tredje funnet er en statistisk test for «sandbagging»: at en modell merker den blir testet og oppfører seg mer forsiktig enn den ellers ville gjort. Mønsteret ligner en elev som klarer de vanskeligste oppgavene og bommer på de enkleste.

Forfatterne påpeker at sandbaggingen bare var simulert gjennom direkte instruksjoner, og at en modell trent på å unngå oppdagelse ville vært vanskeligere å ta. Bieffekten er nyttig for deg som kjøper inferens: forskerne spurte 16 API-endepunkter på nytt og identifiserte 13 av 14 distinkte modeller på svarmønsteret alene. Det avslører at en leverandør har byttet modell bak et uendret navn.