Sonnet 5 traff 98 prosent, men alle åtte feilene var lekkasjer

Archestra kjørte 100 ekte verktøykall fra produksjonsøkter med Claude Code gjennom Jev, Sonnet 5 og en rekke åpne modeller, på jakt etter en klassifiserer til annotatoren i OpenAPPA. Testen ble publisert 21. september og er skrevet av Arseny Kravchenko. Hvert kall skulle merkes med fire etiketter for informasjonsflyt: hvem som kan se utdataene, om de er til å stole på, hvem som kan motta det kallet sender ut, og om kallet krever en ren sesjon.

Hundre kall med fire etiketter gir 400 beslutninger. Archestra rapporterer bare de 337 der alle tre dommerfamiliene, Claude Opus, GLM 5.3 Flash og Gemini 3.8 Flash, var enige, og utelot de 63 øvrige fordi uenigheten avslørte uklare regler i deres egen spesifikasjon, ikke tilfeldig støy. Alle tall under gjelder dette strenge settet.

Fellen ligger i snittet. I ekte utviklerspor er 79 prosent av verktøykallene harmløse og holder seg lokalt, så en hardkodet klassifiserer som alltid svarer «ufarlig» lander på 79 prosent uten å forstå noe som helst. Sonnet 5 traff 98 prosent uten eksempler og Jev 93. På etiketten som faktisk bærer sikkerheten, kravet om en ren sesjon, fanget Sonnet 5 fire av ni farlige kall. Jev fanget sju.

Feilmønsteret er konkret. Sonnet bommet på hvert eneste utgående søk, og de fem bommene utgjorde alle feilene modellen gjorde på den etiketten. Archestra skriver at Sonnet gjorde åtte feil totalt på det strenge settet, og at alle åtte var lekkasjer: farlige kall som ble sluppet gjennom, ikke trygge kall som ble stanset.

«Sonnet behandlet søk som harmløs lesing. Men et søk sender også spørringen til et eksternt API.» — Archestra, i testrapporten

Er agentens kontekst allerede forgiftet, kan en angriper legge en stjålet nøkkel inn i selve søkestrengen. Alle tre dommerfamiliene var enige om at slike kall krever en ren sesjon. Archestra kaller resultatene tidlige og skriver at det opprinnelige referansesettet var dårlig: av 100 tilfeldig samplede kall fra utviklerlogger var rundt 90 rutine, og bare rundt 10 dekket kanttilfellene klassifisereren faktisk skal fange.

Hva bør du gjøre?

1. Mål falske negativer, ikke totalscore. Et snitt over 90 prosent kan bestå utelukkende av lekkasjer hvis de farlige kallene er en tiendedel av datasettet.

1. Behandle utgående søk som en utgående kanal i din egen policy. WebSearch og søk i Slack ser ut som lesing, men spørringen forlater perimeteren din.
2. Rut på konfidens i stedet for å stole blindt. Jev gjorde ingen feil blant prediksjoner med konfidens på minst 0,7 og svarer på rundt 300 millisekunder, så usikre kall kan sendes videre til en større modell eller et menneske.