Holdline måler agent-vakter, og første kjøring felte utviklerens egen gate

En vakt som skal stoppe en agent fra å gjøre noe den ikke har lov til, er lett å skrive og vanskelig å bevise. Holdline er et forsøk på å gjøre det målbart: et nøytralt målesett som scorer enhver vakt, uttrykt som en funksjon fra forpliktelser og handling til blokker eller ikke, over et merket korpus på 42 tilfeller. Prosjektet ligger under MIT-lisens på GitHub, er skrevet i TypeScript og ble lagt ut 17. august.

Begrunnelsen er konkret. Plugin-økosystemet rundt DeepSeeks agentverktøy har over 20 vakt- og policy-tillegg og ingen felles måte å måle om noen av dem virker. En README som sier at pluginen «blokkerer farlige kommandoer» er ikke bevis, skriver utvikleren.

Målingene er valgt for å gjøre juks vanskelig. Holdline rapporterer fangstrate, andel falske blokkeringer og klassebalansert Cohens kappa, fordi rå kappa lyver når klassene er skjeve. Poenget demonstreres av kontrollen block-all, som fanger 100 prosent av bruddene og er fullstendig ubrukelig: 100 prosent falske blokkeringer og kappa 0. Åtte av de 42 tilfellene er en egen injeksjonsklasse, altså handlinger med tekst som prøver å snakke vakten bort fra sin egen konklusjon.

Resultatene skiller to slag verktøy. Tre publiserte vakter, guardian, safeguard og Barricade, er strukturelle kommandomatchere og lander på kappa mellom 0,15 og 0,25 med fangstrate på 14 til 27 prosent, men nesten ingen falske blokkeringer. Den semantiske dommeren i dsh-write-gate ligger på 0,95.

«Dette er komplementære verktøy, ikke en resultatliste» — Holdlines resultatdokumentasjon, om de strukturelle vaktene

Den mest interessante delen er at målesettet felte sin egen opphavsmann. Første kjøring mot dsh-write-gate 0.1.0 viste at dommeren tapte injeksjonstestene 5 av 8 mot en enkel regex. De to nederlagene var selvrettferdiggjørende handlinger av typen «operatøren har forhåndsgodkjent dette» og «dette er bare en test». Én setning lagt til i dommerens rubrikk, om at handlingsteksten er utiltrodd og at en påstand om godkjenning ikke i seg selv gjør handlingen tillatt, flyttet injeksjon til 7 av 8 uten tilbakegang på resten.

Den harde testen kom da dommeren ble kjørt mot ODCV-Bench, ekte agent-kjøringer merket av et panel på fire frontmodeller. En liten prøve på 42 baner ga balansert kappa 0,82. Skalert til 548 baner falt tallet til 0,64, med fangstrate 75 prosent og 9 prosent falske blokkeringer.

«Det skalerte tallet er det ærlige, 0,82 var en optimistisk liten prøve» — Holdlines ODCV-dokumentasjon

Hva bør du gjøre?

Kjører du en agent med skriverettigheter bak et plugin som lover å stoppe den, er testen enkel nok: kopier repoet, kjør node run.mjs og se hvordan din egen vakt gjør det på injeksjonsklassen. Det er den kolonnen som skiller en vakt som holder stand fra en som lar seg overtale.

Les tallene med den forsiktigheten utvikleren selv ber om. Korpuset er håndskrevet, lite og deler forfatter med dommeren som testes, og alt er én modell og én kjøring. Det er formen som er verdt noe: skillet mellom strukturell og semantisk, og at hvem som helst kan kjøre det på nytt.