Trail of Bits slipper to agent-plugins som må bevise hver bugfiks med en kjørende PoC

Trail of Bits har vært med på å skrive hundrevis av sikkerhetspatcher for open source-prosjekter gjennom Patch the Planet, initiativet selskapet driver sammen med OpenAI. Da ingeniørene gikk gjennom hver patch de hadde fått slått sammen oppstrøms, fant de 21 bekreftede regresjoner i over 130 PR-er: 16 funksjonelle, én ytelsesfeil og fire bygg- eller testfeil. Ingen av dem brøt en sikkerhetsbeskyttelse, men gjennomgangen var støyete. De 21 kom fra 58 kandidater i én kjøring, rundt 36 % presisjon, og hver ny agentkjøring ga nye kandidater å sortere for hånd.

Resultatet er to plugins, publisert 21. oktober i selskapets skills-marketplace på GitHub. regression-hunt sporer diffen gjennom kallerne ut til ekte grensesnitt, reproduserer hver mistenkt regresjon på en kjørende instans, lar en ny agent med blank kontekst kjøre samme PoC på nytt, og lar en egen dommeragent avgjøre om beviset holder. patching-bugs reproduserer feilen, lager fiksen og kjører et trearmet bevis: original kode skal feile, patchet kode skal bestå, og en fullstendig revert skal feile igjen.

«Ingen fast sjekkliste vil fange hver regresjon» — Trail of Bits, i bloggposten om pluginene

Tallene er foreløpige. Mot de 21 kjente regresjonene ga regression-hunt 25 % færre falske positive enn en vanlig Codex-agent bedt om å se etter regresjoner, med et 95 %-konfidensintervall fra 14 til 38 %. Prisen er at noen ekte regresjoner havnet som «borderline» fordi agenten ikke skaffet nok bevis.

Begge pluginene leser THREAT_MODEL.md, PATCHING_GUIDELINES.md og AGENTS.md i rota av repoet ditt, og ifølge README-en pusher patching-bugs aldri og åpner aldri PR selv. Hjelpeskriptene krever Python 3.13 og kjøres med uv.

Behovet vokser. OpenAI skriver i kunngjøringen av PHP2Shell-responsen at selskapet forventer at lignende funn vil øke kraftig de kommende månedene, og open source-prosjekter kan søke om praktisk hjelp gjennom Patch the Planet.

Hva bør du gjøre?

1. Legg til marketplacen med /plugin marketplace add trailofbits/skills i Claude Code, eller codex plugin marketplace add trailofbits/skills i Codex, og installer begge pluginene.
2. Skriv en THREAT_MODEL.md som sier hva som teller som sårbarhet og regresjon i prosjektet ditt. regression-hunt sender den med til hvert steg.
3. Kjør regression-hunt på de siste agentskrevne PR-ene dine før du stoler på neste batch.