Goodfire-prober i Kimi K3 fanger cybermisbruk 50 ganger billigere enn en LLM-dommer

Under 200 dollar per million utvekslinger er prisen Goodfire oppgir for å overvåke Kimi K3 for cybermisbruk i sanntid. Oppstartsselskapet, som jobber med interpretability, publiserte resultatene 8. oktober, og ifølge TechCrunch er monitorene nå tilgjengelige for kunder hos inferensleverandøren Baseten. Samme oppskrift er brukt på GLM 5.3.

Det vanlige alternativet er en annen språkmodell som leser hvert steg agenten tar. Goodfire anslår at det koster rundt 200 000 dollar per million steg med Opus 5 som dommer, basert på OpenRouter-priser. En probe er i stedet en liten klassifikator som leser mellomaktiveringene modellen allerede har regnet ut, og sender bare mistenkelige steg videre til dommeren.

«Monitorer for interne aktiveringer er veldig billige fordi de gjenbruker beregningene i forward pass.» — Eric Ho, toppsjef i Goodfire, i MAD Podcast

Med 5,5 prosent avbrudd i ufarlige økter når kaskaden 93 prosent recall. Ekstra latens per steg faller fra 160 til 2 millisekunder uten resonnering hos dommeren, og fra 2750 til 42 millisekunder med. Med monitoren blokkerer Kimi K3 rundt 96 prosent av skadelige økter mot 29 prosent uten, mens andelen ufarlige økter som avbrytes stiger fra 5 til 9 prosent. I FAR.AIs red teaming falt antall universelle jailbreaks fra 66 til 0.

Tallene er Goodfires egne, målt på et internt datasett med 2400 økter og over 60 000 steg, der Claude Opus 5 satte fasiten. Selskapet har heller ikke sluppet probene som noe du kan laste ned. Goodfire ber dem som server åpne modeller ta kontakt.

For deg som bygger agenter på åpne modeller viser oppskriften at synkron overvåking, der et risikabelt verktøykall stoppes før det kjøres, kan bruke under 1 prosent av inferenskapasiteten i stedet for opptil 20 prosent.