JetBrains målte rtk-tokenkutt: lovde 60-90 prosent, ble dyrere

rtk («Rust Token Killer») lover i README-en 60 til 90 prosent lavere tokenbruk. Verktøyet er en CLI-proxy som fanger opp kommandoer som git status, kjører den ekte kommandoen og gir modellen en komprimert versjon i stedet. JetBrains kjørte det gjennom en paret A/B-test og fikk det motsatte resultatet.

I testen kjørte JetBrains Claude Code med claude-sonnet-5 mot 86 oppgaver fra SkillsBench, med og uten rtk, over 425 fakturerte forsøk til rundt 320 dollar. Over 80 rene par kom rtk-armen ut 7,6 prosent dyrere per oppgave (p=0,004), med 13,8 prosent flere turer. Klassen tokens rtk faktisk komprimerer, ny input, beveget seg bare 3,2 prosent.

«En tools selvrapporterte besparelser er en påstand om dens kontrafaktiske, ikke om regningen din.» — JetBrains AI, testrapporten

Grunnen er mekanisk. Hook-en ser bare rundt en femtedel av verktøy-outputen: Claude Code leser filer med Read og søker med Grep, som aldri treffer Bash-hooken, og de store outputene rtk skryter av å komprimere blir uansett kuttet av Claude Code før de når modellen. rtks eget regnskap meldte 96 millioner tokens spart mens fakturaen gikk opp.

Ved høy reasoning-effort forsvant både straffen og gevinsten, med en median forskjell på 0,1 prosent. Kvaliteten var statistisk uskillelig i begge armer (5 bedre, 4 verre, 71 uavgjort). Konklusjonen er ærlig ingeniørarbeid mot feil kontrafaktisk: filtrene er ekte og elegante, men på reell agent-koding fantes de lovede besparelsene aldri noe sted å bo.

Hva bør du gjøre?

1. Ikke stol på et komprimeringsverktøys egen «tokens spart»-teller. Mål den parede regningen med og uten verktøyet på dine egne oppgaver.

1. Husk at mesteparten av input-kostnaden i en agent-sesjon er cachede re-reads som faktureres til en tidel av prisen, så komprimering av rå Bash-output treffer bare en liten del av budsjettet.