50 prosent. Det er kuttet Edgee måler når de tre lagene i Compressor V2 kjører sammen på SWE-bench Lite, det offentlige referansesettet med 300 GitHub-oppgaver fra populære Python-repoer. Til sammenligning ga selskapets V1-kompressor, som bare trimmet verbose verktøy-output, rundt 10 prosent.
En enkelt SWE-bench-oppgave kan ta 30 til 100 API-runder og sluke 1 til 10 millioner tokens. Ganget opp over en flåte av agenter blir det en regning som løper fort. Compressor V2 er et lag i Edgees KI-gateway som angriper tre ulike kilder til token-svulst uavhengig, konfigurerbart per API-nøkkel.
De tre strategiene treffer hver sin del av konteksten. Brevity kutter output-tokens, den dyreste klassen, og gir alene rundt 30 prosent per oppgave på autonom koding. Tool surface reduction trimmer de repeterte MCP-verktøykatalogene i prefikset. Tool result trimming rydder den lange halen av verbose verktøy-output som hoper seg opp gjennom økta. Poenget er at ingen av dem rører selve prefikset som Anthropics innholdsnøklede cache leser tilbake til en tidel av input-prisen, så cache-besparelsen over lange økter holder seg intakt.
Edgee er ryddige på metoden. Tallene hviler på en paret fortegnstest og en bootstrap med 10 000 resamplinger, og hver replikat får en tilfeldig nonce foran første melding så cachen ikke underrapporterer kostnaden. Med bare seks oppgaver i brevity-kjøringen er den laveste oppnåelige p-verdien 0,031, noe de er åpne om, så resultatene peker på retning mer enn presis størrelse.
Hva bør du gjøre?
- Skru på brevity først hvis du kjører kodeagenter, siden det angriper de dyreste output-tokenene og gir mest alene.
- Legg til tool surface reduction dersom agentene dine laster tunge MCP-verktøykataloger i hver forespørsel.
- Verifiser gevinsten på ditt eget arbeidslast med en nonce per kjøring, ellers vil prefiks-cachen få det til å se billigere ut enn det er.