Simulering: RDMA-kopiert KV-cache kutter ventetiden 54 prosent

En hel bølge av forespørsler med nøyaktig samme prefiks på 65 536 tokens lander innenfor det samme minuttet. JW Labs kjørte scenarioet gjennom sin egen simulator og fant at begge de vanlige rutingstrategiene taper. Cache-aware ruting stabler hele bølgen på den ene GPU-en som allerede har KV-cachen varm, og køen vokser mens naboene står tomme. Least-load sprer bølgen jevnt utover kalde replikaer, som da må regne ut det samme lange prefikset på nytt, hver for seg.

Forslaget heter Biting the Bullet og er skrevet av Shrey Birmiwal og Anish Bhat. Mekanismen får plass på én linje: ser ruteren det samme prefikset på 256 blokker to ganger i løpet av ett sekund, merker den prefikset som aktivt og kopierer KV-en over RDMA til fire replikaer før resten av bølgen rekker å lande. Deretter kan forespørslene gå til den minst belastede varme noden, i stedet for at systemet må velge mellom en voksende kø og full prefill.

Bakgrunn

KV-cachen er den ferdig utregnede matematikken for et prompt-prefiks, og to forespørsler kan bare dele den når prefikset matcher eksakt. For Llama 3.3 70B i fp16 er den rundt 320 KiB per token, så et delt prefiks på 8000 tokens er omtrent 2,5 GiB som enten må regnes ut på nytt eller flyttes dit den trengs. Målingene under gjelder én node med fire H100 i tensor-parallell.

Et sidefunn er kanskje viktigere enn hovedresultatet. JW Labs gikk gjennom sporene alle bruker til å teste slike algoritmer, og fant at mønsteret knapt finnes i dem: Mooncake hadde på det meste to forespørsler som delte et dypt prefiks innenfor ti sekunder, ART-Chat-2.5M kom til 25, og BurstGPT mangler prefiks-hasher helt. Forklaringen de foreslår er at offentlige spor stammer fra demo-trafikk og interne chat- og kodeoppgaver, ikke fra datamerking, PDF-parsing eller subagenter som fanes ut. Derfor bygget de sitt eget datasett, Bursted-ART, som ligger åpent på Hugging Face med 25 600 rader til trening og 76 800 til test.

Resultatene er jevnere i overskriften enn i tabellen. I 70B-oppsettet falt gjennomsnittlig ventetid fra 1,37 til 0,63 sekunder, men p95 flyttet seg ikke ett hakk. For Qwen3 8B gikk p95 ned 81,8 prosent, og for en tett tusenmilliardsmodell på B300 ga metoden bare 10,3 prosent på snittet. Gevinsten henger altså på om bølgen varer lenge nok til at RDMA-kopien rekker å tjene seg inn.

Forfatterne markerer selv grensen for hva tallene beviser.

«Dette er simulerte resultater fra Infer-Sim med Bursted-ART-lasten, ikke ekte produksjonstrafikk.» — Shrey Birmiwal og Anish Bhat, JW Labs

Det er den relevante forskjellen for alle som kjører egen inferens: mekanismen er verifiserbar i kode, men gevinsten er ikke målt mot en ekte scheduler under ekte cache-press. Repoet jwlaboratory/bite-the-bullet ble opprettet 21. juli og har simulatoren Infer-Sim i samme organisasjon, så terskelen for å reprodusere tallene selv er lav.