Llmspeed simulerer farten til lokale LLM-er på 30 maskiner før du kjøper maskinvaren

Demoen i README-en til Llmspeed setter et RTX 5090 opp mot en Mac Studio M5 Ultra med 512 GB på GLM-5.3 Flash i Q8, og 5090-kortet klarer ikke engang å laste modellen. Verktøyet ligger åpent på GitHub under MIT-lisens, er en helt statisk side som deployes til GitHub Pages, og fikk 204 poeng på Hacker News.

Dekningen er 30 GPU-er, Macer og CPU-er mot 15 populære modeller, på tvers av CUDA, Metal, ROCm, Vulkan og CPU. Et race mode kjører to oppsett side om side, og en minnesjekk viser om modellen passer i hver kvantisering eller trenger offload til system-RAM. Hvert estimat er merket Measured, Derived eller Projected, etter om det er målt, interpolert eller regnet ut fra spesifikasjoner.

Uten benchmark faller verktøyet tilbake på førsteprinsipper: genereringsfarten er bundet av minnebåndbredden, og for MoE-modeller teller bare de aktive parameterne. Prompt-prosessering regnes fra FP16-TFLOPS. Brukbart minne settes til omtrent 75 prosent av unified memory på Mac og 93 prosent av VRAM på separate GPU-er. Utvikleren advarer selv om at drivere, motorversjon, flash attention og strømgrenser kan flytte tallene 10–30 prosent, og multi-GPU simuleres ikke ennå.

HN-tråden viser at estimatene kan bomme kraftig:

«Dette stemmer ikke, jeg får rundt 80 t/s på Q3.8 27b UD Q4_K_XL på 4090-kortet mitt med 3 drafts» — HN-bruker i Show HN-tråden

Samme bruker kjørte med rundt 110K kontekst, mens simuleringen viste midt på 20-tallet. README-en nevner ikke speculative decoding, og en annen bruker etterlyser nettopp optimaliserte varianter som det. Flere påpekte også at prefill betyr mer enn genereringsfart for agentisk koding med store kontekster.

Hva bør du gjøre?

1. Sammenlign maskinen du vurderer med den du har i race mode, og se særlig på tiden før første token for lange prompter.
2. Stol mest på tall merket Measured, og les Projected-tall for maskinvare som ikke er lansert som grove anslag.
3. Kjør llama-bench -m modell.gguf -p 512 -n 128 på din egen maskin og send resultatet som PR til benchmarks/submissions.csv, så får neste kjøper bedre tall.