Mesh Applied kjører Qwen3.8-27B i NVFP4 med 255 tokens/s på ett RTX 5090

«Tid per oppgave blir den primære metrikken», skriver Mesh Applied i bloggposten fra 12. oktober der selskapet viser sine første kombinasjoner av modell og kernel. Det mest tilgjengelige er Qwen3.8-27B på ett RTX 5090 med 32 GB VRAM: rundt 255 tok/s med én samtidig forespørsel og rundt 686 tok/s med fire.

Modellkortet på Hugging Face er tydeligere enn bloggen om hva som er nytt. Repoet inneholder ingen vekter. Vektene er Neroueds uendrede NInfer-fil på 23,7 GB, og Mesh Applied bidrar med serveroppsett, låste versjoner, DFlash2-spekulativ dekoding med sju utkasttokens og egne patcher til NInfer-motoren. En fra teamet skriver på Hacker News at utgangspunktet er en standard NVFP4-modell som ligger innenfor 5 % av fp16-versjonen.

Tallene trenger kontekst. 255 tok/s er målt ved å spille av innspilte mini-swe-agent-turer fra SWE-bench Lite, med snittkontekst rundt 28 000 tokens, thinking og prefix-cache på. Uten patchene var tallet 239, og tiden til første token er 1 438 ms. Korte tilfeldige prompts gir 203 tok/s. Med long-profilen og kald prefill av 32 768 tokens faller dekodingen til 56 tok/s. Prosessen bruker 24,7 GB VRAM kald med én lane og 27,0 GB med fire lanes og 100 000 tokens kontekst, så bloggens påstand om at modellen også går på 24 GB-kort blir trang.

Kvalitetstapet er det ingen har målt skikkelig, og det er den vanlige hobbyfrustrasjonen med kvantiserte modeller:

«Jeg skulle ønske det var mer vanlig å benchmarke kvanter eller ha en måte å vise hvor mye intelligens du legger igjen på bordet.» — jkingsman, på Hacker News

Det andre oppsettet er Qwen3.8-Flash-Next i NVFP4 for ett RTX 6000 Pro med 96 GB (to kort på 48 GB går også). Mesh Applied oppgir 184 tok/s med én forespørsel, 334 med fire, og under 0,01 dollar per million output-tokens selvhostet. Selskapet hevder modellen slår Gemini 3.8-Flash og Claude Opus 4.6 litt i matte og koding, men bloggen viser ingen benchmarktall som støtter det. Vektene ligger bak tilgangsforespørsel på Hugging Face, og en kommentator på Hacker News minner om at kortet koster rundt 16 000 dollar.

Under alt ligger Goethe, Mesh Applieds Rust-verktøy under Apache 2.0 som gjør en Linux-maskin med NVIDIA-GPU til et API som OpenAI-, Anthropic- og LiteLLM-klienter kan bruke direkte. Det krever CUDA 12.8 eller nyere og støtter arkitekturene fra sm_86 til sm_120. NInfer-serveren i 5090-oppsettet snakker både OpenAI Chat Completions, Responses og Anthropic Messages.

Hva bør du gjøre?

1. Har du et RTX 5090 eller RTX PRO 6000, klon goethe og kjør ./install.sh && ./fetch_model.sh && ./serve.sh i nvfp4-kernels/, og pek en Anthropic- eller OpenAI-klient mot serveren.
2. Mål med din egen kontekstlengde før du planlegger rundt 255 tok/s, siden lange kalde prompts gir under en firedel av farten.
3. Les installasjonsskriptet før du kjører curl | bash fra meshapplied.com, slik du ville gjort med ethvert ukjent skript.