spinf-serve klassifiserer 491 spørsmål i sekundet på ett RTX 4090

491 spørsmål i sekundet mot 200 for vLLM 0.26 med prefix caching: det er spinfs egen måling av spinf-serve på ett RTX 4090 med Gemma 4 12B i fp8. Testen er 24 Wikinews-artikler med 56 tovalgsspørsmål hver, 1344 spørsmål totalt, som spinf-serve løser på 2,7 sekunder mot 6,7.

Forskjellen ligger i hvordan spørsmålene kjøres. vLLM gjenbruker artikkelen via prefix-cachen, men sender fortsatt 1344 enkelt-token-forespørsler. spinf-serve legger de 56 spørsmålene ut som grener av én lesing og pakker alle 24 artiklene i to pass på 16k tokens. Svaret er ikke generert tekst: du får p per alternativ, floor_p for samme spørsmål uten innhold, og residual for sannsynligheten som havnet utenfor alternativene dine. I README-eksempelet løfter en kundemelding temaet «billing» fra 0,47 til 0,91.

«Vi bygde denne motoren for vårt eget arbeid: en daglig markedsindeks lest fra millioner av nyhetsartikler, der hver artikkel får dusinvis av smale, kalibrerte spørsmål.» — spinf, i README-en til spinf-serve

Kravene er Linux, Python 3.12, CUDA 13-driver og et 24 GB NVIDIA-kort med fp8-kjerner (Ada, Hopper eller Blackwell, for eksempel RTX 4090, 5090 eller L4). Ampere-kort kjører med int8-vekter. Fire ferdige sjekkpunkter følger med: Gemma 4 12B (standard, leser også bilder, lyd og video), Gemma 4 31B for 48 GB-kort, Qwen3.8-27B i int4 og Perplexitys beslutningsmodell pplx-decider-v1-27b. Ferdige prompt-pakker dekker blant annet moderering, der spinf/moderation stiller 106 spørsmål per melding og rekker rundt 20 000 meldinger i timen per 4090.

Det er versjon 0.1 med 18 stjerner, og alle ytelsestall kommer fra utvikleren selv. Til chat passer den ikke: serveren er bygd for gjennomstrømning, ikke svartid på enkeltforespørsler.

Hva bør du gjøre?

1. Kjør pip install "spinf-serve[server]" og spinf-serve serve spinf/gemma-4-12b-fp8, eller Docker-imaget ghcr.io/spinfinc/spinf-serve. API-et er OpenAI-kompatibelt på port 8000.
2. Sett terskler på p minus floor_p på egne data i stedet for å tolke fritekst fra en chatmodell.
3. Kjør skriptet i benchmarks/ mot ditt eget vLLM-oppsett før du bytter.