Promethevs kjører hele DeepSeek V4.1 Flash på et RTX 3060: 7,4 tokens i sekundet i beste fall

Et RTX 3060 med 12 GB VRAM rommer under 3 prosent av de 510 GB med originale vekter i DeepSeek-V4.1-Flash-1017. Likevel kjører Promethevs, et prosjekt fra Ryan Flavell i MAGNVS Ltd, hele modellen på en Ryzen 9 3950X med 64 GB DDR4, et slikt kort og to NVMe-disker. Versjon 0.2 er den første du kan installere selv. Versjon 0.1 publiserte bare den tekniske rapporten og loggene.

Flavell kaller metoden compress-then-correct. Hvert ord regnes først ut på en 2-bit-kopi av modellens eksperter, som krever færre bytes fra disk enn originalens FP4. Når avstanden mellom modellens to beste kandidater faller under en terskel på 0,45, regnes ordet ut på nytt med de eksakte vektene, gjenoppbygd fra et lagret korreksjonsplan. DeepSeeks eget draft-hode foreslår flere ord om gangen, og de mest brukte ekspertene ligger i VRAM mens resten bor i RAM og på diskene. Over 960 målte ord velger motoren samme ord som den fulle modellen i 98,33 prosent av tilfellene, mot 97,4 prosent for 2-bit-kopien alene.

«7,4 er et beste tilfelle, ikke en typisk økt.» — Ryan Flavell, i README-en til Promethevs

Resonnerings- og agentprompter går på 4,4 til 5,2 tokens i sekundet. Første ord på en prompt med 1 163 tokens kommer etter rundt 126 sekunder fordi disklesing er flaskehalsen, mens oppfølgingsmeldinger i samme samtale starter på rundt 2 sekunder fordi motoren beholder det den har lest. På en agentprompt med 1 101 tokens faller samsvaret til 95,91 prosent når hver forskjell telles. Motoren kjører bare på Windows og betjener én forespørsel om gangen.

Rapporten skriver at ingen har testet en ren installasjon på en annen maskin. Det har en bruker nå gjort i issue 7 på GitHub, med i9-13900K, 64 GB DDR5 og RTX 4090. Med standardoppsettet ga maskinen 2,66 tokens i sekundet på kodeprompten og strøk på installasjonssjekken. Brukeren fant to årsaker: den automatiske VRAM-poolen fylte 24 GB-kortet ned til en reserve på 384 MiB mens kortet også drev skjermen, og motoren spredte trådene over alle 32 logiske kjerner, også effektivitetskjernene. Med HILO_V41_GPU_HOT_RESERVE_MIB=3000 og motoren låst til ytelseskjernene steg tallet til 9,75. Byggingen av lagrene tok 1 time og 58 minutter, og alle hasher var identiske med referansen.

Ikke alle tror regnestykket går opp når modellen er så billig via API.

«Å optimalisere for å hoste den lokalt med relativt dårlig ytelse gir rett og slett ikke mening når jeg i går brente rundt 180 millioner tokens for 2,20 dollar.» — Ancapistani, kommentator på Hacker News

Hva bør du gjøre?

1. Kjør scripts\check_hardware.ps1 før du laster ned 510 GB med vekter. Skriptet sier fra om CPU-en mangler AVX2, driveren er eldre enn 580 eller diskplassen ikke holder.
2. Har du et kort med mer enn 12 GB som også driver skjermen, sett HILO_V41_GPU_HOT_RESERVE_MIB=3000, og lås motoren til ytelseskjernene på Intels hybridbrikker.
3. Pek en OpenAI-kompatibel klient mot http://127.0.0.1:8100/v1 med modellnavnet deepseek-v4.1-flash-1017-promethevs, og mål ventetiden på dine egne prompter opp mot hva API-et koster deg.

Bakgrunn

Motoren er lisensiert under Apache-2.0, rapporten og loggene under CC BY 4.0, og DeepSeek-modellen under MIT. Flavell skriver at motorkoden ble laget sammen med KI-kodeassistenter under hans styring.