Llama-modchip presser 284B DeepSeek-V4-Flash inn i 64 GB RAM uten GPU: 9 til 11 tokens i sekundet
søndag 8. november · KI-generert · Kilde: GitHub
Behandle llama-modchip som et eksperiment: prosjektet presser DeepSeek-V4-Flash på 284 milliarder parametere inn i 64 GB RAM, men kvaliteten er så langt bare målt av utvikleren selv.
Den vanlige IQ2_XXS-versjonen av DeepSeek-V4-Flash er for stor for en maskin med 64 GB RAM, og ifølge README-en til llama-modchip krasjer den med OOM på Linux. GitHub-brukeren synchopate, som opprettet prosjektet 29. oktober under Apache 2.0-lisens, krymper modellen fra 76,87 til 56,56 GiB på disk. Med full kontekst på 256K tokens ligger minnebruken på 57,6 til 58,9 GiB.
På en Ryzen 9 9955HX med 16 kjerner og 64 GB DDR5 oppgir utvikleren 43 til 44 tokens i sekundet på prefill og 9,06 til 10,74 tokens i sekundet på ren CPU-dekoding. Med den spekulative drafteren Stockfish-PVS stiger dekodingen til 11,5 til 14,7. Bare 13,17 milliarder av parameterne er aktive per token.
Prisen er hard komprimering. Fordelt på 284,33 milliarder parametere tilsvarer 56,56 GiB i snitt rundt 1,7 bit per vekt over hele modellen, etter Pulsens egen utregning. README-en oppgir selv 3,75 bpw, men det tallet gjelder Fractal-64-formatet den bruker på MLA-lagene. I tillegg kommer det README-en kaller SwiGLU-H2-komprimering og beskjæring av MoE-eksperter. Kvalitetstabellen kaller standardprofilen tapsfri, men referansen der er IQ2_XXS-versjonen, ikke originalvektene.
«unsloths IQ2_XXS-GGUF er 91 GB, selv den minste IQ1_S er 82,5 GB. Så jeg lurer på hvilken modell eller kvantisering tallet i det hele tatt viser til» — adrian17, Hacker News
Modellfilene bruker en egen tensortype (ID 40), så de åpner ikke i upatchet llama.cpp, Ollama eller LM Studio. Du må bruke ./modchip eller prosjektets ferdigkompilerte binærfil. Kommandoen ./modchip claude kobler Claude Code til den lokale motoren og gjenoppretter KV-cachen fra /dev/shm på 13 til 33 millisekunder for DeepSeek-modellen. I Hacker News-tråden, som har 94 poeng, påpeker brukeren walrus01 at 0731-versjonen av DeepSeek-V4-Flash allerede er erstattet av nyere modeller som V4.1 Flash 1017 og GLM 5.3-flash.
Hva bør du gjøre?
- Test 2-bit-modellen på dine egne kodeoppgaver før du bruker den i en agent, og sammenlign med en Q4-modell på samme maskin.
- Start med Nemotron-3.5-30B-A3B på 14,35 GiB hvis du har under 64 GB RAM, og mål med ./modchip bench.
- Kjør den ferdigkompilerte binærfilen i en VM eller container, siden prosjektet ble opprettet 29. oktober og du ikke har bygget binærfilen selv.