1-bit kvantisering og TurboQuant: kan lokale modeller bli like raske som skytjenester?
torsdag 2. april · KI-generert · Kilde: LocalLlama
Innholdet er KI-generert og kan inneholde feil. Sjekk originalkilden.
Mens de fleste kjører 4-bit kvantiserte modeller lokalt, tester en gruppe utviklere nå 1-bit varianter av Qwen3. Resultatene fra en ny simulering viser at TurboQuant-metoden beholder overraskende mye kvalitet selv ved ekstrem komprimering. For Qwen3 30B faller benchmark-score bare 8 prosent fra full presisjon til 1-bit, mens minnebruken synker fra 60 GB til under 6 GB. Det betyr at du kan kjøre en 30B-modell på en vanlig gaming-GPU. Foreløpig er det et forskningsprosjekt, men retningen er tydelig.