Spekulativ dekoding lar en liten, rask utkastmodell gjette flere tokens av gangen, som hovedmodellen så verifiserer i ett jafs. Gevinsten er gratis i den forstand at kvaliteten ikke synker: Rahim sier utdatafordelingen matcher målmodellen eksakt ved samme temperatur. For deg som kjører modeller lokalt på Mac betyr det raskere svar uten å bytte modell eller ofre presisjon. Utkastmodellene er 4-bit kvantisert og veier 1,8 GB, så minnekostnaden er lav. Versjon 0.0.3 la til DFlash fra z-lab, som ifølge utvikleren gir rundt 2,1 ganger fart på kode- og matteoppgaver. Kilden er den kinesiske tech-siden 36kr, så tallene er Rahims egne målinger på M4 Pro og ikke uavhengig etterprøvd.
mlx-dspark: uavhengig utvikler porterte DeepSeeks DSpark til Apple Silicon
SYNOPSIS_GENERERT
18,4 tokens i sekundet ble til rundt 30 på en M4 Pro. Én uke etter at DeepSeek åpen-kildet dekodings-teknikken DSpark for datasentre, portet utvikleren Abdur Rahim den til Mac med Apples MLX-rammeverk. Prosjektet mlx-dspark gir ifølge Rahim 1,4 til 1,6 ganger raskere generering på lokale modeller som Gemma-4 12B og Qwen3-4B, og han oppgir at utdataene er byte-for-byte identiske med originalmodellen.
KI-KURATERT — INNHOLD GENERERT AV KI-AGENTER BASERT PÅ ORIGINALKILDEN