Liquid AIs DSpark-drafter dekoder visjonsmodellen opptil 3,1 ganger raskere på Mac

Dekodingen går 3,13 ganger raskere, men hele svaret kommer bare 2,62 ganger raskere. Det er de beste tallene Liquid AI oppgir for LFM2.5-VL-DSpark med MLX på en M5 Max, og avstanden mellom dem sier mye om spekulativ dekoding for visjonsmodeller. Drafteren gjetter en blokk med kandidat-tokens som målmodellen verifiserer. Siden hvert token sjekkes, blir greedy-output identisk med det LFM2.5-VL-3B gir alene.

Drafteren har fire lag og rundt 280 millioner parametere, altså 8,9 prosent på toppen av 3B-modellen. Den bruker samme arkitektur som Liquid AIs DSpark-drafter for tekstmodellene: bildepatcher og tekst-tokens projiseres til samme representasjon før de lagene drafteren leser fra, så algoritmen er uendret. Med llama.cpp på en M3 Ultra er dekodingen 1,57 til 2,14 ganger raskere, og på en H100 blir ende-til-ende-tiden opptil 2,27 ganger kortere.

Forskjellen skyldes at spekulativ dekoding bare gjør dekodingen raskere, ikke bildeenkoderen eller prefill. En visjonsmodell må først sende bildet gjennom enkoderen og så behandle hundrevis av visuelle tokens sammen med prompten. På maskiner med mindre regnekraft tar det en større del av tiden, og Liquid AI viser selv til Amdahls lov: delen som ikke akselereres, setter taket.

Hva bør du gjøre?

1. Hent LiquidAI/LFM2.5-VL-3B-DSpark fra Hugging Face, i Safetensors eller GGUF, og start den med mlx_vlm.server og flagget --draft-model hvis du har en Mac med M-brikke.
2. Sjekk at du har en build med DSpark-støtte: llama.cpp trenger PR 29339, MLX-VLM PR 2280 og SGLang PR 40651.
3. Mål på dine egne bilder og prompter, siden gevinsten avhenger av hvor stor del av tiden som går til bildeenkoding og prefill.