Maple kutter Gemma 4 26B til 4,75 GB: 45 tokens i sekundet på et 6 GB-kort

søndag 8. november · KI-generert · Kilde: GitHub

Innholdet er KI-generert og kan inneholde feil. Sjekk originalkilden.

Test Maple hvis du har et 6 GB-kort og skriver Python, men regn med at hastighetsgevinsten kommer av at modellen får plass i VRAM, ikke av bevist kvalitet.

45,4 tokens i sekundet er tallet Aman Sachan, en uavhengig utvikler, oppgir for sin Maple-versjon av Googles Gemma 4 26B-A4B på et RTX 4050 med 6 GB VRAM, ifølge prosjektets README på GitHub. Originalen klarer 6,9. Maple profilerer hvilke eksperter ruteren faktisk bruker via llama-imatrix, scorer dem på aktiveringsfrekvens og -energi, og fjerner 80 av 128 eksperter i hvert av de 30 lagene. De 48 som blir igjen dekker 79,88 prosent av aktiveringsmassen, og ekspertvektene kvantiseres til IQ2_XXS. Resultatet er en GGUF-fil på 4,75 GB mot 9,92 GB.

Sammenligningen er skjev. Originalen fikk bare 16 av 30 lag inn i VRAM og måtte hente resten fra systemminnet, mens Maple ligger helt på kortet med 4 820 MiB brukt ved 2 048 tokens kontekst. Det meste av 6,57x-gevinsten kommer altså av at offloadingen forsvinner. Påstanden om null kvalitetstap hviler på fire oppgaver (Fibonacci, et binært søketre, Rayleigh-spredning og en syllogisme) målt med treff på nøkkelord, og kalibreringskorpuset er på 1 979 tokens.

«Det ser ut som sjekken bare ble gjort mot veldig trivielle oppgaver. Hvorfor ikke kjøre en kjent kodebenchmark mot originalen og den beskårne?» — viraptor, kommentator på Hacker News

Ekspertene som forsvant, er ifølge README «sovende flerspråklige og generelle samtaleeksperter». Modellen er beskåret for Python og STEM, så regn med at norsk tekst blir dårligere. Til gjengjeld er pipelinen domenenøytral: maple_profile.py tar ditt eget korpus, og maple_build.py bygger en ny GGUF fra den ubeskårne basen. README nevner også at samplerflagget --dry-allowed-length 2 ødela Python-syntaksen fordi det straffet korte nøkkelord som def og if.

Hva bør du gjøre?

Kjør llama-cli -hf AmSach/Gemma-4-26B-A4B-MAPLE-Sub5GB-GGUF -ngl 99 for å legge alle lagene på GPU-en.
Sammenlign mot originalen på dine egne kodeoppgaver før du bytter ut modellen i en agent.
Kalibrer med et norsk korpus via maple_profile.py hvis du trenger norsk, og mål om nok av språkevnen overlever.

Les originalen hos GitHub