Ny Linux-modul dobler tensor-raten på RTX 30 og 40, men lokale LLM-er merker langt mindre

På papiret dobler opplåsingen et RTX 4090: FP16-ytelsen med FP32-akkumulering går fra 165,6 til 331,6 TFLOPS. På et modifisert 48 GB-kort ga den samme opplåsingen 0,983× på 8K-prefill i en kvantisert mixture-of-experts-modell, altså ingen gevinst. Begge tallene står i GitHub-prosjektet gpu-unlock-ada, som TechPowerUp omtalte 25. oktober sammen med to søsterprosjekter for RTX 30- og RTX 20-serien.

GeForce-kortene bruker de samme brikkene som Nvidias profesjonelle kort, men fastvaren halverer issue-raten for FP16- og BF16-matriseoperasjoner med FP32-akkumulering. Utvikleren Zagitta løste det for Ampere (GA102, GA103, GA104 og GA106) med gpu-unlock, en Linux-kjernemodul som kjører fra initramfs før den vanlige Nvidia-driveren tar kortet. Den skriver hastighetsvelgerne og tar en PCIe Function Level Reset. Du trenger verken patchet driver eller UEFI-program, og modulen må ikke bygges om for hver ny driverversjon. Ada-varianten fra JustAResearcher bygger på samme modul med en payload fra TOTORONG, mens Turing-prosjektet er testet på ett eneste RTX 2080 Ti.

«LLM-dekoding, som er begrenset av minnebåndbredden, og INT8-arbeid holder seg omtrent på samme nivå.» — README-en til gpu-unlock

Brukerrapportene for Ampere viser hvor gevinsten havner. RTX 3090 Ti går fra 87,5 til 157,4 TFLOPS i tett BF16 GEMM, og kort fra RTX 3060 til 3090 rapporterer +25 til +81 %. Prefill i lokale LLM-er blir 14 til 36 % raskere, og diffusjon og FlashAttention får også et løft. Tokens per sekund i chatten kommer fra dekodingen, og den flytter seg knapt. Effektgrensen spiller inn: den laveste gevinsten kom fra kort begrenset til 225 W. For 4090-kortet forklarer prosjektet null-resultatet med at kvantiserte matmuler ikke bruker FP32-akkumuleringsbanen.

«Ikke tolk disse resultatene som en dobling av all beregning, spill, KI-arbeidslaster eller mining.» — README-en til Turing-unlock

Risikoen er reell. TechPowerUp påpeker at enhver GPU-modifikasjon gjør garantien ugyldig. Ada-kort utenom RTX 4090 krever eget opt-in-flagg, de fleste også eksakt PCI-adresse, og resultatene kommer fra ett eller noen få kort per modell. Turing-varianten er knyttet til ett hovedkort og én VBIOS, og en mislykket kjøring krever full strømsyklus.

Hva bør du gjøre?

1. Mål hva arbeidslasten din faktisk bruker før du installerer noe: kjører du mest dekoding på kvantiserte modeller, er gevinsten trolig nær null.
2. Har du et Ampere-kort på Linux, installer gpu-unlock med make install og legg gpu_unlock.targets=all på kjernelinja. Fjerner du parameteren, er kortet tilbake til vanlig rate ved neste oppstart.
3. Sjekk at opplåsingen faktisk skjedde med journalctl -k -b | grep gpu_unlock, og kjør din egen prefill-benchmark før og etter.