21 300 tokens i sekundet på et FPGA-brett til 250 dollar
Kjører et FPGA-brett til 250 dollar en språkmodell på rundt 21 300 tokens i sekundet med alle vektene i on-chip-minnet.
Et Kria KV260-brett står i Wales, koblet til en Cloudflare-tunnel, og svarer på tekst fra hvem som helst som åpner demoen. Mike Ayles kjøpte brettet til et annet sideprosjekt, en deterministisk synspipeline, og brukte nedetiden på å teste ideen bak Taalas' chatjimmy-demo: hvis inferens er begrenset av å lese vekter, slutt å hente dem langt unna. Taalas er selskapet AMD nettopp har kjøpt.
På KV260 deler Arm-kjernene og fabrikken én DDR-kontroller på rundt 20 GB/s. Ligger modellen i DDR, drikker prosessoren og fabrikken gjennom samme sugerør, og fabrikken kjøper deg ingenting. Fluktveien er en modell som får plass i on-chip-minnet, der båndbredden måles i hundrevis av GB/s. Brettet gir deg omtrent 3 MB, og de skal dekke vekter, aktiveringer og KV-cache. Det ble en transformer på 3,16 millioner parametere i INT4, rundt 1,5 MB, trent på TinyStories.
Skillet mellom de to siste tallene er hele poenget. Rekorden på 59 965,5 tokens i sekundet ved 200 MHz kjører 16 parallelle strømmer som deler én vektlesing, bit-eksakt mot heltallsreferansen i tre runder på tre. Men hver strøm har et oppmerksomhetsvindu på ett eneste token, så en chat bygget på den sender ut ett trofast tegn og faller ned trappa, som Ayles beskriver det. Bygget som faktisk står i demoen er én strøm med fullt kontekstvindu: 19 242 tokens i sekundet talt i klokkesykluser, rundt 21 300 målt live.
Lastsveipet holdt seg flatt fra 1 til 2000 samtidige tilkoblinger uten en eneste feil, men flatlinja er aggregert. Fabrikken er mettet fra noen titalls aktive klienter, opplyser Ayles i Hacker News-tråden, og resten køer seg: median og 95-persentil ligger på 17 og 30 millisekunder alene, og på rundt 6,3 og 9,4 sekunder ved 2000 samtidige.
«Den degraderer som en velfungerende kø, ikke som en klippe, men ingen ville kalt 6 sekunder på toppen kvikt» — Mike Ayles, i Show HN-tråden
Grensen for trikset er regnet ut, ikke antatt. Krysningspunktet ligger rundt 6,3 millioner parametere: over det spiller vektene ut i DDR, og du er tilbake ved veggen. Langt kontekstvindu sprenger KV-cachen på samme måte. Ayles kaller det selv en teknikk for leketøysmodeller, og modellen produserer da også tull på oppfordring.
Verilog-koden er skrevet for hånd og av Claude Code, uten et eneste ledd av høynivåsyntese. Ayles anslår fordelingen til 80 prosent ham selv på arkitektur og 20 på implementering, med modellen på den motsatte fordelingen. Full syntese, plassering og ruting tok rundt 30 minutter på en i7 med 20 kjerner og 32 GB RAM, og Vivado-grensesnittet ble aldri åpnet.
Hva bør du gjøre?
- Kjør de bit-eksakte testene fra kev-gpt på din egen laptop. Repoet inneholder portene som verifiserer RTL-en mot heltallsreferansen, uten at du eier et brett.
- Regn på 6,3 millioner parametere før du tar ideen videre til noe nyttig. Over den grensen forsvinner hele gevinsten ut i DDR.
- Bruk riktig grunnlinje når du måler egen maskinvare. De 11 tokenene i sekundet fra Arm-kjernene på samme brett sier mer om gevinsten enn en GPU i en annen prisklasse gjør.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.