NanoMind-S3: 15,2 millioner parametere kjører på en ESP32-S3

15 206 400 vekter er tallet Salman Farsi har fått til å passe i en mikrokontroller. NanoMind-S3 er en bar-metall inferansemotor skrevet i C mot ESP-IDF, publisert på GitHub under MIT-lisens, og den kjører modellen stories15M med LLaMA-2-arkitektur på en ESP32-S3 DevKitC-1.

Veien dit går gjennom kvantisering. Karpathys opprinnelige FP32-vekter på 58 MB ble kvantisert til fortegnede fire-bits heltall med FP32-skalafaktorer per rad, og to slike vekter pakkes i én byte. Resultatet er en modellbinær på 7,49 MB, mot 14,74 MB for INT8. Utpakkingen skjer med aritmetisk skift som gjør fortegnsutvidelse på én klokkesykel på Xtensa LX7-kjernen. Matrisemultiplikasjonen kjører på begge kjerner samtidig, synkronisert med binære semaforer fra FreeRTOS: kjerne 0 tar øvre halvdel av radene, kjerne 1 tar resten.

Modellen selv er liten og spesialisert: 6 lag, dimensjon 288, 6 attention-hoder, 32 000 tokens vokabular og maks sekvenslengde på 256. Hver token koster 30,4 millioner flyttallsoperasjoner. Den er trent av Andrej Karpathy på Microsofts TinyStories-datasett, og oppgaven den løser er å generere korte barnefortellinger.

Det er verdt å holde fast ved. Dette er ikke en assistent du kan snakke med, og prosjektet har to stjerner på GitHub. Verdien ligger i implementasjonen: en fullstendig LLaMA-2 forward pass uten oppslagstabeller eller beskjærte parametere, på maskinvare som koster noen få dollar.

Hva bør du gjøre?

1. Har du et ESP32-S3-kort med PSRAM liggende, klon repoet og bygg med ESP-IDF. Modellbinæren på 7,49 MB må ligge i flash.
2. Se på eksportskriptet for INT4-pakking hvis du selv sliter med å få vekter ned i størrelse. Nibbel-pakking med skalafaktor per rad er gjenbrukbart utenfor dette prosjektet.
3. Ikke planlegg for dialog eller verktøybruk. 2,96 tokens i sekundet og 256 tokens kontekst er rammene du jobber innenfor.