Seeed-kit med 26 TOPS kjører 7B-modeller lokalt for 379 dollar

379 dollar er prisen på Seeed Studios utviklingskit med akseleratoren montert, skriver Electronics For You. Uten RK1820-kortet koster grunnversjonen 219 dollar, selve reComputer RK3576-modulen starter på 130 dollar, og I/O-bærekortet selges separat til 18 dollar.

Regnekraften kommer fra to steder. RK3576 har en innebygd NPU på 6 TOPS INT8, fire Cortex-A72-kjerner på opptil 2,2 GHz, fire Cortex-A53 på opptil 2,0 GHz og en Mali-G52 MC3-GPU. RK1820-akseleratoren legger til 20 TOPS og har 2,5 GB egen DRAM, slik at modelldata kan ligge nær akseleratoren i stedet for å måtte gå over systembussen.

Seeed oppgir støtte for DeepSeek-R1-Distill-Qwen 7B og vision-språkmodellen Qwen2.5-VL 3B. For datasyn oppgir selskapet YOLO11 på opptil 77,9 bilder i sekundet med 640 × 640 piksler inn. Modulen leveres med 4 GB LPDDR5 og 32 GB eMMC, eller 8 GB LPDDR5 og 64 GB eMMC.

Poenget er hvor grensen flytter seg. Rimelige edge-kort med NPU-er rundt 6 TOPS har vært gode på bildeklassifisering og objektdeteksjon, men hatt lite å gå på for generativ KI. Med støtte for en 7B-språkmodell kan du eksperimentere med lokal inferens uten å måtte ha arbeidsstasjons-GPU eller et sky-API.

Forventningene bør justeres deretter. En kvantisert 7B-modell på en 26 TOPS-plattform gir ikke datasenter-ytelse, og hva som er brukbart avhenger av modellstørrelse, kvantisering og hvor mye latens du tåler.

Hva bør du gjøre?

1. Sjekk om 26 TOPS holder for din arbeidsmengde. En kvantisert 7B-modell er innenfor, men lange kontekstvinduer og flere samtidige forespørsler er det ikke.
2. Regn på hele prisen før du bestiller. 379 dollar er kittet med akselerator, mens 219 dollar-versjonen gir deg 6 TOPS og dermed en klart mindre modell.
3. Vei kortet mot en brukt GPU. Fordelen her er strømforbruk, PoE og kamera-inngangene, ikke rå gjennomstrømning.