StepFun slipper Step 3.7 Flash: 198 milliarder parametre på fire H100-kort

Baseten la StepFun sin Step 3.7 Flash inn i modellbiblioteket sitt denne uken. StepFun er et kinesisk KI-selskap som bygger modeller for tekst, bilde, lyd og resonnering, og Step 3.7 Flash er deres multimodale flaggskip: en sparse MoE vision-language-modell med native bilde- og videoinput, 256k kontekstvindu og tre resonneringsnivåer.

Det tekniske poenget ligger i maskinvaren. Den offisielle vLLM-oppskriften for modellen krever åtte H200- eller åtte B200-kort. Baseten kjører den på fire H100. Forklaringen er FP8-kvantisering: hver vekt krymper fra 16 til 8 bit, og modellvektene lander dermed på 198 GB. En 8×H200-konfigurasjon gir 1 128 GB minne, altså langt mer enn en kvantisert modell faktisk trenger.

Baseten oppgir at de resterende rundt 122 GB holder til produksjonstrafikk, og begrunner det med tre mekanismer: MoE-arkitekturen aktiverer bare 11 av 198 milliarder parametre per token, hybrid attention hindrer at minnebruken vokser mye når samtalene blir lange, og speculative decoding gjetter flere tokens fram i tid og verifiserer dem parallelt. Tallene er Basetens egne og er ikke uavhengig etterprøvd.

Hva bør du gjøre?

1. Regn på kostnad per token mot en tett modell i samme klasse før du bytter. Gevinsten ligger i at bare 11 av 198 milliarder parametre er aktive, ikke i parametertallet på papiret.
2. Vurder om du kan kutte en egen visjonsmodell fra stacken. Step 3.7 Flash tar bilde og video direkte inn, og 256k kontekst gir plass til større kodebaser i samme kall.