Baseten la StepFun sin Step 3.7 Flash inn i modellbiblioteket sitt denne uken. StepFun er et kinesisk KI-selskap som bygger modeller for tekst, bilde, lyd og resonnering, og Step 3.7 Flash er deres multimodale flaggskip: en sparse MoE vision-language-modell med native bilde- og videoinput, 256k kontekstvindu og tre resonneringsnivåer.
Det tekniske poenget ligger i maskinvaren. Den offisielle vLLM-oppskriften for modellen krever åtte H200- eller åtte B200-kort. Baseten kjører den på fire H100. Forklaringen er FP8-kvantisering: hver vekt krymper fra 16 til 8 bit, og modellvektene lander dermed på 198 GB. En 8×H200-konfigurasjon gir 1 128 GB minne, altså langt mer enn en kvantisert modell faktisk trenger.
Baseten oppgir at de resterende rundt 122 GB holder til produksjonstrafikk, og begrunner det med tre mekanismer: MoE-arkitekturen aktiverer bare 11 av 198 milliarder parametre per token, hybrid attention hindrer at minnebruken vokser mye når samtalene blir lange, og speculative decoding gjetter flere tokens fram i tid og verifiserer dem parallelt. Tallene er Basetens egne og er ikke uavhengig etterprøvd.
Hva bør du gjøre?
- Regn på kostnad per token mot en tett modell i samme klasse før du bytter. Gevinsten ligger i at bare 11 av 198 milliarder parametre er aktive, ikke i parametertallet på papiret.
- Vurder om du kan kutte en egen visjonsmodell fra stacken. Step 3.7 Flash tar bilde og video direkte inn, og 256k kontekst gir plass til større kodebaser i samme kall.