3,2 milliarder parametre per token er alt Soofi S bruker, av 31,6 milliarder totalt. The Decoder omtaler modellen, som et tysk forskningskonsortium koordinert av KI Bundesverband slapp denne uken, og regnekostnaden per token ligger dermed nærmere en 3B-modell enn en vanlig 30B-modell.
Arkitekturen er hentet uendret fra Nvidias Nemotron 3 Nano: en mixture-of-experts-modell som blander Mamba-2-lag med vanlige attention-lag. Poenget er minnebruken. I vanlige transformere vokser KV-cachen lineært med kontekstlengden, og å laste den på nytt blir flaskehalsen når inputen er lang og forespørslene mange. I Soofi S er det bare 6 av 52 lag som holder en slik cache i det hele tatt. Ved 40 000 tokens kontekst og 32 parallelle forespørsler genererer modellen rundt åtte ganger flere tokens per sekund per GPU enn tette modeller på 14 til 24 milliarder parametre, og gjennomstrømningen holder seg nær flat fra 4 000 til 256 000 tokens.
Det interessante for et lite språk er datamiksen. Konsortiet kjørte rundt 27 billioner tokens i tre faser, og lot tysk utgjøre 7,2 prosent i første fase og 15,3 prosent i andre. I Nvidias egen Nemotron-oppskrift utgjør alle ikke-engelske språk til sammen omtrent 5 prosent. Resultatet: Soofi S slår OLMo 3 32B og Apertus 70B blant fullt åpne modeller på både tysk og engelsk, med 73,8 prosent på HumanEval, uten at engelsk ytelse falt. Treningen tok rundt 253 000 GPU-timer på opptil 512 Nvidia B200-kort i Deutsche Telekoms Industrial AI Cloud i München.
Svakhetene er dokumentert i samme rapport. På tysk konkurransematematikk (Minerva MATH-DE) får modellen 56 poeng, mot 76,5 for Qwen3.5 35B-A3B. Og på RULER-testen der modellen skal hente ut hyppig forekommende ord fra en lang tekst, faller treffraten til rundt 3 prosent forbi 32 000 tokens, mens Nemotron fortsatt klarer 60 til 64 prosent. Forfatterne forklarer det med at lang-kontekst-treningen manglet syntetiske uthentingsoppgaver.
Hva bør du gjøre?
- Prøv modellen hvis arbeidsflyten din har lange kontekster og mange parallelle kall. Det er der hybridarkitekturen henter inn tette modeller, ikke på ren kvalitet per parameter.
- Ikke bruk den til uthenting fra lange dokumenter før RULER-hullet er tettet. Test det selv med dine egne dokumenter over 32 000 tokens før du bygger noe på det.