Bytedance trener KI-modell med ti billioner parametere

Ti billioner parametere, altså 10 000 milliarder, er tallet tre kilder oppgir til Financial Times. Det plasserer TikTok-eieren tre ganger over Moonshots Kimi K3, som til nå har vært den største kinesiske modellen, og i samme størrelsesorden som Anthropics Mythos 5. Bransjeanslag setter Mythos 5 til rundt åtte billioner parametere, men Anthropic har ikke offentliggjort sine egne tall.

Modellen er i pretraining, en fase som normalt tar tre til seks måneder, skriver The Decoder i sin gjennomgang av FT-rapporten. Én av kildene sier at Bytedance i over et år har unngått distillasjon, altså å trene på utdata fra andre selskapers modeller. Grunnlegger Zhang Yiming har internt gitt det 2 000 personer store Seed-teamet beskjed om å sikte mot ledende modellkapabiliteter på lang sikt.

Bytedance er ikke alene på denne skalaen. Elon Musk har oppgitt at xAI trener Grok-varianter med seks og ti billioner parametere på klyngen Colossus 2.

Parametertall alene sier lite om hva en modell kan. Antallet bestemmer hvor mye modellen kan lagre, men ytelsen avhenger like mye av datakvalitet og treningsmetode, og et pretraining-løp på denne skalaen kan godt ende bak mindre modeller som er bedre trent.

For deg som bygger betyr dette lite på kort sikt, siden ingenting av det er tilgjengelig å prøve. Retningen er det som er verdt å registrere: de to selskapene som nå trener på ti billioner parametere, selger ikke API-tilgang som hovedprodukt. De eier distribusjonen selv, i en kortvideoapp og i et sosialt nettverk, og trenger ikke tjene penger på modellen direkte for at den skal lønne seg.