Koreas Motif 3 bytter til MIT-lisens og åpner 314 milliarder parametere

314 milliarder parametere ligger nå på Hugging Face under MIT-lisens. Motif Technologies har lagt ut de endelige vektene for Motif 3 uten pressemelding eller blogginnlegg, i tre repoer: basemodellen Motif-3-Base, den instruksjonstrimmede Motif-3 og den kvantiserte Motif-3-NVFP4. TechTimes var først til å beskrive slippet. Lisensen er den kommersielt interessante delen, for julis Motif-3-Beta lå under en ren forskningslisens som forbød kommersiell bruk uten skriftlig tillatelse fra selskapet.

Arkitekturen er en Mixture-of-Experts der bare 13,2 milliarder parametere aktiveres per token. Modellkortet oppgir 384 rutede eksperter med 8 aktive om gangen pluss én delt ekspert, 53 lag, og et nativt kontekstvindu på 262 144 tokener. Den er førtrent på rundt 12,5 billioner tokener med vekt på engelsk, koreansk, kode og matematikk. Kombinasjonen betyr at inferenskostnaden ligner en tett modell på rundt 13 milliarder parametere, mens kunnskapskapasiteten trekker på hele ekspertpoolen.

«Den er bygget fra grunnen av Motif Technologies etter et fullstendig internt, proprietært design.» — modellkortet for Motif 3 på Hugging Face

Kravet om egen arkitektur kommer fra Dokpamo, Sør-Koreas statlige konkurranse om en suveren KI-modell, som krever at deltakerne bygger uten frosne vekter fra utenlandske systemer. Motif kjører to komponenter du ikke finner andre steder: Grouped Differential Latent Attention, som kombinerer differensiell oppmerksomhet med den komprimerte nøkkelverdi-representasjonen fra Multi-head Latent Attention, og Expert-Specific PolyNorm, som erstatter SiLU-porten med en polynomnormalisering der koeffisientene læres separat per ekspert. Motif Technologies er et rundt 30 personer stort datterselskap av Moreh, og fikk tildelt cirka 768 NVIDIA B200-kort gjennom programmet.

«En arkitektur i produksjonsskala med publiserte vekter, bygget fra bunnen, ikke en reparametrisering av en eksisterende åpen modell.» — uavhengig analyse fra OrcaRouter, gjengitt av TechTimes

Benchmarktallene er selvrapporterte og ennå ikke reprodusert av tredjeparter, så les dem som leverandørens egne kjøringer.

Maskinvarekravet er den harde begrensningen. Full presisjon i bfloat16 krever åtte B200- eller H200-kort servert gjennom Motifs egen vLLM-fork, som inneholder GDLA-implementasjonen modellen trenger for å oppføre seg riktig, og modellen må lastes med trust_remote_code slått på. Ingen inferensleverandør hoster noen av de tre variantene, så det finnes ingen API-pris å sammenligne mot. Artificial Analysis har også målt at modellen er ordrik: den genererte rundt 260 millioner output-tokener i evalueringen, mot en medianen på 100 millioner for sammenlignbare åpne modeller, noe et driftsteam bør regne inn i kostnadsestimatet.

Hva bør du gjøre?

1. Start med Motif-3-NVFP4 hvis du ikke har B200- eller H200-klasse tilgjengelig. Den kvantiserte varianten har samme MIT-lisens og et vesentlig mindre minneavtrykk.
2. Bruk Motifs vLLM-image, ikke vanlig vLLM. GDLA-oppmerksomheten finnes ikke i oppstrømsversjonen, og modellen krever trust_remote_code=True.
3. Mål tokenforbruket ditt før du budsjetterer. Ordrikheten kan spise gevinsten fra den lave aktiverte parametertellingen når du betaler for egen GPU-tid.