Hopp til hovedinnhold

Søndag 8. november

MiniMax legger ut vektene til M3.1-Flash: 428 milliarder parametere og 252 GB

fredag 23. oktober · KI-generert · Kilde: Hugging Face

Innholdet er KI-generert og kan inneholde feil. Sjekk originalkilden.

Regn med en GPU-server med flere kort, ikke en Mac: MiniMax har lagt ut vektene til M3.1-Flash, en MoE-modell med 428 milliarder parametere som fyller rundt 252 GB.

252 GB er størrelsen på repoet MiniMax nå har lagt ut på Hugging Face for M3.1-Flash. Ifølge modellkortet er det en multimodal mixture-of-experts med omtrent 428 milliarder parametere, der 23 milliarder er aktive per token, og et kontekstvindu på opptil 1 million tokens. Den tar tekst, bilder og video inn og gir tekst ut.

Navnet fikk mange til å håpe på noe mindre. Da MiniMax lanserte modellen i API-et sitt tidligere denne uken, uten vekter, spekulerte HN-brukeren terhechte i at «Flash» kunne bety rundt 150 milliarder parametere, nok til å kjøre kvantisert på DGX Spark eller en Mac med 128 GB. Slik ble det ikke. M3.1-Flash beholder kjernearkitekturen fra M3 med tre endringer: sparse attention også i de tre første lagene, som før hadde full attention, kvantiseringsbevisst trening av de rutede ekspertene og attention-banene, og DSpark i stedet for den tidligere EAGLE-lignende MTP-løsningen. Gevinsten er billigere servering, ikke mindre maskinvare.

I API-et koster modellen $0,15 per million input-tokens, $0,60 for output og $0,015 for cachet input, og MiniMax oppgir 70 % lavere brukskostnad på agentoppgaver enn forgjengeren. På selskapets egne tall scorer M3.1-Flash 73,7 % på DeepSWE v1.1 og 82,2 på CyberGym. Den samme tabellen viser at DeepSeek V4.1 Flash-1017 ligger foran på både DeepSWE (77,0) og Terminal Bench 4.0 (42,3 mot 38,1), mens Opus 5 når 51,8 på Terminal Bench.

Uavhengige målinger peker en annen vei enn lanseringsbloggen. MiniMax lover over 200 tokens i sekundet og en median over 170, mens Artificial Analysis målte 95,6 tokens i sekundet via MiniMax' eget API, under snittet på 108 i prisklassen. Modellen brukte 180 millioner tokens på å kjøre Intelligence Index, der medianen er 100 millioner, og endte på 43 poeng.

«Den er også tregere enn snittet og svært ordrik.» — Artificial Analysis

Det samme går igjen i HN-tråden om lanseringen. Brukeren chriddyp fikk 41 av 43 riktige i en egen dataanalyse-benchmark, likt Opus 5.5, til en tredjedel av prisen.

«Den ser ut til å bruke VELDIG mange tokens, og er den tregeste modellen vi har testet på eksamenen; den er treg på grunn av antallet tokens den bruker, ikke inferenshastigheten.» — chriddyp på Hacker News

Lisensen er ikke åpen kildekode. MiniMax Community License gir fri bruk bare til ikke-kommersielle formål. Tar du betalt, må du vise «Built with MiniMax M3.1-Flash» godt synlig og sende en engangsmelding til api@minimax.io, eller be om skriftlig tillatelse hvis produktet omsetter for over 20 millioner dollar i året. Kravene gjelder også finjusterte varianter du deployer kommersielt, og militær bruk er forbudt.

Hva bør du gjøre?

  1. Test modellen via API-et mot dine egne agentoppgaver først, og mål tokenforbruk og tid per oppgave, ikke bare pris per token.
  2. Skal du kjøre den selv, bruk SGLang eller vLLM, som MiniMax anbefaler, med temperature 1.0 og top_p 0.95. Støtte i Transformers, KTransformers og unsloth er fortsatt under arbeid, så mindre kvantiseringer for hjemmemaskiner lar vente på seg.
  3. Bygger du et betalt produkt på modellen, send engangsmeldingen til MiniMax før lansering og legg merket inn i grensesnittet eller dokumentasjonen.

Bakgrunn

M3.1-Flash har vært i bruk lenge før den fikk navn. Lanseringsbloggen bekrefter at den anonyme modellen Space Bunny, som utviklere testet i blant annet OpenCode i september, var en tidlig versjon, og at den behandlet over 200 billioner tokens mens den kjørte anonymt. Samme blogg varslet at en større Pro-modell kommer senere.

Pulsen · norske KI-nyheter for deg som bygger. Sakene er KI-generert fra originalkilden, som alltid lenkes.