Mistral Large 4 får åpne vekter: 1T parametere, minste kvant er 233 GB
fredag 30. oktober · KI-generert · Kilde: Mistral AI
Last ned Mistral Large 4 fra Hugging Face først når du har rundt 256 GB samlet minne, for så mye krever den minste kvantiserte versjonen av Mistral AIs nye åpne modell.
1,1 TB er størrelsen på de offisielle FP8-vektene Mistral AI nå har lagt ut på Hugging Face, tre uker etter at Mistral Large 4 kom i forhåndsvisning. Ifølge modellkortet er det en Mixture-of-Experts-modell med rundt 1 billion parametere totalt og 49 milliarder aktive per token (52 milliarder med embeddings og output-lag). Den har 128 eksperter der 4 er aktive om gangen, 1 million tokens kontekst og tar både tekst og bilder som input.
Mistral har brukt tiden siden forhåndsvisningen på mer reinforcement learning, og kodetallene har flyttet seg. På Terminal-Bench 4.0 får modellen 41 %, 13 prosentpoeng bedre enn i forhåndsvisningen og med 30 % færre output-tokens. På Artificial Analysis Coding Agent Index får den 48 %, i praksis likt med GLM-5.3, men med 47 % færre tokens per oppgave. I Surge Codes blinde parvise sammenligninger ble den foretrukket over GLM-5.3, Kimi K3 og DeepSeek V4.1 Flash, og endte bare bak Claude Opus 5.5.
«Mistral Large 4 leverer frontier-kodeytelse med betydelig færre tokens, noe som gjør avanserte kodeagenter mer økonomiske å kjøre i stor skala.» — Mistral AI, i lanseringsinnlegget
Totalbildet er mer nøkternt. Modellkortet oppgir 26 på Artificial Analysis Intelligence Index v5, det høyeste blant vestlige åpne modeller, men Mistral skriver selv at de ledende åpne modellene fra Kina scorer høyere på den samlede indeksen.
For hjemmelaben er kvantiseringene fra Unsloth den viktigste nyheten, og de var klare på lanseringsdagen. Den dynamiske 1-bit-varianten UD-IQ1_S er på 233 GB og passer ifølge Unsloth i 256 GB RAM, for eksempel en Mac Studio eller to Nvidia DGX Spark.
«Dynamisk 1-bit beholder 91 % av top-1-nøyaktigheten på tvers av koding, agentoppgaver, matte og andre områder, samtidig som den er 80 % mindre» — Unsloth, i guiden for lokal kjøring
Lisensen er Mistral Ecosystem Open-Weight License, en modifisert MIT-lisens. Du kan bruke, endre, finjustere og selge produkter på modellen. Eneste unntak er bedrifter som tilbyr modellen som tjeneste (Model-as-a-Service), som må ha en egen kommersiell lisens. Via API-et koster den 0,70 dollar per million input-tokens og 2,10 dollar for output.
Mistral skriver også at de i live-trafikken har sett et potensial for at modellen kan hjelpe med ekte angrep, og at de justerer sikkerhetsmekanismene og vil fortsette å oppdatere dem de kommende månedene. Slike justeringer i API-et følger ikke med vekter du allerede har lastet ned.
Hva bør du gjøre?
- Regn på minnet før du laster ned: Unsloth anbefaler at samlet RAM og VRAM er større enn filstørrelsen, med plass til operativsystem og KV-cache. Lang kontekst krever mer.
- Test modellen via OpenRouter eller Mistral API før du bruker en terabyte disk på vektene.
- Kjører du vLLM eller SGLang på en node med 8 GPU-er, slå på det innebygde DSpark-hodet for spekulativ dekoding. Mistral har målt opptil 1,9 ganger høyere gjennomstrømning.
Bakgrunn
Mistral Large 4 kom i forhåndsvisning tidligere i oktober. Modellen er trent fra bunnen av på 3800 Nvidia Grace Blackwell-GPU-er i Mistrals egne datasentre i Europa, og en full teknisk rapport er varslet.