1,6 billioner parametre er den totale størrelsen, men bare rundt 48 milliarder er aktive per token. Det er kjernen i Meituans nye LongCat-2.0, en Mixture-of-Experts-modell det kinesiske leveringsselskapet nå har open-sourcet, ifølge selskapets egen blogg. Modellen er spesialdesignet for agentisk koding og flertrinns verktøybruk, og støtter opptil 1 million tokens kontekst.
MoE-arkitekturen er poenget: ved å aktivere bare en liten brøkdel av vektene per token får du regnekraften til en mindre modell, men kapasiteten til en svært stor en. For agentiske arbeidsflyter, der modellen kaller verktøy gjentatte ganger over lange kontekster, betyr det lavere kostnad per steg enn en tett modell på samme nivå ville gitt.
At den er trent på kinesiske brikker er et signal i seg selv. Det viser at trening av modeller i billionklassen ikke lenger forutsetter amerikansk toppmaskinvare, samtidig som åpne vekter gjør at hvem som helst kan laste ned og kjøre modellen.
Den praktiske haken er lagring. Selv om bare 48 milliarder parametre er aktive, må alle 1,6 billioner vektene ligge tilgjengelig, noe som krever langt mer minne enn de fleste har lokalt. «Open-source» betyr her realistisk sett servere eller utleid GPU-kapasitet, ikke en laptop.
Hva bør du gjøre?
- Vurder LongCat-2.0 for agent-arbeidsflyter med lange kontekster der kostnad per verktøykall teller mer enn rå generell ytelse.
- Regn på minnebudsjettet for de fulle vektene før du planlegger lokal kjøring, ikke bare de aktive parametrene.
- Kjør dine egne agent-evals: spesialisering for koding sier lite om hvordan modellen håndterer akkurat dine verktøy.