Recursive Flint: 40B MoE-modell for lokal koding gir over 125 tokens i sekundet på M4 Pro

2,5 milliarder av totalt 39,8 milliarder parametere er aktive per token i Flint, den første modellen fra Recursive. Ifølge Recursives lanseringsinnlegg gir det over 125 tokens i sekundet på en M4 Pro MacBook Pro og over 150 tokens i sekundet på en NVIDIA RTX Spark med 64 GB, målt ved korte kontekster. Vektene ligger på Hugging Face under Apache 2.0 som et BF16-sjekkpunkt, og Recursive lager kvantiserte varianter separat for NVIDIA og Apple Silicon.

Recursive hevder at Flint leder blant mixture-of-experts-modeller under 50 milliarder parametere på agentiske kodetester, og at den matcher tette modeller på 25 til 40 milliarder parametere mens den kjører over fem ganger raskere. Modellkortet oppgir 54,9 % på Terminal-Bench 2.1 og 74,2 % på SWE-bench Verified. Sammenligningstallene for de andre modellene er stort sett utviklernes egne, og Recursive teller Terminal-Bench-løsninger hentet fra nettet som feil, så tallene er ikke målt helt likt.

Det uvanlige er hvordan modellen ble laget. Et lite team bygde Flint fra bunnen på under fire måneder, med selskapets automatiserte forskningssystem Eureka Machine som foreslo, implementerte og testet ideer gjennom hele løpet.

«Nesten alle deler av hele modell-pipelinen ble faktisk gjort og forbedret av KI» — Richard Socher, toppsjef og medgründer i Recursive, til Wired

Ett eksempel: Eureka Machine kvantiserte output-laget (lm_head) til 4 bit, mot vanlig praksis, fordi output-laget utgjør en stor del av vektene som leses per token når så få parametere er aktive. NVFP4-versjonen havner innenfor 0,7 poeng av 16-bitsmodellen på Recursives tester. På M4- og M5-brikker kjører hele dekode-passet som én Metal-megakernel.

For deg som bygger agenter er oppsettet det mest konkrete. Recursive slipper også rec, en egen inferensmotor for M4 Pro og M5 Pro/Max som krever minst 48 GB samlet minne og rundt 30 GB ledig disk. Ifølge rec-repoet på GitHub gir den 1,4 til 2,6 ganger gjennomstrømningen til llama.cpp på M4 Pro. Den eksponerer et OpenAI-kompatibelt API på port 11500 og har ferdige oppsett for kodeagentene pi og OpenCode. Flint fungerer også med llama.cpp, Ollama, Unsloth, LM Studio, vLLM og SGLang. Will Knight i Wired testet modellen på en Mac med 48 GB RAM og skriver at Flint klarte hver eneste kodeforespørsel i testen.

Modellkortet er tydelig på at modellen ikke er en sikkerhetsgrense:

«Applikasjoner som bruker verktøy bør håndheve egne tillatelser og kjøregrenser» — Recursive, modellkortet på Hugging Face

Recursive skriver også at Flint kan trenge mer veiledning enn de store lukkede kodemodellene. Konteksten går til 512 000 tokens, men selskapet anbefaler å holde seg under 256 000.

Hva bør du gjøre?

1. Har du en M4 Pro eller M5 Pro/Max med 48 GB minne: installer rec og kjør rec launch opencode eller rec launch pi, som laster ned modellen første gang.
2. Uten Apple Silicon: hent BF16-sjekkpunktet og det ferdige SGLang-oppsettet fra Hugging Face-repoet. Recursive oppgir at Flint også fungerer med vLLM, llama.cpp, Ollama og LM Studio.
3. Del opp store oppgaver i mindre deloppgaver og hold konteksten under 256 000 tokens, slik Recursive anbefaler.

Bakgrunn

Recursive har hentet 650 millioner dollar til en verdsettelse på 4,65 milliarder dollar fra blant andre Google Ventures, Nvidia og AMD Ventures, ifølge Wired. Socher var tidligere sjefforsker i Salesforce, og selskapets mål er rekursivt selvforbedrende KI. Ideen er omstridt nok til at flere lovforslag i den amerikanske kongressen vil forby den.