Thinking Machines slipper Inkling: 975B åpen multimodal modell med 1M kontekst
onsdag 15. juli · KI-generert · Kilde: Hugging Face - Blog
Lanserer Thinking Machines Inkling, open-weights-miljøets første multimodale billionmodell med 1 million tokens kontekst og innebygd støtte for tekst, bilde og lyd.
975 milliarder parametere, 41 milliarder aktive, 1 million tokens kontekst og 45 billioner treningstokener. Det er tallene bak Inkling, modellen Thinking Machines la ut på Hugging Face 15. juli. Ifølge selskapets team er det «den første store åpne modellen med rundt én billion parametere og 1M kontekst som tar imot bilde, tekst og lyd naturlig».
Arkitekturen er en decoder-only Mixture-of-Experts med 256 eksperter, der bare 6 rutede pluss 2 delte er aktive per token. Den dropper RoPE til fordel for relativ attention, veksler mellom global og glidende vindus-attention i et 5:1-mønster, og legger inn en kort 1D-konvolusjon for lokale mønstre. Multimodaliteten er uvanlig enkel: bilde- og lydtårnene er små moduler i stedet for egne, tunge enkodere per modalitet.
«Inkling er en stor multimodal LLM som forstår alle modaliteter, har agentiske evner og støtter 1M kontekst.» — Hugging Face, i lanseringsartikkelen
Haken er størrelsen. BF16-sjekkpunktet krever 2 TB VRAM, og selv NVFP4-varianten trenger 600 GB, altså langt utenfor rekkevidde for en hjemmemaskin. Det finnes day-0-støtte i transformers 5.14.0, SGLang og vLLM, og ggml-kvantiseringer for llama.cpp om du vil kjøre lokalt.
«Thinking Machines forhåndsviste også Inkling-Small, en variant med 12 milliarder aktive parametere som lover sterk ytelse til lavere kostnad og latens.» — startuphub.ai, om lanseringen
Hva bør du gjøre?
- Vil du teste modellen uten 2 TB VRAM, gå via serverløse inferens-rutere eller vent på ggml-kvantene for llama.cpp.
- Følg med på Inkling-Small hvis du bygger multimodale apper som skal kjøres på rimeligere maskinvare.