IBM Granite Switch 4.1 legger beslutninger og tale oppå chatmodellen nesten uten ekstra VRAM

470 millioner parametere er alt talemodellen Granite Speech 5.0 TurboCTC legger til når IBM bygger den inn i Granite Switch 4.1, sammen med to adaptere for beslutninger og sikkerhet. IBM skriver på Hugging Face-bloggen at hele pakken tar omtrent like mye VRAM som basismodellen alene. Mekanismen er Activated LoRA-adaptere (aLoRA) som deler basismodellens KV-cache. Modellkortet oppgir 14. oktober 2026 som utgivelsesdato.

8B-utgaven bygger på Granite 4.1 8B med 128K kontekst, og 30B-utgaven har samme oppsett på en større base. Inni ligger en Decision-aLoRA som tar en tilstand og et spørsmål med merkede svaralternativer, og returnerer en sannsynlighetsfordeling over alternativene i ett forward pass. Ved siden av ligger en Guardian-aLoRA som ser etter skadelig innhold, jailbreak-forsøk og sosial skjevhet. IBM hevder Guardian-adapteren i snitt slår Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions og Clef-Flash på sikkerhetsrelaterte beslutningsoppgaver. Adapterne aktiveres med egne kontrolltokens i chat-malen.

Med vanlig LoRA er hver adapter trent mot sin egen KV-fordeling, så cachen må kastes og regnes ut på nytt hver gang du bytter adapter, forklarer IBM i GitHub-repoet. aLoRA-adapterne er trent mot en felles normalisert cache, slik at prefill fra en chat-generering kan gjenbrukes i neste beslutningskall. I IBMs egen kappløpsmåling, som du kan gjenskape på Colab, traff aLoRA 74 prosent av KV-cachen, mot 29 prosent for vanlig LoRA på samme modell og maskinvare.

Bakgrunn

IBM sammenligner Granite Switch direkte med Jev, en beslutningsmodell fra TypeSafe AI som gir opp fri tekstgenerering og bare returnerer typede svar med kalibrerte sannsynligheter.

«Think of Jev as a frontier-intelligence function call: unstructured state in, typed probabilistic decisions out.» — Diogo Almeida, grunnlegger av TypeSafe AI

IBM skriver at beslutningsmodeller ikke er nye, og at spesialiserte adaptere fra Granite Libraries ofte slår generalistene på smale klassifiseringsoppgaver. En 3B-utgave av Granite Switch trent til å spille Doom tok 60 til 100 beslutninger i sekundet, mot de 10 i sekundet TypeSafe har rapportert for Jev, og kunne kommentere spillet underveis. Granite Switch ble introdusert i vår sammen med Granite Libraries, og ideen er å bygge modeller som programvare med utskiftbare moduler.

«Models are just code with data, just a lot more data than code» — Luis Lastras, direktør for språk- og multimodale modeller i IBM Research

Talestøtten har klare begrensninger. Modellkortet sier at den bare håndterer engelsk, at transkripsjonen kommer ut uten store bokstaver og tegnsetting, og at talekoderen og språkmodellen ennå ikke er trent sammen. Transkripsjonen limes inn i chat-konteksten i stedet for lyden. Bygger du noe på norsk tale, trenger du fortsatt en egen talemodell foran.

Kravene spriker litt mellom kildene. Modellkortet oppgir PyTorch 2.11+ og vLLM fra 0.26 til under 0.28, mens GitHub-repoet godtar vLLM opp til 0.30 og krever Python 3.11+ og CUDA 13+. Holder du deg til vLLM 0.26 eller 0.27, er du innenfor begge.

Hva bør du gjøre?

1. Start 8B-modellen med vllm serve ibm-granite/granite-switch-4.1-8b og test lydinput mot det OpenAI-kompatible endepunktet.
2. Bytt ut en separat guardrail-modell i agent-pipelinen med guardian_check i IBMs Mellea-bibliotek, og mål om latensen faller når KV-cachen gjenbrukes.
3. Komponer din egen checkpoint med compose_granite_switch hvis du heller vil ha RAG-adaptere enn tale, for eksempel på 3B-basen.