Janas kjører Qwen3-Next-80B på en bærbar med 32 GB RAM, 8,6 ganger raskere enn llama.cpp

En Qwen3-Next-80B-fil er på 48,4 GB, og en vanlig bærbar har 32 GB RAM. Med llama.cpp betyr det at modellen enten går tom for minne eller skriver 2,8 tokens/s. Janas, et nytt open source-prosjekt fra utvikleren Maurizio «camauri» Cammalleri, får samme modell til å skrive 24 tokens/s på samme maskin, ifølge prosjektets README på GitHub.

Trikset er at vektene blir liggende på disken. I en mixture-of-experts-modell bruker hvert token bare noen få av ekspertene, så Janas-LLM strømmer de ekspertene tokenet trenger fra NVMe-disken og holder dem som stadig går igjen i en cache i minnet. På testmaskinen var cachen rundt 19 GB, og resten ble lest fra disk mens modellen svarte. Motoren er skrevet i C uten andre avhengigheter enn C-biblioteket, og er lisensiert under GPL v3.

Tallene er målt 9. til 11. oktober på en Intel Core Ultra 9 185H med integrert Arc-GPU, 32 GB DDR5 og en NVMe-disk som leser rundt 5,7 GB/s. Med Qwen3-Next-80B leste Janas en prompt på 1024 tokens med 62 tokens/s mot 16 for llama.cpp, og med drafts (modellens egen prediksjonsblokk gjetter neste tokens) kom skrivingen opp i 37 tokens/s. På modeller som får plass i minnet er forspranget mindre: Qwen3-30B-A3B leste 135 mot 122 tokens/s.

«Dette er et eksperiment, ikke et produkt.» — README-en til Janas

Advarslene er konkrete. Motoren fyller ledig minne med ekspertcachen og leser disken for fullt, og README-en skriver at skrivebordet kan bli presset over i swap og slutte å svare. GPU-bruk har én gang utløst en driver-reset som tok med seg skrivebordet. Sammenligningen er heller ikke helt lik: llama.cpp gikk tom for minne på 80B-modellen med vanlig bygg og måtte kjøres uten repacking og via mmap, og de to verktøyene måler skrivefarten litt ulikt.

Hacker News-tråden peker på svakheten for agentbruk.

«Mesteparten av tokenene agenter bruker, går med til å lese ting: dokumentasjon, verktøyoutput, kode og så videre» — kolinko, Hacker News

Regnestykket er enkelt: med 62 tokens/s tar en kontekst på 30 000 tokens rundt åtte minutter å lese inn. Til chat og kodefullføring holder det, og Janas er laget for begge. janas-server gir et HTTP-API som følger OpenAIs og fyller inn kode i VS Code og VSCodium via llama.vscode eller Continue, mens janas-mcp gjør modellen tilgjengelig som verktøy for Claude Code og andre MCP-klienter. Ferdigkonverterte Qwen- og Gemma 4-modeller ligger på Hugging Face.

Hva bør du gjøre?

1. Last ned janas-linux-x86_64.tar.gz fra GitHub-releasen og start ./janas-chat på en maskin der ingenting annet kjører, slik README-en anbefaler.
2. Sett et tak med --cache <GiB> hvis maskinen skal brukes til noe annet samtidig, og JANAS_GPU=0 hvis den integrerte GPU-en lager trøbbel.
3. Kjør janas-bench og send rapporten til prosjektet hvis du har AMD-CPU, diskret GPU eller tregere disk, for det er maskinvare som aldri er testet.