Sammenligning: exo for Mac-klynger, LocalAI for bredde, GPUStack for dashbord

Ollama har 181 000 stjerner på GitHub, GPUStack har 5 700. Likevel er det GPUStack du ender på hvis du skal drifte en avdelings GPU-er, skriver Nexlab i en gjennomgang av selvhostede inferensorkestratorer med stjernetall hentet fra GitHub-API-et 20. september 2026. Stjernene måler utbredelse, ikke om serveren klarer å bruke mer enn én maskin.

Skillelinjen i tabellen går nettopp ved multi-maskin. Ollama og llamafile er én maskin og én modell av gangen, uten klyngehistorie. llama.cpp og vLLM krysser maskiner, men bare som motorer, med rpc-server på hver boks eller tensor- og pipeline-parallellisme over Ray. Ingen av dem håndterer modeller, brukere eller plassering. Det er jobben LocalAI, GPUStack, Xinference og exo legger oppå.

exo er alene om å ta Apple Silicon på alvor: nullkonfigurert oppdagelse, partisjonering etter minnet i hver enhet, MLX i bunnen og RDMA over Thunderbolt 5, som ifølge prosjektet gir 3,2 ganger skalering på fire enheter. Prisen er at exo er CPU-only på Linux, med NVIDIA og AMD merket «under utvikling». LocalAI dekker i stedet tekst, bilde, video, lyd og embeddings, med cosign-signerte images og en P2P-modus der instansene finner hverandre via et delt token. GPUStack satser på drift: API-nøkler med måling, Prometheus og Grafana og ni akseleratorleverandører, men workerne kjører kun på Linux.

Forfatteren har tatt med sitt eget prosjekt CoderAI i tabellen og oppgir det i teksten. Raden står uten stjernetall, og teksten oppgir at multimaskin-stiene foreløpig bare er testet mot localhost og attrapper.

Hva bør du gjøre?

1. Kjører du alt på én maskin: bli på Ollama, eventuelt llamafile hvis du vil ha modell og server i én fil.
2. Har du flere Mac-er: exo er det eneste reelle valget, men sjekk Thunderbolt 5 før du regner med skaleringstallet.
3. Skal flere dele GPU-ene: GPUStack eller Xinference gir nøkler, måling og dashbord. Trenger du bilde, lyd og video fra samme endepunkt, velg LocalAI i stedet.