LocalAI v4.8.1 retter fem feil og gjør vLLM-backenden lastbar igjen

Fem feilrettinger og null bruddendringer er hele innholdet i LocalAI v4.8.1, sluppet 6. august 2026, ifølge AppSelfHost. Prosjektet er en selvhostet, OpenAI-kompatibel API som kjører språkmodeller, bildegenerering og talemodeller på egen maskinvare, det er skrevet i Go under MIT-lisens og har 48 299 stjerner på GitHub. Utgivelsen er en rask oppfølger til v4.8.0, som kom uka før med terminalagenten som hovedsak.

Den viktigste retten sitter i vllm-cpp. Backenden speiler nå vLLM-motorens ABI v10, som fikser at den rett og slett ikke lastet i forrige punktutgivelse. Tok du i bruk den CPU-baserte vLLM-backenden med én gang v4.8.0 kom, har den vært ubrukelig siden.

Resten av lista er kortere, men treffer daglig bruk. Håndteringen av vRAM- og GGUF-metadata isolerer nå ødelagte headere i stedet for å la dem forplante seg, noe som stopper krasj og feilaktige minneestimater når du laster ned kvantiserte modeller fra mindre kuraterte kilder. Traces-fanen i det React-baserte grensesnittet krasjer ikke lenger når du bytter fane. Genererte 3D-ressurser og historikken deres forsvinner ikke lenger fra grensesnittet. Og kommandolinja ignorerer nå et halvutfylt miljø for socket-aktivering i stedet for å feile, noe som betyr noe hvis du kjører LocalAI under systemd socket-aktivering.

På forbedringssiden er den ene endringen verdt tid: hele konfigurasjonsflaten til vLLM-motoren er koblet gjennom til engine_args. Batching, kontekst-håndtering og scheduler-oppførsel kan nå settes fra LocalAIs eget config-lag, der det tidligere var utilgjengelig. Modellgalleriet har også fått to nye Qwen3.5 9B-finjusteringer som kan installeres direkte fra grensesnittet uten å skrive modell-YAML for hånd.

Under panseret er de vendorede C++-backendene oppdatert: audio.cpp, ik_llama.cpp, stable-diffusion.cpp, CrispASR og ds4. Bruker du tale-til-tekst eller Stable Diffusion gjennom LocalAI, arver du oppstrøms feilrettinger uten å gjøre noe selv.

«Ingen bruddendringer kreves. Verken konfigurasjon, API eller modellformat er endret» — AppSelfHost

Hva bør du gjøre?

1. Oppgrader nå hvis du er på vllm-cpp. Et gammelt image der er i praksis ubrukelig, og oppgraderingen krever verken ny nedlasting av modeller eller migrering.
2. Pin til v4.8.1 i docker-compose.yml før du kjører docker compose pull. Sporer du latest, får du den uansett.
3. Er du på et eldre oppsett uten React-grensesnittet og uten vLLM, kan du vente. Da er gevinsten begrenset til hardere GGUF-håndtering og oppdaterte backends.