Sju lokale modeller testet på en NAS: bare én holdt til Home Assistant

NAS-en står og går uansett, dataene blir liggende på eget nett, og ingen forespørsel går til en skytjeneste. Det er argumentet for å kjøre en lokal modell ved siden av Home Assistant. XDA Developers testet premisset på en Ugreen DH4300 Plus, og fant at maskinvaren setter grensen lenge før modellvalget rekker å gjøre det.

Boksen har en Rockchip RK3588C med åtte ARM-kjerner og 8 GB minne. Ugreen oppgir 6 TOPS, men Ollama tar ikke i bruk Rockchip-NPU-en fra en vanlig Docker-container, så alt kjører på CPU. Den praktiske grensen havner rundt 2 milliarder parametere.

Sju modeller gikk gjennom det samme settet: direkte enhetsstyring, tvetydige entitetsnavn, kommandoer mot flere enheter og instrukser der modellen ikke skulle gjøre noe. Testeren vurderte verktøyvalget og argumentene, ikke svaret i tekst.

Resultatene sprikte mer på format enn på forståelse. LFM2.5 1.2B valgte ofte riktig funksjon, men returnerte den i Python-stil som verken Ollama eller Home Assistant kunne parse. Home-FunctionGemma 270M, trent på 240 000 Home Assistant-forespørsler, håndterte vanlig smarthus-språk godt, men falt utenfor når formuleringen ble uvant.

Qwen3 1.7B var den eneste som holdt hele veien. Q4-versjonen er rundt 1,4 GB, og oppsettet som fungerte var 4096 tokens kontekstvindu, tenking av, temperatur nær null og bare to til fire tidligere meldinger i historikken. Home Assistant anbefaler under 25 eksponerte entiteter mot små lokale modeller, og testen holdt seg på 10 til 15.

«I still wouldn't give a small local model unrestricted control over locks, heaters, or alarms.» — XDA Developers

Hva bør du gjøre?

1. La Home Assistant Assist ta de direkte kommandoene og bruk modellen bare som fallback. Da går «skru av lyset» like raskt som før, mens modellen bare tar det tvetydige.
2. Hold modellen lastet mellom forespørsler. Oppstart per kommando er forskjellen mellom brukbart og irriterende på CPU-inferens.
3. Hold låser, varme og alarm utenfor. De hører hjemme i deterministiske automasjoner, ikke bak et verktøykall fra en 1,7B-modell.