Lemonade v10.3: én lokal OpenAI-API for tekst, bilder og tale i 10x mindre app

10 ganger mindre installasjon. Fire backender. Én OpenAI-kompatibel API. Det er den korte versjonen av Lemonade v10.3.0, lansert denne uken som AMD-sponset open-source prosjekt for lokal KI-inferens. Selve serveren snakker OpenAI-protokollen, slik at hvilken som helst klient som forventer OpenAI Chat Completions kan peke mot din egen maskin uten kodendring.

Den største nyheten er OmniRouter. Den ruter forespørsler mellom llama.cpp for tekst-LLM, stable-diffusion.cpp for bildegenerering, whisper.cpp for tale-til-tekst, og Kokoro for tekst-til-tale, alt fra samme endpoint og med naturlig språk-instruksjoner. Du kan be modellen «lag et bilde av en rev» eller «les opp denne teksten» og OmniRouter velger riktig motor uten at klienten din trenger å vite hvilken.

Tauri-byttet er den praktiske vinneren for de fleste. Lemonade-skrivebordsappen har vært tung å installere og enda tyngre i minne fordi Electron drar med seg en hel Chromium. Tauri bygger på systemets egen WebView og resulterer i en bygg som ifølge release-notatet er 10x mindre. Lett mode-tema er også nytt, og selve serveren har endret navn fra lemonade_server.service til lemond.service.

På GPU-siden støtter v10.3 ROCm 7.2 stable, ROCm 7.12 preview (nytt default) og TheRock nightly builds. NVIDIA fungerer som før via egen kjerne. AMDs iGPU og dGPU er konsolidert til ett amd_gpu-felt i system-info slik at klient-koden ikke trenger separat logikk per kort-type. På macOS er det fortsatt beta, men nå med posix_spawn-fiks som tidligere ga segfault i llama.cpp.

For norske byggere er det interessante mønsteret at du nå kan bytte fra OpenAI-API til ren lokal kjøring uten å endre klient-koden. Du kjører lemond som backend, peker OPENAI_BASE_URL mot maskinen din, og bytter ut modellnavn med en av de støttede lokale variantene (Qwen3.6-27b og 35b er nye; Bonsai-familien er også lagt til).

Hva bør du gjøre?

1. Last ned .msi, .deb, .rpm eller macOS-pakken fra v10.3-releasen og test mot dine egne klient-skript ved å sette OPENAI_BASE_URL til lokal Lemonade.
2. Hvis du oppgraderer fra v10.2: husk at servicen heter lemond.service nå, og at ROCm-default er endret fra nightly til preview. Pin versjon hvis du har skript som forventer det gamle navnet.
3. Vurder OmniRouter for sider eller agenter som trenger flere modaliteter. Du slipper å integrere fire ulike SDK-er, og hele samtale-historikken kan gå gjennom samme endpoint.