Unsloth Desktop testet: én app tar over det meste fra LM Studio, Ollama og AnythingLLM

LM Studio til chat, AnythingLLM til RAG og llama.cpp for de nyeste funksjonene: slik har skribenten hos XDA Developers rullert mellom lokale KI-verktøy. Etter å ha testet Unsloth Desktop, som kom i beta 10. august, konkluderer testeren med at de fleste av disse oppgavene nå kan gjøres i ett vindu. Appen er gratis og åpen kildekode, og finnes for Mac, Windows og Linux.

Det som skiller den fra LM Studio og Ollama er trening. Train-fanen håndterer QLoRA (4-bit-adaptere, lav VRAM), LoRA i 16-bit, full finjustering og videre fortrening, med Unsloths egne kjerner som ifølge prosjektet gir dobbelt så rask trening med 70 prosent mindre VRAM. Datasett kan lastes inn som CSV, JSONL, PDF, DOCX, TXT eller MD, og Data Recipes bygger treningsdata fra rådokumenter i en nodebasert editor drevet av NVIDIAs NeMo Data Designer. Maskinvaregrensen er reell: Testerens RTX 3070 med 8 GB VRAM klarer QLoRA på mindre modeller, men ikke en 27B-modell.

«Ingen av dem gjør trening i det hele tatt» — XDA Developers, om LM Studio, Ollama og AnythingLLM

Modellhubben er Unsloths egen katalog, filtrerbar etter hva som passer maskinvaren din, og den plukket opp modellene testeren allerede hadde på disk fra andre verktøy uten reimport. Dynamic v3.0-kvantene, som hubben viser først, skal ifølge Unsloth gi over 10 prosent høyere nøyaktighet enn andre kvanter av samme størrelse. Per modell kan du justere KV-cache-dtype, spekulativ dekoding, tensorparallellitet og VRAM-budsjett, og sende ekstra argumenter rett til llama-server.

For agentbruk har hvert verktøykall (nettsøk, kodekjøring, filtilgang eller MCP-handling) et tillatelseslag med Approve, Always Approve eller Deny, samme modell som Claude Code og Codex bruker. Ifølge XDA har verken LM Studio eller Ollama noe tilsvarende. Utgivelsen v0.1.811-beta fra 18. september la i tillegg til en forhåndsversjon av sandkasse på OS-nivå for Linux og macOS, med et viktig forbehold:

«Nettverkstilgang forblir ubegrenset, og automatisk modus beholder eksisterende sikkerhetstiltak når OS-isolasjon ikke er tilgjengelig» — Unsloth, utgivelsesnotatene for v0.1.811-beta

Samme utgivelse ga flerbrukerkontoer med isolasjon mellom brukerne, et nytt Docker-image for både NVIDIA og AMD, og tilgang til installerte Ollama-modeller gjennom appens API. Du trenger altså ikke rive ned et eksisterende Ollama-oppsett for å prøve. XDA-testeren påpeker at appen fortsatt er i beta, og at nye funksjoner kommer i høyt tempo.

Hva bør du gjøre?

1. Installer appen ved siden av det du har, og la modellhubben finne modellene som allerede ligger på disk. Ollama-modellene dine er tilgjengelige via API-et fra v0.1.811-beta.
2. Sjekk VRAM før du prøver trening: 8 GB holder til QLoRA på mindre modeller, ikke til en 27B-modell.
3. Bruk Approve per kall, ikke Always Approve, for verktøy som når nettet. Den nye sandkassen begrenser ikke nettverkstilgangen.