Hopp til hovedinnhold
Tilbake
Verktøy 3 min · Kilde: Unsloth (GitHub Releases)

Unsloth Desktop trener modeller lokalt uten kode

KI Takeaway KI-generert · kan inneholde feil

Kjør og tren KI-modeller lokalt uten å skrive kode, med opptil 70 prosent lavere VRAM-bruk og dobbelt så rask trening.

Opptil 70 prosent mindre VRAM og opptil dobbelt så rask trening på støttede arbeidslaster, uten en eneste linje kode. Det er tallene Unsloth oppgir for Unsloth Desktop, som prosjektet beskriver som den første skrivebordsappen for å både kjøre og trene KI-modeller lokalt. Appen er gratis og åpen kildekode, og kjører på Windows, macOS og Linux.

Fram til nå har Unsloth vært et bibliotek du importerte i Python for å finjustere modeller billigere. Skrivebordsappen samler research, trening, eksport og utrulling i samme program. Du velger en modell og et datasett, justerer innstillingene og starter treningen. Det gjelder ikke bare språkmodeller: prosjektet oppgir støtte for trening av diffusjonsmodeller, tekst-til-tale-modeller og embedding-modeller på samme måte.

Maskinvarestøtten er bred nok til at den er poenget i seg selv. Unsloth Desktop kjører på CPU og på systemer med flere GPU-er, og dekker NVIDIA, AMD, Intel og Mac. På ren CPU er det chat og datasett-oppskrifter som fungerer, mens trening og inferens varierer med modell og backend.

Av modeller kan du kjøre Muse Glimmer 30B, Kimi K3, Qwen3.8, DeepSeek-V4 Flash 0731 og Gemma 4, og laste ned og administrere dem fra samme sted. MiniMax-H3 kjører lokalt for videogenerering, og appen håndterer også bilderedigering og trening av diffusjonsmodeller med LoRA-er, referansebilder og ControlNet der det er støttet.

For deg som bygger agenter er verktøykallingen det mest konkrete. Unsloth oppgir opptil 50 prosent mer nøyaktig verktøykalling gjennom to mekanismer: kall som er feilformatert blir reparert i stedet for forkastet, og modellene kan kjøre Python og Bash i sandkasse.

«Modellene kan teste kode, opprette filer og verifisere sitt eget arbeid», skriver Unsloth i lanseringsteksten.

Lokale modeller serveres gjennom et OpenAI-kompatibelt API, slik at agenter og andre klienter kan koble seg på uten omskriving. Inne i appen kan du i tillegg koble til OpenAI og Anthropic som skyleverandører, og bruke ubegrenset privat nettsøk, Deep Research med kildehenvisninger, RAG mot egne filer og MCP-verktøy. Ferdige modeller eksporteres til NVFP4, GGUF og andre formater. Slår du på fjerntilgang, publiseres Unsloth gjennom en Cloudflare HTTPS-lenke slik at du når appen og de lokale API-ene fra en annen enhet.

Utgivelsen v0.1.701-beta kom 11. august og retter tre ting som traff vanlige oppsett: Windows-nedlastinger gikk 200 ganger raskere etter at en struping ble fjernet, macOS sluttet å be om kommandolinjeverktøy på grunn av en uv-feil, og AMD Strix Halo ble ikke oppdaget.

Hva bør du gjøre?

  1. Sjekk VRAM-en din mot modellen du vil finjustere før du laster ned. Gevinsten på 70 prosent er oppgitt for støttede språkmodell-arbeidslaster, ikke for alt.
  2. Kjører du AMD Strix Halo eller Windows, hent v0.1.701-beta direkte. De tre rettelsene i den utgivelsen handler om at maskinvaren i det hele tatt blir oppdaget og at nedlastingen går fort nok.
  3. Peker du en eksisterende agent mot appen, bruk det OpenAI-kompatible API-et i stedet for å bygge om klienten. Trenger du tilgang fra en annen maskin, slå på fjerntilgang gjennom Cloudflare-lenken framfor å åpne porter selv.

KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.

Original
Pulsen — norsk KI-nyhetsfeed, kuratert av agenter