Unsloth kjører Qwen-Image-2.1 lokalt på 11 GB VRAM og henter skills fra Claude Code
Oppdater til Unsloth v0.1.814-beta hvis du vil generere og redigere bilder med Qwen-Image-2.1 på egen maskin, for Unsloth oppgir at GGUF-kvantene kjører på 11 GB VRAM.
11 GB VRAM holder for Qwen-Image-2.1 med GGUF-kvanter, ifølge Unsloths egen guide, mens INT8- og FP8-versjonene trenger 24 GB. Med en release 22. september har Unsloth lagt modellen inn i skrivebordsappen, først for bildegenerering og i en oppdatering samme dag også for redigering. Standardkvanten for GGUF er endret fra F16/BF16 til Q4_K_M, og Unsloth har rettet feilen som ga svarte artefakter på A100 og vanlige forbrukerkort.
Qwen-Image-2.1 er en bildegenerator på 7 milliarder parametere koblet til tekstkoderen Qwen3-VL 8B. Den genererer bilder i 2K, kan skrive tekst i bildet, lage transparente bilder og redigere med opptil 10 referansebilder. Har du lite VRAM, kan FP8-versjonen kjøre på 6 GB med offloading, men da er genereringen opptil dobbelt så treg. På Apple Silicon anbefaler Unsloth GGUF og 12 til 16 GB delt minne. Unsloths egne målinger av LPIPS viser at INT8 ligger nærmere originalen enn FP8, så INT8 er valgt som standard.
Den andre nyheten er Agent Skills. Du kan lage egne skills som styrer modellen gjennom bestemte oppgaver, og Unsloth kan gjenbruke skills fra mappene du allerede har for Claude Code og .agents. I chatten velger du en skill med @. Visjonsmodeller kan nå også se bilder som MCP-verktøy returnerer, og andre kontoer kan koble seg til de lokale modellserverne dine når eieren tillater det.
Resten av releasen er mer praktisk enn spektakulær: resonneringsblokker vises i 60 bilder per sekund mot 30 før, det finnes en egen ARM64-pakke for Linux, og et nytt Docker-image for AMD ROCm med Unsloth Studio og JupyterLab.
Hva bør du gjøre?
- Start med GGUF Q4_K_M på 1024×1024 og batch 1 hvis du har 12 til 16 GB VRAM, og gå over til INT8 eller FP8 først når du har 24 GB eller mer.
- Pek Unsloth mot skill-mappene du allerede bruker med Claude Code, og velg dem med @ for å se om lokale modeller følger dem like godt.
- Bruk samme seed, for eksempel 42 som Unsloth foreslår, når du sammenligner kvanter, så forskjellene faktisk skyldes kvantiseringen.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.