Unsloth v0.1.525-beta: Kimi K3 lokalt krever 595 GB på disk

Den minste kvanten Unsloth tilbyr av Kimi K3, UD-IQ1_S, legger beslag på 595 GB diskplass. Vil du ha tapsfri inferens med UD-Q8_K_XL, snakker vi 1,56 TB. Dette er en flerkortsrigg med tung systemminne, ikke et helgeprosjekt på ett konsumentkort.

Unsloth ga ut v0.1.525-beta 4. august, med en oppfølgende bunke feilrettinger og Mac-fikser 7. august. Verktøyet er skrevet i Python, ligger under Apache 2.0 og har passert 69 000 stjerner på GitHub.

Kimi K3 fra Moonshot AI er en MoE-modell på 2,8 billioner parametere med 104 milliarder aktive, innebygd bildeforståelse og et kontekstvindu på 1 million tokens. Den er ren tenkemodell, og Unsloth støtter tre nivåer av resonneringsinnsats: lav, høy og maks. DeepSeek V4 Flash 0731 er langt mer overkommelig, med UD-IQ3_XXS på 104 GB som passer i en maskin med 128 GB. Der er DSpark-støtte nå slått på som standard, og gir omtrent dobbelt så rask inferens ut av boksen.

Den minst glamorøse endringen er trolig den mest merkbare: nedlastingslogikken er skilt ut i egne varianter for Colab, maskiner med lite minne og maskiner med mye minne og CPU, med automatisk fall tilbake til vanlig HTTP hvis XET-protokollen henger. Har du sittet og sett på en GGUF-nedlasting på flere hundre gigabyte som stopper opp, er dette den viktige linjen i utgivelsesnotatet.

Unsloth opplyser også at prosjektet ikke er berørt av Keyv-kompromitteringen i npm. Avhengighetskjeden er pinnet til keyv 4.5.4, flat-cache 4.0.1 og file-entry-cache 8.0.0, mens de kompromitterte versjonene er henholdsvis 6.0.0, 6.1.24 og 11.1.6.

Hva bør du gjøre?

1. Regn diskplass før du laster ned. Kimi K3 krever minst 595 GB selv på den minste kvanten, og DeepSeek V4 Flash minst 83 GB.
2. Kjører du på et konsumentkort, gå for DeepSeek V4 Flash i UD-IQ3_XXS på 104 GB heller enn Kimi K3.
3. Oppdater uansett hvis du har hengt fast i avbrutte nedlastinger. Installasjonsskriptene pinner nå til en nyere versjon, så kjør installereren på nytt fremfor å oppgradere manuelt.