Unsloth v0.1.48-beta: automatisk modellbytte gjør verktøyet til en full llama-swap-erstatning
onsdag 8. juli · KI-generert · Kilde: AppSelfHost
Unsloth v0.1.48-beta legger automatisk modellbytte til API-serveren, så ett endepunkt kan servere flere lokale GGUF-er uten manuell omstart.
Der du før måtte kjøre llama-swap ved siden av Unsloth for å rute forespørsler mellom flere lokale modeller, gjør v0.1.48-beta jobben selv, ifølge AppSelfHost. Treffer du det OpenAI-kompatible endepunktet med navnet på en annen nedlastet GGUF, lastes og serveres den modellen automatisk. Slippet kom 7. juli 2026 på toppen av kjernen unsloth>=2026.7.1.
Byttet er trygt som standard. Ukjente modellnavn utløser ikke lenger en overraskende nedlasting eller et uventet bytte, serveren fortsetter å kjøre modellen som allerede er lastet. En skrivefeil fra et skript eller en agent drar dermed ikke i gang en flere-gigabyte nedlasting. Serveren kan også frigjøre VRAM etter inaktivitet og laste den siste modellen på nytt når neste forespørsel kommer.
Slippet har i tillegg dag-én-støtte for DeepSeek-V4-Flash med en resonneringsbryter, multiformat-eksport der NVFP4, FP8 og imatrix GGUF genereres i én operasjon, og raskere trening: GRPO rundt 1,3 ganger raskere og MoE 3 til 5 ganger raskere. Endepunktet /v1/models returnerer nå rene modell-ID-er i stedet for å lekke rå filstier.
Hva bør du gjøre?
- Oppdater til v0.1.48-beta på toppen av unsloth>=2026.7.1 hvis du kjører Unsloth som lokal API-server.
- Skru på auto-switching per forespørsel hvis du i dag bruker llama-swap kun til modellruting, og vurder om du kan droppe det ekstra laget.
- Eksponerer du endepunktet mot skript eller agenter: behold safe-by-default og test at et ukjent modellnavn ikke trigger nedlasting.