vLLM 0.31.0 holder kvantiserte vekter i GPU-minnet mellom omstarter

Hittil har hver omstart av vLLM betydd at hele modellen leses fra disk og kvantiseres på nytt, noe som tar minutter for store modeller. Med versjon 0.31.0, som vLLM-prosjektet publiserte på GitHub 5. oktober, kan en egen daemon holde vektene klare i GPU-minnet mens selve inferensmotoren går ned og opp igjen. Utgivelsen samler 717 commits fra 307 bidragsytere.

Kommandoen vllm preload starter én daemon-prosess per GPU. Hver daemon laster sin del av modellen én gang, kjører kvantiseringen og deler deretter tensorene som CUDA IPC-handles over en Unix-socket. Starter du motoren med --load-format ipc_cache, mapper den vektene direkte uten kopi. I standardmodusen zero_copy gir omstarten derfor ikke noe ekstra GPU-minnebruk, men daemonen må leve like lenge som motoren.

«Vektlastingen reduseres til å mappe eksisterende GPU-minne, og omstartstiden kuttes fra minutter (disklasting og kvantiseringsbehandling) til sekunder.» — vLLM-dokumentasjonen for preload

Før motoren tar imot vektene, sammenligner den et fingeravtrykk med daemonen: sjekkpunktinnhold, arkitektur, dtype, kvantiseringsmetode, TP/DP-oppsett og vLLM-versjon. Ved avvik faller den tilbake til vanlig disklasting. Begrensningene er tydelige: bare CUDA og ROCm støttes, pipeline-parallellisme avvises, og hver kvantiseringsmetode i modellen må støtte forhåndsbehandlede vekter. Socket-protokollen bruker pickle, så daemon og motor må kjøre på samme maskin og som samme bruker.

Utgivelsen har også brytende endringer. Per-request mm_processor_kwargs og media_io_kwargs avvises nå med mindre du setter --trust-request-mm-kwargs, tokenizer_mode="slow" er fjernet, og online-kvantisering med quantization="fp8" er erstattet av fp8_per_tensor. En eksperimentell vllm snapshot-kommando kan i tillegg gjenopprette en ferdig initialisert motor med CRIU, foreløpig bare for oppsett uten tensor-parallellisme (TP1).

Hva bør du gjøre?

1. Søk gjennom oppstartsskriptene dine etter quantization="fp8" og tokenizer_mode="slow" før du oppgraderer til 0.31.0.
2. Kjør vllm preload --model som en egen systemd-tjeneste og legg til --load-format ipc_cache på vllm serve, så overlever vektene at du restarter motoren etter en konfigendring.
3. Hold sleep mode unna zero_copy-modusen, som dokumentasjonen advarer mot, og velg modusen copy hvis daemonen skal frigjøre GPU-minnet etter overleveringen.