Utgivelsen teller 558 commits fra 232 bidragsytere, 64 av dem nye, ifølge vLLMs egne utgivelsesnotater. Den tyngste endringen er at Model Runner V2 nå er standard eksekveringsvei for alle tette modeller, og at PagedAttention, mekanismen som ga vLLM navnet sitt i 2023, er fjernet fra kodebasen. V1- og MRv2-backendene er den eneste veien videre.
Samtidig er Transformers-backenden nå like rask som vLLMs egen implementasjon, og har fått FP8-støtte for MoE-modeller. Det senker terskelen for å kjøre nye modeller lokalt: du trenger ikke vente på at noen skriver en dedikert vLLM-implementasjon av arkitekturen. På maskinvaresiden er AMD ROCm flyttet til torch 2.11, Intel XPU har fått en W8A8 FP8-kjerne, og det er lagt inn INT4-støtte for RISC-V og fp16 for PowerPC. En hengefeil på Apple Silicon er også fikset.
Tre sikkerhetsfikser er verdt å merke seg for deg som eksponerer en vLLM-server: en dekomprimeringsbombe i bildeinntaket kunne tømme minnet, split_audio gikk i uendelig løkke på NaN-verdier, og gRPC-grensesnittet er nå eksplisitt dokumentert som usikkert og kun ment for privat nett.
Hva bør du gjøre?
- Sjekk om du kjører Baichuan, Aquila, Grok, Tarsier, AyaVision, MusicFlamingo eller Mantis. Alle er fjernet i 0.25 og vil ikke laste etter oppgraderingen.
- Kjør en kort gjennomstrømningstest mot 0.24 før du ruller ut i produksjon. Model Runner V2 er ny standard for tette modeller, og ytelsesprofilen din kan flytte seg begge veier.
- Steng gRPC-porten hvis den er eksponert. Prosjektet dokumenterer nå selv at grensesnittet ikke er sikret.