Med versjon 7.14.0 flytter AMD hele ROCm over på «TheRock», et modulært bygge- og utgivelsessystem, ifølge utgivelsesnotatene. Kjernen, kalt Core SDK, inneholder nå bare det essensielle av runtime og utviklingskomponenter, mens KI, data science og HPC skilles ut i egne, valgfrie SDK-er du installerer separat.
Tidligere fikk du hele ROCm-stakken i én stor installasjon. Den modulære tilnærmingen kutter fotavtrykket og lar pakkene slippes uavhengig av hverandre. For deg som kjører lokale modeller betyr det raskere oppsett og mindre disk brukt på biblioteker du aldri rører.
Denne runden er tydelig rettet mot inferens. Utgivelsen kommer med vLLM-klare images og pakker, og hopper frem til PyTorch 2.12.0, vLLM 0.23.0, JAX 0.10.0 og SGLang 0.5.13. Den utvider også maskinvarestøtten til nye Ryzen AI MAX- og Ryzen AI-brikker (gfx1151 og gfx1153), pluss RHEL 10.2, SLES 16 og Debian 13. ROCm Compute Profiler kan nå installeres som et pip-hjul, uten å bygge ROCm fra kilde.
Hva bør du gjøre?
- Kjører du inferens på AMD Instinct eller Radeon, hent vLLM-imagene direkte i stedet for å bygge fra kilde.
- Installer bare det du trenger: start med Core SDK og legg til KI-SDK-en når du faktisk skal kjøre modeller.
- Vil du profilere PyTorch, bruk det nye rocm-profiler-hjulet via pip.