NVIDIA PixelUMM leser og lager bilder og video rett fra piksler, men vektene er kun for forskning
Test PixelUMM hvis du jobber med samlede multimodale modeller, men vektene kan ikke brukes kommersielt og ligger bak spesialistene på resonneringstester.
NVIDIA har lagt ut vektene til PixelUMM på Hugging Face, en modell som både forstår og genererer tekst, bilder og video med én decoder-only Transformer. Modellkortet oppgir 15 199 672 064 parametere, bygget på Qwen3-8B. Forskningsartikkelen fra NVIDIA og University of Waterloo ble sendt inn til arXiv 29. september.
Det nye er hva modellen ikke har. Samlede modeller som BAGEL bruker to visuelle innganger: en vision Transformer (ViT) for forståelse og en VAE for generering. PixelUMM deler i stedet bilder i rå pikselruter på 16 x 16 og video i blokker på fire bilder, koblet til Qwen-ryggraden med ett lineært lag. Separate eksperter for forståelse og generering deler én felles self-attention, og det forklarer hvorfor en 8B-ryggrad blir til 15,2 milliarder parametere totalt.
«Å representere hvert betingende bilde med både ViT- og VAE-tokens dobler omtrent den visuelle konteksten sammenlignet med én enkelt visuell strøm med tilsvarende token-oppløsning, og øker kostnadene for attention og minne.» — forskerne bak PixelUMM, arXiv
For agenter og lange samtaler med mange bilder er det poenget: færre visuelle tokens betyr mindre KV-cache per bilde. Prisen er kvalitet på enkelte oppgaver. Tallene i artikkelen viser en modell som er sterk på telling og tekstlesing, men svak på fagresonnering.
Kjøringen er ikke plug-and-play. PixelUMM krever Linux, et NVIDIA-kort, PyTorch med CUDA og FlashAttention, og hvert sjekkpunkt er på rundt 30 GB i PyTorchs distribuerte format (.distcp), ikke safetensors. Du laster det med NVIDIAs egne skript fra GitHub. Eksemplene i README genererer bilder i 256 x 256 og video i 320 x 176 med 96 bilder i 24 FPS, altså fire sekunder. Tekst-til-video kjører som standard gjennom NVIDIAs Cosmos-guardrail, som krever egen tilgang på Hugging Face.
Lisensen setter grensen for hva du kan bygge. Koden er Apache 2.0, men sjekkpunktet ligger under NVIDIA One-Way Noncommercial License.
«PixelUMM er sluppet kun for ikke-kommersiell forskning eller evaluering.» — NVIDIA, modellkortet på Hugging Face
Hva bør du gjøre?
- Kjør check_checkpoint.py uten GPU først; skriptet sjekker at sjekkpunktet er komplett og kompatibelt før du bruker GPU-tid.
- Velg S8-F22-R05 hvis du vil ha alle fire oppgavene; S8-F18-R01 gir litt bedre tekst-til-video, men mangler videoforståelse.
- Søk om tilgang til nvidia/Cosmos-1.0-Guardrail før du prøver tekst-til-video, siden sjekkene er slått på som standard.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.