Tencent åpner Hy-Nomas: tekststyrt verdensgenerator under Apache 2.0 som kan kjøre på ett RTX 4090
onsdag 28. oktober · KI-generert · Kilde: Hugging Face
Prøv Hy-Nomas på ett RTX 4090 med INT8- og FP8-sjekkpunktene, men regn med CPU-offload, ekstra latens og en historikk som spiser system-RAM.
Standardoppsettet til Hy-Nomas krever åtte GPU-er i én inferensgruppe, mens en egen konfigurasjon får den samme modellen ned på ett NVIDIA GeForce RTX 4090. Det skriver Tencent i modellkortet på Hugging Face, der vektene ligger under Apache 2.0. Lisensfila presiserer at Tencent ikke legger til restriksjoner utover tredjepartskomponentenes egne lisenser.
Hy-Nomas genererer en videoverden ett segment av gangen. Mellom segmentene styrer du med tekst (legg til objekter, bytt stil eller scene, beskriv handlinger) eller med kamerabaner, og en vedvarende KV-cache bærer konteksten videre så verdenen henger sammen. Under panseret sitter en diffusjonstransformer med 54 dobbelstrøm-blokker, språkdelen av Qwen2.5-VL-7B-Instruct som tekstenkoder og en finjustert PixelUMM-dekoder. Destillert inferens bruker 8 denoising-steg og gir video i 720 × 1280.
Ettkorts-varianten lagrer DiT-vektene og KV-cachen i INT8, kjører dekoderen i FP8 og flytter tekstenkoder, DiT og dekoder inn og ut av GPU-en etter tur. Bare 18 latente rammer av historikken ligger på GPU-en. Resten arkiveres i system-RAM, som dermed vokser jo lenger du genererer.
«24 FPS-innstillingen angir bildefrekvensen videoen spilles av med. Genereringshastigheten avhenger av maskinvare, oppløsning, segmentlengde, historikk og valgt konfigurasjon.» — modellkortet til Hy-Nomas
Modellkortet oppgir altså ingen genereringshastighet, og Tencent skriver selv at arkitektur- og samplingverdiene ikke er benchmark-resultater. Sammen med modellen kommer Hy-Nomas-Bench med 280 testtilfeller fordelt på fire benchmarker, og en LoRA trent på robotarm-datasettet RealSource-World. INT8-lasteren støtter ikke å laste en separat LoRA ved inferens, så robotikk-adapteren og ettkorts-oppsettet går ikke sammen uten videre.
Hva bør du gjøre?
- Start med Docker-imaget hynomasoss/hynomasoss:cu130, som Tencent anbefaler fordi det har PyTorch og CUDA-attention-kjernene ferdig bygget. Manuell installasjon krever Python 3.12+ og CUDA 13.0 Toolkit.
- Last ned INT8-DiT og FP8-PixelUMM og kjør single_gpu_low_mem_inference.yaml hvis du har ett RTX 4090, og sørg for god plass i system-RAM.
- Sett av egne ressurser til webdemoen: prompt-tjenesten Nomas-PE kreves der og er ikke dekket av ettkorts-oppsettet.