Linum slipper P-JiT 21K under Apache 2.0: bildemodell med 2 milliarder parametere trent for 21 000 dollar

Linum v2 brukte en Wan-VAE og 16×16-tokenreduksjon, som de fleste bildemodeller. P-JiT dropper VAE-en helt, jobber direkte i pikselrom med 32×32-patcher og representerer dermed et 512²-bilde med like mange tokens som et 256²-bilde tidligere, skriver Linum i bloggen sin. Linum er et forskningslaboratorium drevet av to brødre, Sahil og Manu Chopra, og modellen er en mellomstasjon mot neste videomodell.

Regnestykket er oppgitt ned på timen: 8 139 H100-timer forhåndstrening på 64 H100 til 2,50 dollar timen (20 348 dollar), deretter 276 timer ettertrening med en variant av FDFO (690 dollar). Modellen så 610 millioner eksempler i 512² og 50 millioner i 1024². Teksten kodes av en frossen Qwen3.5-4B.

«Vi ble overrasket over hvor bra resultatene så ut gitt størrelsen på modellen, så vi tenkte vi skulle dele den med verden som en eksperimentell utgivelse.» — Sahil og Manu Chopra, Linum

Begrensningene er tydelige. Linum filtrerte bort bilder med tekst, så modellen kan ikke skrive ord, skilt eller plakater, og den sliter med helfigur, folkemengder og interaksjon mellom flere personer. I Hacker News-tråden påpeker en kommentator at nesten alle hender blir feil. Koden i repoet er hentet ut fra Linums interne eksperimentkode av Claude Opus 5.5 i Claude Code.

Hva bør du gjøre?

1. Klon github.com/Linum-AI/pjit-21k og kjør pip install -e .. Vektene (8,7 GB i fp32) og tekst-encoderen (8 GB i bf16) lastes ned ved første kjøring, så du trenger et CUDA-kort med plass til begge pluss aktiveringer.
2. Skriv prompter på 50 til 80 ord, som modellen er trent på. Korte prompter kan skrives om automatisk via OpenRouter med en OPENROUTER_API_KEY, eller du slår det av med --no_upsample.