1,1 milliard parametere. Det er størrelsen på flaggskipet ViT-g/16 i LingBot-Vision, familien av Vision Transformers som Robbyant, robotikk-selskapet i Ant Group, nå har sluppet under Apache-2.0 på Hugging Face, ifølge MarkTechPost. Vektene kommer i fire størrelser, fra ViT-giant ned til ViT-small, med teknisk rapport og inferens-kode.
De fleste synsmodeller trenes for semantisk invarians. De lærer hva som er i et bilde og kaster den finmaskede romlige strukturen, altså objektgrenser, konturer og dybdesprang, som roboter er avhengige av. LingBot-Vision snur prioriteringen og behandler grenser som et eget treningssignal. Resultatet er en 1B-modell som matcher eller slår modeller opptil sju ganger større, inkludert 7B-modellen DINOv3.
Modellen er trent med et nytt mål kalt masked boundary modeling på rundt 161 millioner bilder, valgt fra en pool på 2 milliarder, uten menneskelige etiketter og uten en forhåndstrent modell å starte fra. Korpuset er en størrelsesorden mindre enn DINOv3s, og modellen bruker under en tredjedel av treningsprøvene.
Hva bør du gjøre?
- Bygger du syn for robotikk eller romlige oppgaver: hent vektene på Hugging Face og test de mindre studentene som frosne readouts før du strekker deg etter en 7B-modell.
- Trenger du mindre budsjett: flaggskipet er destillert til ViT-L på 300M, ViT-B på 86M og ViT-S, som leder tett prediksjon i hver sin størrelsesklasse.