Feyns MultiMatte klipper ut objektet du navngir og løfter SAM 3 fra 0,667 til 0,901

SAM 3 svarer med binære masker, der hver piksel enten er innenfor eller utenfor objektet. Det bryter sammen på hår, gjennomskinnelige kanter og uskarpe skjermer. MultiMatte, som Feyn presenterer i en ny bloggpost, gir i stedet en alfamatte der hver piksel får en kontinuerlig opasitetsverdi. Du bestemmer hva som skal bli stående ved å skrive en frase som «the dog», og resten av bildet fjernes.

Feyn trente modellen med LoRA på rank 16 og endret 19,49 millioner av SAM 3s 860 millioner parametre, altså 2,27 prosent av vektene. Treningen gikk over 14 000 steg på 19 953 bilder, og 4 949 av dem hadde menneskeskrevne etiketter som navnga objektet. Adapteren er slått sammen med de publiserte vektene, så inferens krever ikke et eget adapterbibliotek.

MultiMatte slår SAM 3 på alle de tolv testsettene Feyn rapporterer. På de fem høyoppløste DIS-settene ligger SAM 3 mellom 0,649 og 0,703, mens MultiMatte ligger mellom 0,893 og 0,923. De sterkeste sjekkene av generalisering er DAVIS-S og DUT-OMRON, som ikke har søstersett i treningsdataene. Der når MultiMatte 0,979 på DAVIS-S og løfter DUT-OMRON fra 0,792 til 0,901. Alle tallene er Feyns egne målinger.

Tekstnavnet gjør en forskjell også etter treningen. På DIS-VD gir et reelt objektnavn 0,150 høyere S-measure for SAM 3 uten et eneste treningssteg, og fortsatt 0,036 for MultiMatte.

«Prompt-veien overlevde den nye treningen og bidrar på egen hånd» — Feyn, i bloggposten om MultiMatte

Hva bør du gjøre?

1. Installer biblioteket med pip install nobg, last modellen med AutoModel.from_pretrained("feyninc/multimatte") og kall predict, som returnerer et RGBA-utklipp.
2. Gi modellen objektnavnet når bildet har flere kandidater, i stedet for å stole på standardprompten.
3. Test på egne bilder med hår eller gjennomskinnelige kanter før du bytter ut bakgrunnsfjerneren du bruker i dag, og bruk return_type="tensor" hvis du vil ha selve matten.