Liquid AI slipper enkodere som slår ModernBERT 3,7 ganger på CPU

28 sekunder mot godt over halvannet minutt. Det er forskjellen Liquid AI måler mellom LFM2.5-Encoder-230M og ModernBERT-base på én gjennomkjøring av 8 192 tokens på CPU, rundt 3,7 ganger raskere. Selskapet slapp denne uken to enkodermodeller, LFM2.5-Encoder-230M og LFM2.5-Encoder-350M, med åpne vekter på Hugging Face.

Begge er toveis enkodere bygget på den hybride LFM2-arkitekturen, og de er initialisert fra de tilsvarende LFM2.5-dekoderne. Liquid AI gjør tre grep for å snu en kausal dekoder til en enkoder: den kausale oppmerksomhetsmasken byttes mot en toveis, de korte konvolusjonene får symmetrisk senterpadding slik at hvert token leser naboene på begge sider, og modellen trenes med maskert språkmodellering der 30 prosent av tokenene skjules. Det er dobbelt så tett maskering som BERTs 15 prosent. Treningen går i to faser: først 1 024 tokens kontekst på et stort webkorpus, deretter en langkontekstfase som strekker vinduet til 8 192.

På 17 oppgaver fra GLUE, SuperGLUE og flerspråklige klassifiseringssett rangerer 350M-modellen som nummer fire av 14, bak bare tre større modeller, deriblant én på 3,5 milliarder parametere. 230M slår ModernBERT-base og samtlige EuroBERT-varianter selv om den er mindre enn de fleste av dem.

«For lange input er LFM2.5-Encoders det raskeste valget, og på CPU er de det dramatisk» — Liquid AI i lanseringsposten

Det er verdt å lese hastighetstallene presist. Fordelen er størst på CPU og vokser med lengden. På GPU er bildet jevnere: på Apples GPU ligger ModernBERT-base foran under omtrent 1 000 tokens, og LFM2.5-enkoderne tar først ledelsen fra rundt 2 000.

Enkodere er arbeidshestene få skriver om. Klassifiserere, intent-rutere og innholdsfiltre bygges på dem, de kjører kontinuerlig, og de kjører som regel på CPU fordi de er små nok til at et grafikkort er sløsing. Et vindu på 8 192 tokens tilsvarer omtrent 13 til 15 sider, så en hel kontrakt kan klassifiseres i én gjennomkjøring uten at teksten forlater maskinen. Liquid AI peker selv på tre bruksområder: kant- og innebygde enheter uten GPU, lokale systemer i finans, helse og juss der dokumentene ikke kan sendes ut, og billige førstepass foran en dyrere modell.

En ting bør du ha klart før du laster ned: dette er basemodeller. De produserer generelle representasjoner, ikke ferdige svar, så hver oppgave krever finjustering på dine egne data. Demoene Liquid AI viser fram, blant annet PII-deteksjon over 40 kategorier på 16 språk og en null-skudds regelsjekk, er alle finjusterte varianter.

Hva bør du gjøre?

1. Mål din egen inputlengde først. Under 1 000 tokens er gevinsten liten eller negativ, og hele poenget med disse modellene ligger i den lange enden.
2. Kjør evalueringen selv før du bytter. Liquid AI har lagt ut hele sveipe-oppsettet, launcherne per oppgave og rå resultatfiler på github.com/Liquid4All/encoder_eval, så tallene kan reproduseres mot dine egne oppgaver.
3. Sett av tid til finjustering. Velg 350M når treffsikkerhet betyr mest og 230M når maskinvaren er trang eller gjennomstrømningen skal opp.