Liquid AIs encoder leser en hel kontrakt på 28 sekunder på CPU

28 sekunder mot over halvannet minutt: det er avstanden mellom LFM2.5-Encoder-230M og ModernBERT-base på en full kontekst på 8 192 tokens, målt på CPU i Liquid AIs egen release-blogg på Hugging Face. Encoderne kommer i to størrelser, 230M og 350M parametre, begge med åpne vekter og samme kontekstvindu.

Encodere er arbeidshestene ingen skriver om: intent-routere, PII-detektorer, policy-linting og klassifikatorer som står på hele døgnet, som regel på CPU. BERT definerte klassen, ModernBERT dyttet den videre. Liquid AI initialiserer sine encodere fra LFM2.5-decoderne, gjør oppmerksomheten bidireksjonal, padder de korte konvolusjonene symmetrisk og trener med 30 prosent maskerte tokens.

På 17 oppgaver fra GLUE, SuperGLUE og flerspråklig klassifisering havner 350M-varianten på fjerdeplass av 14 modeller. De tre foran er alle større, den øverste nesten ti ganger så stor. 230M-varianten slår ModernBERT-base og samtlige EuroBERT-modeller, og begge encoderne scorer godt over Liquid AIs egne LFM2.5-Retrievers på disse oppgavene.

Regnestykket for deg som bygger: en finjustert encoder på 230M gjør klassifisering, ruting og uttrekk til noe du kjører på maskinvaren du allerede har, i stedet for å betale per kall til en generativ modell for hver melding. På GPU er bildet mindre dramatisk. ModernBERT leder under omtrent 1 000 tokens, mens LFM2.5-encoderne tar over fra rundt 2 000. Tallene er leverandørens egne, men både rammeverket og rådataene er åpnet, så de lar seg etterprøve.

Hva bør du gjøre?

1. Kjør demoene på Hugging Face først. Alle fem, inkludert PII-deteksjon over 16 språk, ligger i CPU-only spaces, så du ser latensen på ekte maskinvare uten å laste ned noe.
2. Bytt ut LLM-kall du i dag bruker til ren klassifisering eller ruting. Det er der en encoder på 230M er billigst per kall.
3. Regn med finjustering. Basismodellen gir representasjoner, ikke ferdige etiketter, så du må feste ditt eget hode på og trene for oppgaven din.