Liquid AIs d1-3B tar ja/nei-beslutninger på 16 ms på Jetson Thor, uten å generere tokens
onsdag 7. oktober · KI-generert · Kilde: Hugging Face - Blog
Bytt ut generative klassifiseringskall med Liquid AIs d1-3B hvis du trenger raske ja/nei-, valg- og skårbeslutninger på egen maskinvare.
Der en vanlig språkmodell skriver svaret token for token, gir Liquid AIs nye d1-modeller svaret i ett eneste forward pass. Liquid AI har lagt ut d1-3B og d1-omni-600M som åpne vekter på Hugging Face. d1-3B er trent fra visjonsspråkmodellen LFM2.5-VL-3B og tar tekst og bilder. d1-omni-600M bygger på en bidireksjonell enkoder på 350M parametere og tar tekst med bilde eller tekst med lyd, men er ifølge Liquid AI en tidlig forskningsutgivelse.
Grensesnittet har tre spørsmålstyper: noul (ja/nei, returnerer sannsynligheten for ja), choice (ett av navngitte alternativer) og score (2 til 10 ordnede nivåer). Med system_one stiller du flere navngitte spørsmål om samme tekst eller bilde i ett kall, og system_one_batch pakker mange forespørsler sammen. Det passer for ruting av supporthenvendelser, moderering og triage, der mange i dag kaller en LLM og parser JSON.
På Decision Index 0.2.1 får d1-3B 48,57, foran Decider 35B-A3B (47,11), men bak Winnow-12B (50,02). Liquid AI kjørte selv den offisielle scoreren, så tallet er ikke en innsending til leaderboardet.
Lisensen er LFM Open License v1.0, som bare gir kommersiell bruk til virksomheter med under 10 millioner dollar i årlig omsetning. Norsk står ikke blant de 16 språkene i modellkortet.
Hva bør du gjøre?
- Installer med
pip install "transformers>=5.14" torch torchvision pillow, og les modellkoden før du laster den, siden d1 krever trust_remote_code=True. - Test d1-3B på norske eksempler fra din egen brukssak før du tar den i bruk, ettersom norsk ikke er oppført som støttet språk.
- Kjør
model.compile(mode="reduce-overhead")på NVIDIA-kort: uten det tar ett spørsmål 16 ms på RTX 4090 i stedet for 8.