Strot kaller LLM-en én gang og klassifiserer resten lokalt på 60 ms per post
mandag 19. oktober · KI-generert · Kilde: GitHub
Vurder Strot hvis du klassifiserer eller ruter store datamengder med LLM-kall i dag og tåler at usikre poster blir stående uavgjort.
Et vanlig LLM-oppsett for ruting av supporthenvendelser betaler for ett modellkall per sak, mens Strot betaler for ett kall totalt. Python-biblioteket fra strot-ai, MIT-lisensiert og publisert på PyPI som strot-ai, bruker en stor språkmodell én gang til å «kompilere» oppgaven din. Modellen lager etiketter, en projeksjon av input og handlere, og en terskel kalibreres mot et utvalg. Resultatet er en frosset Python-artefakt der den lokale modellen SupersonicLabs/Julia-1 (144M parametere, Apache-2.0) tar hver avgjørelse på rundt 60 ms på CPU, uten LLM-kall.
Ifølge README-en gir kompileringen 92,5 prosent treffsikkerhet på ruting av 398 poster, mot 74,8 prosent for samme modell brukt naivt. På AG News med ukjente etiketter er tallene 86,7 mot 72,7 prosent. Poster under konfidensterskelen avstår i stedet for å gjette, og en kompilering som ikke klarer svarene du allerede kjenner, blir avvist før den tas i bruk.
«Den kan ikke få en liten modell til å forstå ting den grunnleggende ikke kan.» — solohunter001, utvikleren bak Strot, på Hacker News
Utvikleren nevner selv hatprat i tweets som et eksempel der Julia-1 når taket. Løsningen er da å bytte modell i nlu-sporet, enten mot en oppgavetrent spesialist eller et hostet API. Biblioteket har to inngangspunkter: run() ruter hver post til en handling og kjører handleren, mens decide() svarer på typede spørsmål som ja/nei, skår og valg. Prosjektet bygger på STROT-artikkelen (arXiv:2505.01636), og repoet ble opprettet 11. oktober.
Hva bør du gjøre?
- Installer med pip install strot-ai[local] og kjør decide() på et datasett der du allerede har fasit.
- Følg med på hvor mange poster som avstår, siden en høy andel betyr at oppgaven er for vanskelig for en 144M-modell.
- Bak modellen inn i Docker-imaget med strot.prefetch_nlu og STROT_NLU_CHECKPOINT hvis du skal kjøre uten nett, og unngå pip install julia, som er en helt annen pakke.