Selvhostet jeff kjører Jev-API-et for en sjettedel av prisen, men scorer 66,9 mot 75,3

Klassifisering går i evig loop i en KI-app: hver support-henvendelse skal merkes med tone, hastegrad og kategori, og regninga vokser lineært med trafikken. Prosjektet jeff, lagt ut på GitHub av brukeren logan-markewich, angriper den kostnaden med en reimplementasjon av TypeSafes System One-API som du kjører selv, drevet av GLiFormer på 400 millioner parametere.

Du slipper å skrive om koden for å bytte. Ifølge README-en snakker jeff samme wire-format som den offisielle typesafe-sdk, så du peker TYPESAFE_BASE_URL mot din egen instans og lar resten stå. Alle tre spørsmålstypene virker: choice velger et alternativ, score rangerer på ordnede nivåer, og noul gir sannsynligheten for ja.

Prisen for uavhengigheten står i prosjektets egne målinger på 1600 merkede elementer fordelt på åtte datasett.

Avstanden er ujevnt fordelt. jeff ligger tett på Jev på binær sentiment og likt på følelsesklassifisering, men faller markant på ironi, leseforståelse og JevBenchs judge- og hard-nivåer, der treffsikkerheten er 62 og 38 prosent mot Jevs 95 og 74. Niendeplassen kommer fra kostnadsleddet: på ren intelligens er prosjektet nummer 14 av 18. CPU er ingen snarvei rundt GPU-regninga, for en målt Modal-deploy med åtte kjerner var både tregere og dyrere enn å bruke Jev direkte.

Hva bør du gjøre?

1. Mål treffsikkerheten på dine egne data først. Gapet er lite på sentiment og stort på ironi og leseforståelse, så snittet fra JevBench sier lite om din arbeidsmengde.
2. Regn på utnyttelsesgraden. Tallet på $2,6 forutsetter en varm L4-container som faktisk får trafikk, og taket er rundt 50 forespørsler i sekundet per container.
3. Sett JEFF_ISOLATE=all hvis spørsmålene må være uavhengige. Som standard deler choice og score samme encoder-pass og kan påvirke hverandre.