Jevstiller lærer av Jev-svarene dine og svarer lokalt på 15 ms

Et kall til TypeSafe AIs Jev tar rundt 300 ms uansett last, mens Jevstiller svarer på omtrent 15 ms på CPU for forespørslene den er sikker på. Det Apache 2.0-lisensierte prosjektet ble vist frem som Show HN 29. september. Du starter én Docker-container og peker TYPESAFE_BASE_URL mot den.

I starten går alt videre til Jev. Jevstiller bruker Jevs fulle sannsynlighetsfordeling til å trene et logistisk regresjonshode på noen hundre kilobyte oppå den frosne embedding-modellen bge-small. Hodet trenes på nytt for hver 2000 nye Jev-svar og skyggetestes på ekte trafikk før det tas i bruk. Uvant input og et fast utvalg på 2 prosent sendes alltid til Jev.

Du setter et mål, for eksempel 98 prosent, og Jevstiller skal da gi samme svar som Jev på minst så stor andel av forespørslene. Terskelen velges med en eksakt Clopper–Pearson-grense i stedet for et punktestimat. I utviklerens test på fem datasett brøt den naive metoden budsjettet på 2 prosent i 6 til 12 av 20 forsøk per oppgave, mens grensen brøt det én gang på 100.

«Tar Jev feil, tar den lokale modellen feil på samme måte» — Jevstiller-bloggen

Resultatene varierer med hvor konsekvent Jev selv er. På Banking77 svarte den lokale modellen på 71,9 prosent av meldingene med 99,50 prosent enighet. På TweetEval-oppgavene, der Jev bare er enig med menneskelige merkelapper 64 og 74 prosent av tiden, klarte den bare 24 til 29 prosent. I Hacker News-tråden spurte en bruker om slik destillering bryter TypeSafes vilkår. Prosjektet har ingen tilknytning til TypeSafe.

Hva bør du gjøre?

1. Kjør python examples/quickstart_synthetic.py fra repoet for å se hele løkka på CPU på et halvt minutt, uten API-nøkkel.
2. Les TypeSafes bruksvilkår før du destillerer Jev-svar i produksjon.
3. Sett confidence_floor hvis koden din sender usikre Jev-svar til et menneske, ellers mister du 8 til 37 prosent av flaggene ved en terskel på 0,6.