webAI slipper TwiL-LM: 3B slår gpt-oss-120b på egen logikktest

52,0 mot 7,0. Det er avstanden webAI oppgir mellom sin egen 3B-modell og OpenAIs gpt-oss-120b på oppgaven de kaller exact-format answering, der modellen skal svare i et gitt format. Selskapet i Austin slapp TwiL-LM 10. august i to størrelser, 1,7B og 3B, og begge ligger på Hugging Face som webAI-Official/TwIL-LM i formater for både Transformers og llama.cpp.

Tallene kommer fra webAIs egen suite for formallogikk, ikke fra en uavhengig benchmark, og det er verdt å holde fast ved når du leser dem. På den suiten oppgir selskapet at 3B-modellen slår gpt-oss-120b på fire av fem oppgaver: 96,4 mot 65,2 på regelinduksjon og 87,6 mot 43,3 på semantisk parsing. Den femte, entailment labeling, går til den store modellen med 77,5 mot 68,7. På allmenne tester som GSM8K oppgir webAI 87,3.

Modellen er ikke trent fra bunnen. Den er en finjustering via en LoRA-adapter på 289 MB og rundt 72 millioner parametere, trent på et internt datasett for formallogikk bygget fra åpne kilder.

«Fordi den kjører på rundt 300 tokens i sekundet på en M2 MacBook, kan du bruke det resonneringslaget kontinuerlig uten å bremse alt annet.» — David Stout, administrerende direktør og medgrunnlegger i webAI

To forbehold avgjør om dette er brukbart for deg. Kontekstvinduet er på 8 192 tokens, og webAI anbefaler selv å pare modellen med en symbolsk løser for formelt arbeid med høy innsats. Lisensen heter webAI Non-Commercial License v1.0, så modellen kan ikke inngå i noe du selger.

Hva bør du gjøre?

1. Hent den kvantiserte byggingen på 1,06 GB hvis du vil teste påstanden om hastighet. Den kjører på en vanlig laptop og krever ingen sky.
2. Test den som kontrollør, ikke som generator. Oppgaven modellen er trent på, er å sjekke om en konklusjon følger av premissene sine.
3. Les lisensen før du bygger noe rundt den. Ikke-kommersiell utelukker det meste av det du eventuelt hadde tenkt å ta betalt for.