webAI TwIL-8B slår Qwen3.5-9B med 16 poeng på LiveCodeBench, men lisensen tillater bare forskning
lørdag 7. november · KI-generert · Kilde: Hugging Face
Test TwIL-8B lokalt hvis du trenger en liten modell for matte og kode, men ikke bygg produkter på den, fordi lisensen bare tillater forskning og undervisning.
På MATH-500 og LiveCodeBench slår TwIL-8B modeller opptil 3,5 ganger større, men på kunnskapsspørsmål henger den etter. Ifølge modellkortet webAI har lagt ut på Hugging Face får modellen 98,2 på MATH-500 mot 96,6 for Qwen3.5-9B og 87,9 for Gemma 4 31B, og 81,6 på LiveCodeBench mot 65,6 for Qwen3.5-9B. På GPQA Diamond taper den mot alle sammenligningsmodellene med 70,2, altså 11,5 poeng under Qwen3.5-9B og 14,1 under Gemma 4 31B. Modellen er etter-trent fra IBMs Granite 4.2 8B med full SFT og GRPO/DAPO-forsterkningslæring.
Tallene er webAIs egne, og konkurrentenes resultater er hentet fra publiserte kilder uten å bli kjørt på nytt. LiveCodeBench-tallet er målt på verbose-varianten, og webAI har ikke notert hvilken versjon av testen som ble brukt.
«Versjonen og datovinduet for TwIL-8B-kjøringen er ikke registrert, så bekreft dem før du siterer det gapet.» — webAI, modellkortet for TwIL-8B
Modellen kommer i to varianter med samme arkitektur. Balanced er standard og bruker rundt 19 500 output-tokens per AIME 2026-oppgave, 38 % færre enn Qwen3.5-9B, men omtrent fire ganger så mye som GPT-5.5. Konteksten er 131 072 tokens, og Q4_K_M-GGUF-en er på 4,98 GiB. Alle tall er målt på bf16-vektene, ikke på GGUF-ene. Verktøybruk, agentoppgaver og SWE-bench er ikke testet, så til agenter er den et ukjent kort.
Lisensen er webAI Non-Commercial License 1.0. Avsnitt 3.3 definerer ikke-kommersiell bruk som bare forskning og undervisning, så en intern kodeassistent på jobben faller utenfor. Basemodellen Granite 4.2 8B ligger under Apache 2.0.
Hva bør du gjøre?
- Kjør balanced-varianten med
llama-cli -hf webAI-Official/TwIL-8B --hf-file TwIL-8B-Q4_K_M-balanced.gguf -cnv -c 40960 -n 32768. Filnavnet må med fordi hver kvantisering finnes for begge variantene. - Gi den et stort generasjonsbudsjett, siden et kort budsjett kutter resonneringen og gir klart dårligere svar.
- Sammenlign med Qwen3.5-9B på dine egne kodeoppgaver før du stoler på gapet på 16 poeng.