Qwen3-4B trent fri for KI-tics: slop-score fra 121 til 12,5, men bare testet på engelsk

«Et avsnitt fra en nøye menneskelig skribent scorer nær null, og originalmodellen har et snitt på 121», skriver utvikleren bak 100toolkit om detektoren bak en ny finjustering av Qwen3-4B-Instruct-2507. Detektoren veier 26 skrivevaner per 1000 ord, blant dem tankestreker, «not X, but Y», lister med tre ledd og retoriske spørsmål. Den ferdige modellen scorer 12,5 uten systemprompt, og 68 prosent av svarene havner under 15, grensen utvikleren regner som menneskelig nivå.

Modellen ble trent på en MacBook Air gjennom tre runder destillasjon. En lærermodell med fire fortegnsvendte nevroner og en stilprompt svarte på 288 treningsprompter, og bare svarene som besto alle kontrollene ble treningsdata for en LoRA med rang 16. Nevronendringen alene fjernet 70 prosent av «not X, but Y». Siste runde endte med 161 godkjente svar.

Runde to viser hvorfor et slikt mål kan lure deg. Den fikk lavere score, 9,9, men skrev meningsartikler uten standpunkt, fant opp studier og bandt setninger sammen med «, which» 28 ganger så ofte som originalen. Vanen kom fra lærerprompten, som hadde bedt modellen binde setninger med «because, so, but, which». Runde tre filtrerte på om svaret gjorde det oppgaven ba om, og traff 80 prosent mot originalens 78.

Modellkortet er ærlig om begrensningene. Stemmen er flat, modellen dikter fortsatt opp navn og steder, og svar på «about 150 words» blir ofte 180 til 230 ord. Kode, lange samtaler, andre språk og verktøybruk er ikke testet. Vektene, LoRA-adapteren og nevronendringen ligger ute under Apache 2.0.

Hva bør du gjøre?

1. Kjør ollama run hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M og gi den samme prompt som originalmodellen, så ser du forskjellen selv.
2. Hold den til korte engelske tekster, og bruk en annen modell til norsk, kode og agentoppgaver med verktøykall.
3. Sjekk navn, steder og tall den skriver, siden treningen belønnet konkrete detaljer.