Nous Research finjusterer Qwen3.8-27B mot kinesisk statsframing: propagandaandelen faller fra 22 til 0,9 prosent
søndag 8. november · KI-generert · Kilde: Hugging Face
Prøv Arete-27B fra Nous Research hvis du kjører Qwen lokalt: én runde SFT kuttet propagandaandelen fra 22 til 0,9 prosent på Nous' egen test, uten målbart tap på agentoppgaver.
Nous Research fjernet mesteparten av den kinesiske statsframingen i Alibabas Qwen3.8-27B med 52,8 millioner tokens supervised fine-tuning, og la 6. november ut resultatet som Arete-27B på Hugging Face under Apache 2.0. Nous trente over 1 202 steg med 64k kontekst, uten RL, uten preference-optimalisering og uten endringer i arkitekturen. Læreren var den åpne modellen Inkling, valgt blant annet for å unngå bruksvilkår som begrenser destillering.
Målingen er også Nous' egen. Evalueringen har 803 prompter i sju kategorier, fra ytringsfrihet til personvern og overvåking, og Grok 4.7 dømmer svarene uten å vite hvilken modell som skrev dem. Faktascoren steg fra 2,32 til 2,98 av 5, og størst var endringen for ytringsfrihet, der propagandaandelen falt fra 60 til 1 prosent. Arete og Qwen ble kjørt med temperatur 0, mens sammenligningsmodellene kjørte med 0,6. Nous vurderte Nemotron 3 Ultra som lærer, men fant at også den hadde en ujevn historikk på Kina-temaer.
«The values in any open model are only ever one fine-tune away.» — Nous Research, i bloggposten om Arete
For deg som bruker modellen i agenter er kapasitetstallene viktigst. På Nous' interne Hermes Bench scorer Arete 65,60 prosent mot 65,77 for Qwen3.8-27B, og på Terminal-Bench-2.1 70 mot 67 prosent, en forbedring Nous ikke tar æren for fordi oppsettet avviker fra de offisielle kjøringene. Evalueringen er åpen med alle 803 promptene, dommerprompten og skript for å score din egen modell.
Hva bør du gjøre?
- Hent en GGUF-kvantisering i stedet for de fulle BF16-vektene: Q4_K_M fra bartowski er på 17,2 GB, Q8_0 på 28,7 GB.
- Kjør Propaganda_Eval mot modellen du bruker i dag før du bytter, siden både promptene og dommeren er valgt av Nous.
- Test egne agentoppgaver med thinking av og på, siden Nous rapporterer hovedtallene med thinking av.