Writing-eval bygger en stilprofil av 40 artikler og måler utkast mot den

David Paluy i Majestic Labs la ut writing-eval på GitHub 14. august 2026, med siste push 23. august og åtte stjerner da denne saken ble skrevet. Verktøyet er to kommandoer: ./writing-eval profile build acme --from posts/acme leser inn .md- og .txt-filene i katalogen og skriver en gjenbrukbar profil, og ./writing-eval check draft.md --style acme kjører utkastet mot den. Rapporten gir fire delscorer for klarhet, lesbarhet, rytme og ordvalg, med nåverdi, målverdi og linje- og kolonneposisjon for hvert funn. Uten --style oppfører den seg som en vanlig linter: ett funn per linje, sortert etter posisjon.

Det interessante er at prosjektet har målt sin egen støy i stedet for å gjette. Ved å holde utkastet fast og bare variere hvilke artikler som utgjør profilen, faller standardavviket i scoren med flere artikler.

Dokumentasjonen sier rett ut at 30 artikler ikke er pålitelig bedre enn 25, og at en forskjell under tre poeng skal leses som støy uansett om den er mellom to utkast eller mellom to kjøringer av samme utkast.

Et valgfritt regelsett, rules/anti-ai.yaml, legger til fire regler for KI-typiske trekk: klisjéaktige fortellergrep, meta-kommentarer som stempler et øyeblikk i stedet for å vise det, rester fra generering som TODO-plassholdere og utm_source=chatgpt.com-lenker, og formelle bindeord i setningsstart.

Vær klar over lisensen. Writing-eval ligger under Elastic License 2.0, altså kildetilgjengelig og ikke åpen kildekode: du kan bruke, endre og selvhoste den, men ikke tilby den videre som en driftet tjeneste. Majestic Labs selger driftet hosting ved siden av. Scoren er et heuristisk mål på stilavstand, ikke på om teksten stemmer.

Hva bør du gjøre?

1. Samle minst 40 artikler du selv har skrevet i én katalog før du bygger profilen. Under 25 er scoren mer støy enn signal, og du kommer til å jage forskjeller som ikke finnes.
2. Kjør check med --rules rules/anti-ai.yaml på tekst du har fått hjelp av en språkmodell til å skrive, og med standardreglene når du sammenligner kjøringer over tid. Regelsettet inngår i fingeravtrykket som avgjør hvilke kjøringer som er sammenlignbare.
3. Legg --format json inn i CI hvis du vil ha en regresjonstest. Exit-koden skiller bare mellom fullført sjekk og inputfeil, så terskelen må du sette selv.