Heretic 2.0: plugin-system og ARA, men 1.x-konfigurasjonene dine slutter å virke

Heretic 2.0.0 ble lagt ut på GitHub 1. november, og utgivelsesnotatet åpner med to brudd: konfigurasjonsfiler fra 1.x virker ikke lenger, og forskningsfunksjonene er fjernet til fordel for søsterprosjektet Lophius. Heretic er et AGPL-3.0-lisensiert verktøy med over 37 000 stjerner som endrer språkmodeller uten trening. Standardjobben er å fjerne avvisninger, men README-en har også ferdige konfigurasjoner som demper slop, humor og sycophancy.

«Konfigurasjonsfiler laget for Heretic 1.x er ikke kompatible med Heretic 2.0!» — utgivelsesnotatet for Heretic 2.0.0

Den største endringen er et generelt plugin-system. Hva verktøyet optimaliserer mot, bestemmes av scorer-plugins, og selve inngrepet i vektene gjøres av en modifikator-plugin. Ny standard er Arbitrary-Rank Ablation (ARA), utviklet spesielt for Heretic, mens klassisk abliteration fortsatt følger med. Optimaliseringen kjøres av Optuna med TPE, og du kan peke på din egen scorer-klasse med en filsti uten å endre pakkekoden.

For deg som kjører modeller lokalt er headless-drift med ende-til-ende-tester det praktiske nyhetspunktet, sammen med en ny benchmark-scorer. Over 40 endringer er slått sammen siden 1.4.0, blant annet støtte for modeller med Hyper-Connections, modeller der chat-malen avviser system-rollen og bedre deteksjon av tenke-prefikset i svar fra resonneringsmodeller. Ifølge README-en tar Qwen3-4B-Instruct-2507 rundt 30 til 40 minutter på et RTX 3090 med standardoppsettet.

Hva bør du gjøre?

1. Les docs/migration_v1_to_v2.md i repoet før du kjører pip install -U heretic-llm, siden de gamle TOML-filene dine ikke er kompatible.
2. Bruker du forskningsfunksjonene fra 1.x, lås versjonen til 1.4.0 til du har sett på Lophius.
3. Test ARA mot den gamle abliteration-konfigurasjonen din på en liten modell før du bytter på større modeller.