Åpen beslutningsmodell Julia 1 traff 80 prosent på norsk og kjører på CPU

80,4 prosent: så ofte valgte Julia 1 riktig scenario for norsk bokmål i testsettet MASSIVE, 2 391 av 2 974 eksempler, ifølge målingene Supersonic Labs har lagt ut sammen med modellen på Hugging Face. Modellen har 144,3 millioner parametere, vektene tar 550,5 MiB, og den kjører på vanlig CPU med PyTorch. Supersonic Labs publiserte den 25. september under Apache 2.0.

Julia 1 er en beslutningsmodell, samme kategori som TypeSafe AI introduserte med den hostede Jev-modellen tidligere i september. Du sender inn en tilstand, for eksempel en kundemelding eller et JSON-objekt, pluss et spørsmål med 2 til 20 svaralternativer, og får tilbake sannsynligheter i stedet for generert tekst. Spørsmålstypene er valg, ordnet skår og ja/nei. Modellen bygger på JHU CLSPs flerspråklige koder mmBERT-small og tåler 8 192 tokens kontekst, men testene er kjørt med 1 024.

På testsettet typed-decisions (2 000 spørsmål) får Julia 73,15 prosent mot Jevs referansetall på 72,70. Til sammenligning oppgir Ollaya 0,680 for Mapikas decider:4b på typed decisions i egne tester. Svakhetene er like tydelig dokumentert: på Banking77 med 72 kategorier traff Julia 64 av 100 mot Jevs 87, og Supersonic Labs skriver at modellen ikke kan skaffe manglende fakta eller løse likninger. Svensk (79,4) og dansk (81,2) ligger på nivå med norsk.

«Noe jeg synes er litt ubehagelig med Jev, er at det i stor grad representerer et tilbakesteg enda lenger mot maskinlæringssystemer som svarte bokser» — Simon Willison, utvikler og blogger

Det samme gjelder Julia: du får et tall tilbake, aldri en begrunnelse. Forskjellen er at vektene ligger hos deg, så du kan teste skjevheter selv.

Hva bør du gjøre?

1. Last ned hele repoet med snapshot_download og kjør eksempelet på en av dine egne rutingoppgaver, med modellen lastet én gang og holdt i minnet mellom kall.
2. Lag et testsett på 100 til 200 norske eksempler med fasit, og mål treffsikkerheten før Julia erstatter en regelbasert ruter.
3. Hold deg til 20 alternativer eller færre per kall, siden den hierarkiske ruteren for lengre lister kan miste riktig svar underveis.