Nasjonalbiblioteket grunntrener Borealis på avistekst: vektene kommer i uke 34

Nasjonalbiblioteket kunngjorde 10. august at de første språkmodellene på bokmål og nynorsk trent på opphavsrettsbeskyttet avistekst er klare. Modellene inngår i Borealis-serien, og ifølge pressemeldingen er avisteksten denne gangen brukt i både grunntrening og fintrening. Vektene blir tilgjengelige på Hugging Face i løpet av uke 34, altså 17. til 23. august.

Skiftet fra fintrening til grunntrening er det som faktisk er nytt. Modellkortene for Borealis-utgivelsen i mai beskriver at avismaterialet bare var brukt som rundt 10 000 SFT-oppgaver som lærte modellen å skrive titler og ingresser, og at gevinsten mot de rene open-variantene var en liten forbedring på enkelte nøkkelmetrikker. Nasjonalbiblioteket skrev den gang at de håpet å øke forskjellen ved å ta materialet inn i grunntreningen.

«Med Nasjonalbibliotekets språkmodeller får sykehusene våre, politiet og norske bedrifter et nytt og viktig verktøy for å utvikle og ta i bruk kunstig intelligens på norsk, der alle kjenner til hva de er trent på» — Karianne Tung, digitaliserings- og forvaltningsminister

Avtalen som gjør dette lovlig går gjennom Kopinor på vegne av norske aviser, og regjeringen bevilger 45 millioner kroner i året til den. Modellkortene beskriver en rullerende skjæringsdato: avtalen dekker presseinnhold publisert inntil ett år før modellen slippes, så nyhetskunnskapen forskyves for hver utgivelse i stedet for å fryse på ett tidspunkt. For mai-modellene lå skjæringsdatoen på 1. januar 2025. Samiske språkmodeller er fortsatt under arbeid.

Hva bør du gjøre?

1. Vent til uke 34 med å laste ned. Borealis-modellene som ligger på Hugging Face nå, er mai-utgaven der avisteksten kun inngår i fintreningen.
2. Sjekk lisensen før du bygger. Serien har to spor: borealis-modellene er full release med avismateriale, borealis-open-modellene er uten, og de to har ulike vilkår.
3. Mål mot en open-variant i samme størrelse hvis du vil vite hva avisteksten er verdt for ditt bruk. Serien går fra 270M til 27B og er bygget på Gemma 3.