Nvidia oversetter seg til 2,8 billioner tokens på 22 indiske språk og åpner oppskriften

De 22 språkene i Indias grunnlov er førstespråket til 97 prosent av inderne, nesten 1,2 milliarder mennesker ved folketellingen i 2011. Likevel henger språkteknologien deres langt etter engelsk. Datasettet Nemotron-pretraining-Indic-v1 fra Nvidia og AI4Bharat-laben ved IIT Madras skal tette noe av gapet, og ifølge Nvidias blogg på Hugging Face slippes det snart sammen med den GPU-akselererte pipelinen som laget det.

«Vi har ikke nok data for indiske språk» — Mitesh Khapra, leder for AI4Bharat

Oppskriften er det mest interessante. Utgangspunktet er 15 delsett fra Nvidias engelske Nemotron-CC-v2, med web, matematikk, kode og spørsmål-svar, og korpuset er bygget i to separate flyter. For tolv av språkene oversetter Gemma-4-31B-it hele dokumenter om gangen, og deretter vurderer den samme modellen hver oversettelse etter en rubrikk inspirert av MQM. Bare tekst med minst 75 av 100 poeng beholdes. I denne flyten repareres oversettelser under terskelen med tilbakemeldingen og vurderes på nytt, noe som berget 438,4 milliarder tokens. De samme tolv språkene får også romanisert tekst med latinske bokstaver, til sammen 224,6 milliarder tokens, fordi korpuset skal speile hvordan folk faktisk skriver.

De ti andre språkene, blant dem sanskrit, santali og manipuri, oversettes med Indic Translate fra Bodhan AI, et ideelt KI-senter inkubert ved IIT Madras. Der vurderer Gemma-4-31B-it bare oversettelsene, med samme terskel på 75 poeng, men uten reparasjonssteget og bare med tekst i språkenes egen skrift.

Effekten er målt på Nemotron 3.5 Super VL. Nvidia brukte 10 prosent av et budsjett på 100 milliarder tokens til syntetisk og naturlig indisk tekst i videre pretrening, hentet fra tolvspråksdelen av korpuset. Alle fem indiske benchmarks steg med mellom 4,98 og 9,82 prosentpoeng. Nvidia påpeker selv at sammenligningen ikke isolerer hva det syntetiske korpuset bidro med.

Svakheten står også i bloggen: i tolvspråksflyten er oversetteren også dommeren, og kvalitetssjekken er i hovedsak automatisk. Feil modellen gjør systematisk, kan dermed passere sin egen kontroll, og tispråksflyten trenger ifølge Nvidia bredere validering fra morsmålsbrukere.

Mønsteret med å oversette, la en modell dømme og reparere det som feiler, er ikke bundet til India. Nemotron Bharat-pluginen til NeMo Data Designer er åpen kildekode, og ifølge bloggen velger du selv modeller og språk i konfigurasjonen. Nvidia har bare dokumentert indiske språk, så om oppskriften holder for et lite språk som norsk, må du finne ut selv. Fallgruven følger uansett med: en dommer som retter sine egne lekser.