Nvidia Nemotron 3.5 Transcribe: 40 språk, men 64 % ordfeilrate på norsk
onsdag 28. oktober · KI-generert · Kilde: huggingface.co
Bruk Nvidias Nemotron 3.5 Transcribe på engelsk, svensk og dansk lyd, men mål selv før du slipper den løs på norske opptak.
Svensk tale transkriberes med 7,27 % ordfeilrate (WER) på FLEURS-testen, dansk med 9,11 %. Norsk ligger på 63,76 %. Tallene står i modellkortet Nvidia publiserte på Hugging Face 28. oktober for Nemotron 3.5 Transcribe, en åpen vekt-modell som transkriberer 40 språk, oversetter 31 av dem til og fra engelsk og skiller opptil åtte talere i opptak på inntil én time.
Modellen bygger på Nvidias språkmodell Nemotron 3.5 Lightning, en hybrid av Mamba og Transformer med mixture-of-experts, koblet til en lydenkoder på rundt 800 millioner parametere. Totalt er det 34 mrd parametere, hvorav 4,3 mrd er aktive, og konteksten er 65 536 tokens. Vektene ligger ute i BF16 under lisensen OpenMDW-1.1, og Nvidia skriver at modellen kan brukes kommersielt. På engelsk er snittfeilraten 4,71 % over ni testsett i Open ASR Leaderboard, foran Qwen3-ASR-1.7B på 4,94 %.
Norsk står på laveste kvalitetsnivå i språkmatrisen, «Supported», som Nvidia definerer som støttet, men at språket kan trenge finjustering. Kolonnen for talegjenkjenning står som ikke spesifisert for norsk, mens svensk og dansk har avkrysning. Oversettelse fra norsk tale til engelsk scorer likevel 29,74 BLEU, samme tall som nederlandsk, så modellen ser ut til å fange mer av innholdet enn den klarer å skrive ned ordrett.
«Dette er en offline-modell. Intern oppdeling av lyden gjør den ikke til en sanntidstjeneste for strømmende talegjenkjenning» — Nvidia, i modellkortet
Maskinvarekravet er foreløpig høyt. Referanseoppsettet er ett H100-kort med 80 GB og vLLM 0.32.0. Kompatibilitetstabellen lister RTX 5090 og DGX Spark med NVFP4, men Nvidias egen bloggpost skriver at de kvantiserte versjonene og lokal kjøring med NeMo-Speech.cpp kommer senere, og NVFP4-repoet var ikke offentlig på Hugging Face da vi sjekket. Gjennomstrømningen Nvidia viser fram, 2 238 sekunder lyd per sekund på ett RTX PRO 6000, bygger på optimaliseringer i Nvidias NIM-pakke. Den åpne vLLM-integrasjonen er ifølge modellkortet omtrent dobbelt så treg.
«Nemotron Streaming i Handy har i praksis løst diktering for meg» — solarkraft, kommentator på Hacker News, om hvorfor mangelen på direktestrøm er synd
Vil du forbedre norsken selv, har Nvidia sluppet Granary v2, et datasett med 463 062 timer tale på 48 språk, sammen med finjusteringsoppskrifter i NeMo Speech. I et medisinsk eksempel tok en bedre prompt feilraten fra 30,8 % til 23,8 %, og finjustering tok den videre ned til 11,8 %. Bloggposten sier ikke om norsk er blant de 48 språkene.
Hva bør du gjøre?
- Kjør vLLM-oppskriften fra modellkortet på engelske eller svenske møteopptak hvis du har en GPU med 80 GB, med temperature 0 og reasoning av slik Nvidia anbefaler for transkripsjon.
- Mål WER på dine egne norske opptak før du bytter ut oppsettet du har i dag.
- Vent på NVFP4-versjonen hvis du vil kjøre modellen på et RTX 5090 eller en DGX Spark.