Hindi inn på Open ASR Leaderboard: like modeller feiler i hver sin landsdel

Åtte modeller lander mellom 4,81 og 4,99 i WER på det nye indisk-engelske settet. Målt på korpuset er de samme modell. Grupperer du talerne etter hvilken av Indias fem soner de kommer fra, forsvinner likheten. Modellen openai/whisper-large-v3-turbo varierer 0,46 poeng mellom sonene, mens mistralai/Voxtral-Mini-3B-2507, som ligger fjorten hundredeler bak på korpuset, varierer 1,68 og går fra 4,38 i sentralsonen til 6,06 i øst.

Settene heter Monsoon en-IN og Monsoon hi-IN. Hindi, med over en halv milliard talere, er det første indiske språket på en flerspråklig fane som til nå bare har dekket europeiske språk. Hugging Face og Voice Arena leverer en offentlig del du kan score selv og en privat del som holdes tilbake for å begrense benchmark-tilpasning. De fire delene deler ingen talere, rommer 4 888 stemmer til sammen, og hver stemme bærer tolv registrerte egenskaper: alder, kjønn, yrke, utdanning, inntekt, hjemdistrikt, håndsettmodell og noen til. Et vanlig offentlig ASR-testsett bærer en identifikator, en transkripsjon og en varighet.

Sonebruddet lar seg bare regne på fordi metadataene ligger der, og resultatet peker mot modellene framfor mot lyden: ibm-granite/granite-speech-3.3-2b er svakest i nord, microsoft/VibeVoice-ASR-HF i sør, Voxtral i øst. Var én landsdel rett og slett vanskeligere å transkribere, ville alle modellene rangert sonene likt.

Hindi scores ikke med vanlig WER. Hverdagsspråket er tungt kodemikset, engelske låneord har ingen fast devanagari-staving, og en frase kan ha ti eller flere gyldige skriftformer. Settene leveres derfor med et gitter av aksepterte stavemåter per tekstspenn, scoret med OIWER fra AI4Bharat, og Hugging Face har åpnet implementasjonen som voi-oiwer.

Indisk engelsk går rett inn i standardkolonnene på hovedtopplista som Voice Arena Monsoon, ikke som en valgfri bryter. Snitt-WER for hver eneste modell på lista beveger seg dermed fra i dag.