Over 1 million menneskelige vurderinger ligger bak Real World VoiceEQ, den nye benchmarken fra stemme-KI-selskapet Hume. Den vurderer mer enn 40 ledende åpne og proprietære modeller på tvers av over 60 metrikker, med 785 000 vurderinger for tekst-til-tale og 48 000 for tale-til-tale, samlet inn på tvers av dialekter, talestiler og lydmiljøer.
Poenget er at de etablerte målene begynner å bli utdatert. Feilraten på transkripsjon (WER) stuper og latensen er samtale-rask, men Hume finner at modellene fortsatt bommer på det menneskelige: tonefall, nøling, aksent og følelser. I ett eksempel var feilraten på tale med bakgrunnsstøy rundt fire ganger høyere enn på tale med bakgrunnsmusikk, en forskjell én samlet støy-score skjuler helt.
«Ingen systemkonfigurasjon havnet blant de fem beste på tvers av alle åtte evne-grupper.» — Hume, Real World VoiceEQ-rapporten
Det er hovedfunnet for deg som bygger med stemme: jakten på én «beste» modell er over. En modell som gjengir kontonumre og medisinnavn presist, kan være svak på emosjonelt uttrykk, mens en som høres naturlig ut, glipper på presisjon. Hume advarer også mot å bruke språkmodeller (SLM) som dommere for stemme; de er greie på verifiserbare oppgaver som uttale, men upålitelige på subjektive vurderinger som om en stemme holder samme identitet gjennom en samtale.
For norske utviklere som setter opp stemme-agenter, betyr det at modellvalget må styres av den konkrete oppgaven, ikke av én enkelt topplassering. De offentlige topplistene med lydeksempler ligger åpent på Hugging Face.