Cactus Compute slipper Whistle: tale til tekst på 16,9 MB mot Whisper bases 145,3 MB

Whisper base fra OpenAI veier 145,3 MB. Whistle, som Cactus Compute slapp 2. oktober, er på 16,9 MB og kjører med 2 til 4 bits presisjon. På et klipp på 10 sekunder på en Apple M4 Pro måler Cactus Compute 11,1 ms til første token, mot 73,2 ms for Whisper base og 22,8 ms for Moonshine tiny v2. Dekodingen går i 1319 tokens i sekundet, omtrent fem ganger så raskt som Whisper base.

Modellen tar 16 kHz mono-lyd, opptil 30 sekunder per runde, og leverer tidsstempler per ord og tale-embeddings per 80 ms. Navn du sender inn, vektes opp under dekodingen. Stillhet gir tom transkripsjon i stedet for en oppdiktet setning. Språkene er engelsk, tysk, fransk, spansk, italiensk, nederlandsk og polsk. Norsk er ikke med.

På ordfeilrate leder Whistle på LibriSpeech test-clean (4,31 %) og test-other (10,49 %), SPGISpeech, Earnings-22 og FLEURS-snittet. Whisper base er bedre på TED-LIUM, AMI og MLS-snittet. Merk at Whisper- og Moonshine-tallene er de forfatterne selv publiserte, ikke målt i samme oppsett.

«Ingen testlyd finnes i Whistles trenings- eller valideringsdata, bekreftet ved å sammenligne lydsjekksummer og taler-ID-er på tvers av alle rapporterte testsett.» — Jakub Mroz og Henry Ndubuaku, Cactus Compute

For deg som bygger stemmestyring er koblingen til Needle viktigst. Whistle lastes inn i samme C++-motor og samme .cact-format som Needle, Cactus Computes modell som svarer mot verktøyene dine. Laster du begge, transkriberer motoren klippet, svarer på transkripsjonen mot verktøydefinisjonene og returnerer ett JSON-objekt med verktøykallene og talefeltene, prefikset audio_. Transkripsjonen blir værende inne i motoren, så lyd inn og verktøykall ut er ett kall. Motoren finnes ferdigbygd for 17 plattformer, blant dem Android, iOS, RISC-V og nettleseren.

Hva bør du gjøre?

1. Installer med pip install cactus-needle og kjør needle whistle compare på dine egne opptak for å se Whistle, Whisper og Moonshine side om side.
2. Bygger du en lokal stemmeassistent til smarthuset, test --model needle3.cact --model whistle.cact --tools tools.json --audio clip.wav for lyd til verktøykall i ett kall.
3. Trenger du norsk tale, hold deg til flerspråklige Whisper-varianter inntil videre.