Bilibili åpner Index-Translate for 150 språk, men vektene til 35B-modellen mangler

Index-Translate-9B scorer 0,82 på instruksjonsfølging i Bilibilis egen instTrans-test, mot 0,76 for GPT-5.6-Sol og 0,31 for Googles TranslateGemma-12B. Bilibili kunngjorde modellfamilien 30. september, med tre tekstmodeller på 2B, 9B og 35B-A3B, alle bygget på Qwen3.5 og lisensiert under Apache 2.0. Modellene skal oversette mellom 150 språk og følge føringer om terminologi, JSON-struktur, plassholdere, stil og lengde.

Saken har en hake. Modellkortet for Index-Translate-35B-A3B-preview på Hugging Face er fullt av benchmark-tall, men repoet inneholder bare konfigurasjon, tokenizer og en indeksfil som viser til 15 vektfiler på til sammen 72 GB. Selve filene er ikke lastet opp, verken på Hugging Face eller ModelScope, selv om GitHub-README-en melder at vektene er sluppet. Commit-meldingen da modellkortet ble lagt ut 30. september, sa «weights coming soon». 2B og 9B ligger derimot ute med vekter.

«Index-Translate utkonkurrerer oversettelsesmodeller av sammenlignbar størrelse og oppnår ytelse sammenlignbar med oversettelsesmodeller i 100B-skala og frontmodeller» — Index LLM Team, teknisk rapport

Tallene i rapporten gir et mer nyansert bilde. 35B-A3B har høyest FLORES COMET-22 (0,8794) og instTrans IFscore (0,8336) av alle sammenlignede systemer. På bred kvalitet vurdert av en dommermodell (WMT26 Judge, skala 0 til 100) ligger GPT-5.6-Sol likevel klart foran med 89,10, mot 83,55 for DeepSeek-V4.1-Flash, 76,76 for 35B og 75,35 for 9B. instTrans er Bilibilis egen test, GPT-5.6-Sol er dommeren, og testsettet er ikke publisert: det står på prosjektets TODO-liste.

For deg som skal oversette til eller fra norsk: både bokmål (nob_Latn) og nynorsk (nno_Latn) står i rapportens språkliste i Appendix C, men blant de 128 tilleggsspråkene, ikke blant de 22 kjernespråkene. Svensk er kjernespråk, dansk er det ikke. Rapporten oppgir ikke hvilke 21 språk FLORES-hovedtesten dekker eller hvilke 62 språk som inngår i lavressurs-testen, så tallene sier ikke hvor godt modellen takler norsk. I lavressurs-testen havner 35B-modellen på feil målspråk i 2,4 prosent av tilfellene, mot 14,5 prosent for Hy-MT2-30B-A3B.

«Kombinerte føringer og lavressursretninger er fortsatt vanskeligere enn oversettelse mellom kjernespråk, og vellykkede enkelteksempler garanterer ikke at hver instruksjon blir fulgt» — Bilibili, modellkortet på Hugging Face

Kjøringen går via vLLM med Qwen3.5-støtte og et OpenAI-kompatibelt endepunkt på localhost, så modellen glir inn i et eksisterende oppsett uten ny klientkode. Klienten bruker grådig dekoding (temperature 0) og slår av tenkemodus. Repoet har også en nettleserutvidelse for Chrome, Edge og Firefox som oversetter nettsider via en lokalt kjørt modell.

Hva bør du gjøre?

1. Start med Index-Translate-2B: hurtigstarten i README-en kjører den med vLLM og 4096 tokens kontekst på en CUDA-GPU.
2. Test norsk selv før du stoler på modellen. Klienten kjenner bokmål som språkkoden nob_Latn, og rapporten viser ikke om norsk er med i testsettene.
3. Vent med å planlegge rundt 35B-A3B til vektfilene faktisk ligger i repoet, og sjekk filoversikten fremfor README-en.

Bakgrunn

Index-Translate har tre søsken fra Bilibilis Index LLM Team. Index-Echo oversetter tale til undertekster eller tale, Index-Homura tilpasser oversettelsen til et bestemt antall stavelser for dubbing, og Index-NativeLong oversetter hele dokumenter. De tre finnes bare i 2B og 9B og dekker langt færre språkpar enn tekstmodellene.