NVIDIA lanserte 17. juli embedding-samlingen Nemotron 3 Embed, ifølge MarkTechPost. Embedding-modeller avgjør hvilke tekstbiter en RAG-pipeline eller agent faktisk får se, og det er dette laget modellen retter seg mot: produksjons-RAG, agent-hukommelse og kode-søk. Alle tre checkpoints er transformer-encodere med toveis attention og håndterer opptil 32 768 tokens.
Samlingen har tre varianter med ulik avveining. 8B-BF16 er nøyaktighets-varianten som topper RTEB. 1B-BF16 tar samme design ned i et mindre fotavtrykk på 1,14 milliarder parametere og lander på 72,38. 1B-NVFP4 er den 4-bits Blackwell-optimaliserte varianten som beholder 99,5 % av nøyaktigheten og ifølge NVIDIA gir opptil dobbel gjennomstrømming mot BF16. Basismodellene er Mistrals Ministral-serie.
En detalj verdt å merke seg: 1B-modellene kommer ikke fra en egen liten treningskjøring, men fra en komprimeringspipeline der en 3B-forelder ble beskåret og distillert i to runder. Modellene er evaluert på 34 språk og slippes under OpenMDW-1.1-lisensen.
Hva bør du gjøre?
- Vil du ha maks treffsikkerhet, hent nvidia/Nemotron-3-Embed-8B-BF16 via Sentence Transformers og sett «query:» på spørringer og «passage:» på dokumenter.
- Kjører du høyt volum, server 1B-NVFP4 med vLLM 0.25.0 og rut kun de vanskelige spørringene til 8B. Ulike vektor-dimensjoner betyr at du trenger to separate indekser.