Nvidia PAIR sprer lokal inferens over PC-ene du allerede har

Den kraftigste GPU-en i huset står som regel stille mens du sitter med laptopen, og laptopen står stille mens du spiller. Nvidia Personal AI Router, forkortet PAIR, er et gratis verktøy med åpen kildekode som finner kompatible PC-er på det lokale nettverket, kobler dem sammen og setter dem i arbeid med lokal inferens når de ellers er ledige, skriver The Verge.

Navnet lurer. PAIR er ikke en fysisk ruter, det er programvare som sender uavhengige inferensforespørsler til den maskinen som har kapasitet akkurat nå, og som justerer seg når enheter kobler seg til eller forlater nettverket. Starter du et spill på stasjonærmaskinen, flytter jobbene seg. Verktøyet fungerer sammen med Ollama og LM Studio, så du beholder inferensmotoren du allerede kjører.

Poenget er agent-arbeidsflyter. De deler ofte en sammensatt oppgave i mindre deljobber som kan kjøre parallelt, men gevinsten forsvinner når alle forespørslene konkurrerer om den samme GPU-en. PAIR sprer dem utover i stedet, og fjerner flaskehalsen på én enkelt brikke.

«It's truly a treasure trove of free tokens just sitting in homes today» — Seth Schneider, produktsjef i Nvidia

Schneider beskrev for pressen en husholdning med en RTX Spark-laptop, en DGX Spark-maskin, en RTX 5090-laptop, en gaming-PC og en MacBook Pro, og anslo at et slikt hjem sitter på rundt 165 teraflops underutnyttet regnekraft selv når strømkostnaden i et gjennomsnittlig amerikansk hjem er regnet inn. Han var samtidig tydelig på at eksempelet er et ytterpunkt. Nvidia ser for seg at de fleste PAIR-brukere har én laptop og én gaming-PC.

Sikkerheten hviler på at enhetene pares med en sekssifret kode, og at kanalen deretter sikres med mTLS, altså gjensidig autentisert TLS som gjør at maskinene stoler på hverandre begge veier.

Maskinvarekravene er den harde grensen. PAIR støtter GeForce RTX 20-serien og nyere, RTX Pro-GPU-er, DGX Spark og Apple-brikker fra M4 og oppover. Betaen er tilgjengelig nå for Windows, Linux og macOS. Nvidia melder samtidig at Perplexity Portable Computer, Hermes Agent og OpenClaw får forenklet lokalt oppsett med Nvidia-GPU-er på Windows.

Hva bør du gjøre?

1. Tell opp maskinene som faktisk kvalifiserer. Alt eldre enn RTX 20-serien eller Apple M4 blir stående utenfor, og da er det lite igjen å rute mellom.
2. Behold Ollama eller LM Studio og mål før og etter. PAIR krever ikke at du bytter inferensmotor, så antallet parallelle jobber er det eneste tallet som betyr noe.
3. Prioriter arbeidsflytene som deler seg opp. Gevinsten ligger i mange uavhengige delkall, ikke i én lang prompt mot én modell.