Mesh LLM partisjonerer modellen etter lag-intervaller og fordeler dem som stadier i en pipeline: lag 0 til 15 på én node, lag 16 til 31 på neste, mens aktiveringene strømmer videre nedover rekka. Det er slik en modell på 235 milliarder parametre kan kjøre selv om ingen av maskinene dine har minne nok til å holde den alene. Modusen heter «Skippy» internt og har fått sin egen QUIC-protokoll, skippy-stage/2, for latenssensitiv transport av aktiveringer. OpenAI-klienten din ser ingenting av dette. Den snakker fortsatt bare med localhost.
Rae McKelvey beskriver arkitekturen i iroh sin egen tekniske gjennomgang. Et kall kan serveres på tre måter: lokalt på maskinens egen GPU, rutet til en peer som allerede har modellen lastet, eller splittet over flere maskiner når ingen enkelt boks er stor nok. Katalogen har over 40 modeller, fra halvmilliard-parametre som får plass på en laptop, til MoE-giganter på 235 milliarder. Installasjonen er rundt 18 MB, og alt presenterer seg som http://localhost:9337/v1 mot en hvilken som helst OpenAI-klient.
Nettverksdelen er der iroh gjør jobben. Hver node, også de som bare sender forespørsler, starter et iroh-endepunkt. Endepunktet er nodens identitet, en offentlig nøkkel, og dens eneste nettverksflate. Det finnes ingen sentral server. Iroh håndterer hole-punching, NAT-traversering og relay-fallback, og åpner en direkte, autentisert QUIC-forbindelse mellom to vilkårlige noder. Prosjektet kjører to relayer i ulike regioner så noder som ikke når hverandre direkte alltid har en vei rundt.
Inne i hovedforbindelsen er alt bidireksjonale QUIC-strømmer merket med ett ledende byte som sier hva slags strøm det er: 0x01 for gossip med peer-annonseringer, 0x04 for inferens tunnelert til en peer, 0x06 for død peer. Iroh leverer transporten, mens Mesh LLM bygger sitt eget gossip-lag oppå, nettopp for å kontrollere hvem som slippes inn i meshet og hvilke versjoner som er kompatible.
Den åpenbare gevinsten for deg med to eller tre maskiner stående er at GPU-ene i kottet kan opptre som én. Kostnaden, slik vi vurderer det, er tillit: blir du med i det offentlige meshet, kan prompten din bli servert av en maskin du ikke eier. Gjennomgangen beskriver hvordan meshet slipper noder inn, men sier ingenting om hva en fremmed node kan se av trafikken den serverer.
Hva bør du gjøre?
- Har du flere maskiner med GPU: start en node på hver og pek en vanlig OpenAI-klient mot
http://localhost:9337/v1. - Kjør privat mesh, ikke offentlig, hvis promptene dine inneholder noe du ikke ville delt med en tilfeldig node.