Fire V620-kort fra e-avfall kjører DeepSeek V4 Flash i garasjen

I 2022 tok AMD et arbeidsstasjonskort, ga det ekstra minne og fjernet alle videoutgangene. Kortet het V620, det ble aldri solgt til publikum, og det var ment for skygaming. Så døde skygaming av lag, AMD satt igjen med grov overproduksjon, og kortene endte hos forhandlere av brukt servermaskinvare på eBay. Der plukket utvikleren bak bloggserien «AI At Home» opp fire av dem.

Motivet er ikke bare pris. Forfatteren beskriver et ubehag ved å bygge arbeidsdagen sin rundt en kodeagent noen andre kontrollerer, og som kan bli tatt fra ham.

«Jeg har egentlig aldri klart å stole på en teknologi hvis jeg ikke kan ta den fra hverandre og sette den sammen igjen i garasjen min.» Forfatteren bak bloggserien «AI At Home»

Resten av maskinen er samme øvelse. Hovedkortet er en X299-plattform fra 2017 fra noens gamle spill-PC, valgt utelukkende fordi de fire PCIe x16-sporene sitter med riktig avstand til fire kort ved siden av hverandre. Prosessoren er en Intel Core i9 10900X, som forfatteren selv kaller den dårligste prosessoren Intel har laget på tjue år, og nettopp derfor billig. Minne og SSD er berget fra andre maskiner i huset. Strømforsyningen på 1600 watt ble kjøpt fordi den av en eller annen grunn var billigere på eBay enn en på 1200 watt.

Motstanden ligger i detaljene ingen produktside nevner. Serverkortene har ingen vifter, fordi de forventer at et serverkabinett blåser luft gjennom dem. Fire dobbeltspor-kort ved siden av hverandre er rundt 160 mm brede, så forfatteren modellerte og printet en egen kappe i karbonfiberforsterket ASA som fester én 80 mm servervifte til to kort om gangen. Viftene på 10 000 omdreininger høres gjennom husveggen. Hovedkortet nektet dessuten å kjøre ulike vifter på ulike hastigheter, så viftestyringen ble en Arduino Nano-klone på et koblingsbrett teipet fast inne i kabinettet.

Maskinen ville heller ikke starte i første omgang. Løsningen var to BIOS-innstillinger begravd i hver sin undermeny: Resizable BAR og MMIO High Size, som ingen i 2017 antok at noen ville trenge for så mye VRAM på ett kort. Med Ubuntu 24.04 og en egenkompilert llama.cpp kjørte Gemma4 fint på ett enkelt kort, litt tregere enn på et RTX 3090. Det egentlige målet, DeepSeek V4 Flash, fikk plass, men gikk sakte. Hvordan det skal gå fort, er neste kapittel.

Hva bør du gjøre?

1. Sjekk PCIe-avstanden på hovedkortet før du teller spor. Fire x16-spor hjelper ikke hvis dobbeltspor-kort dekker naboen, og det er den fysiske avstanden som avgjør hvor mange kort du får inn.
2. Regn kjøling og støy som en del av prisen når du kjøper serverkort. Kort uten vifter krever enten et serverkabinett eller en kappe du printer selv, og servervifter som faktisk flytter nok luft er høye nok til å utelukke rommet du sitter i.
3. Let opp BIOS-innstillingene for Resizable BAR og MMIO High Size før du feilsøker maskinvaren. En maskin som ikke booter med flere store kort er som regel et adresseromsproblem, ikke et defekt kort.