Fra homelab til 180 000 statsansatte: samme selvhostede KI-stack

Én person med en brukt arbeidsstasjon og en statlig etat med eget datasenter kjører samme programvare. Det er hovedpoenget i en gjennomgang Open WebUI publiserte på sin egen blogg: forskjellen mellom homelab og nasjonal infrastruktur ligger ikke i programvaren, men i alt rundt den. Tilgangsstyring, oppetid, støtte, styring og ansvar er det som endrer seg.

Open WebUI viser til presseomtale av en utrulling der rundt 180 000 statsansatte får en selvhostet KI-arbeidsflate bygget på Mistrals åpne vekter. Modellene kjører i et statlig datasenter, og Open WebUI er grensesnittet brukerne ser. Den annonserte planen utvider dette til rundt 250 000 ansatte i offentlig sektor innen utgangen av 2026.

Mellom de to ytterpunktene ligger virksomhetene som ikke kan sende data ut: et selskap bundet av kontrakt til å beskytte kundedata, et sykehus med pasientjournaler, et nettverk som aldri berører internett. Målet er det samme uansett størrelse, nemlig å holde modellen, brukerne og dataene på systemer du kontrollerer.

For deg som bygger hjemme er maskinvarerådet konkret. En liten modell kjører på CPU alene i 16 GB systemminne, tregt, men godt nok til å finne ut om selvhosting passer deg. Skal det bli et daglig verktøy, er 12 GB VRAM den praktiske inngangen til modeller i 7B- til 14B-klassen ved vanlige kvantiseringer. Apple Silicon er en egen vei, der delt minne lar en Mac kjøre modeller som ellers krever et solid grafikkort.

«Kjøp maskinvare sist. Bestem modellstørrelsen, svarhastigheten, antall brukere og personverngrensen du faktisk trenger, og dimensjoner maskinen etter det» — Open WebUI-teamet

Kontrollene kommer i en naturlig rekkefølge når flere enn deg selv skal bruke oppsettet: admingodkjenning av nye brukere, så grupper og tilgang per modell, så pålogging via OAuth eller OIDC, og til slutt SCIM-provisjonering, revisjonslogger og en oppbevaringspolicy. Open WebUI er tydelig på at selvhosting ikke er det samme som etterlevelse. Du får svar på hvor dataene ligger og hvem som har rørt dem, men om det tilfredsstiller GDPR eller EUs KI-forordning avhenger av hvordan du driver helheten.

Hva bør du gjøre?

1. Start med maskinen du allerede eier. Ollama og Open WebUI i én container tar en kveld, og adminkontoen lagres bare på din egen maskin.
2. Slå på admingodkjenning av nye registreringer i det øyeblikket bruker nummer to dukker opp, og skop hostede API-nøkler til én gruppe med en gang i stedet for å åpne dem for alle.
3. Ta backup av datavolumet og test en gjenoppretting. Chatter, opplastinger og søkeindeksene som bygges av dem vokser raskere enn modellfilene, som er den forutsigbare delen.