NightRun booter Raspberry Pi 5 rett inn i en språkmodell, uten operativsystem

Firmwaren starter én UEFI-applikasjon skrevet i Rust, og etter noen sekunder sitter du i en chat tegnet rett på framebufferen. NightRun har verken kjerne, scheduler, init-system eller nettverksstack under seg, og bruker UEFI Boot Services direkte til tastatur, skjerm, lagring og til og med kjøleviften på Raspberry Pi 5. CNX Software omtalte prosjektet 30. juli, og utviklerne dokumenterer oppsettet på nightrun.io.

Motivasjonen er minne og båndbredde. En vanlig distribusjon legger beslag på RAM som inferensen kunne brukt, og på en Pi 5 med 8 GB er marginen liten. NightRun laster hele modellen, mellom 1,3 og 2,4 GB avhengig av variant, inn i RAM under boot og verifiserer CRC-32-sjekksummer underveis. Deretter forsegles lagringen: ethvert senere forsøk på å lese fra disk utløser en hard fault. Kvantiserte vekter i Q8_0, Q4_K og Q6_K kjøres på stedet av håndskrevne AVX2-kjerner på x86 og NEON-kjerner på Pi-en, uten et eget dekvantiseringspass og uten allokeringer i genereringsløkken.

«Det finnes ingen nettverksstack i runtimen. Etter at modellen er lastet, går ingenting inn eller ut av maskinen.» — NightRun-prosjektet, nightrun.io

Fire modeller er støttet i dag: Llama 3.2 1B og 3B, Granite 4.1 3B og Qwen3 4B Instruct 2507, alle konvertert til prosjektets eget nrm-format. Prosjektet lover ikke vilkårlig GGUF-kompatibilitet. Hver modell går gjennom metadata-inspeksjon, konverteringsvalidering og en referansetest der grådig output pinnes token for token mot llama.cpp.

Farten begrenses av minnebåndbredde, ikke av at operativsystemet er borte. Tallene under er prosjektets egne målinger, og Pi-tallet ble tatt opp før de nye ARM-dotprodukt-kjernene kom inn i treet.

Koden har også en uvanlig opprinnelse. Mesteparten er skrevet med Claude Code på Fable 5-modellen, og utviklerne kaller det en del av poenget: hvor langt kan en kodeagent presses når målet er et bootbart systemprosjekt med harde krav til korrekthet og sikkerhet. Metoden var referanseimplementasjoner for hver kjerne, paritetsporter mot llama.cpp og adversarielle parser-tester.

For deg som bygger er dette først og fremst en offline-maskin: ingen telemetri, ingen nettverksstack i bruk, og ingen disk som kan leses etter at modellen er inne. Prisen er lav hastighet på Pi-en og et modellutvalg på fire.

Hva bør du gjøre?

1. Sjekk at maskinen faktisk booter den. x86_64 krever at Secure Boot er slått av, og Pi 5 booter fra microSD eller USB.
2. Klon repoet framfor å pipe install-skriptet rett inn i sh. Installereren flasher fjernbar media og krever at du skriver FLASH /dev/sdX eksakt, men les den først.
3. Regn 3 tok/s som taket på en Pi 5 med Granite 4.1 3B. Trenger du interaktiv fart, kjør Llama 3.2 1B eller bruk en x86-maskin.