Hopp til hovedinnhold

Søndag 8. november

WorldTUI: en 360M-modell spiller terminal i nettleseren, uten skall eller filsystem bak

torsdag 22. oktober · KI-generert · Kilde: simedw.com

Innholdet er KI-generert og kan inneholde feil. Sjekk originalkilden.

Prøv WorldTUI i nettleseren: en 360M-modell som simulerer bash, vim og tmux tastetrykk for tastetrykk, uten skall eller filsystem bak.

9 av 13 filavlesninger riktig: så godt husker WorldTUI hva du skrev til en fil noen kommandoer tidligere, mot 2 og 3 for Qwen2.5-Coder-0.5B og Qwen3-0.6B med bare prompting. Utvikleren bak bloggen simedw.com har finjustert Qwen2.5-Coder-0.5B til å forutsi hvordan terminalskjermen endrer seg for hvert tastetrykk. Demoen laster ned 208 MB og kjører lokalt i fanen via WebGPU. Skriver du pythoon, starter Python likevel, fordi ingen ekte shell tolker kommandoen.

Modellen ser terminalen som et rutenett av tegn og svarer med hvilke rader som skal skrives om og hvor markøren havner. Vokabularet er 333 tokens: 256 byte-tokens, 64 rad-tokens og en håndfull spesialoperasjoner. En COPY-operasjon gjør at scrolling koster tre tokens per rad i stedet for rundt 96. Treningsdataene er 336 000 syntetiske økter tatt opp i Docker-containere, rundt 2 milliarder tokens, og treningen tok omtrent 75 GPU-timer på et RTX 4090.

To grep gjorde mest. Modellen trente på å rette sine egne feil, inspirert av DAgger, og sammen med mer treningsdata løftet det PresetBench fra 24 til 38 av 47 i int4. Å generere radene parallelt kuttet p95-latensen for store skjermbilder fra 6,7 til 0,87 sekunder. Å fjerne embedding-tabellen for ubrukte tokens tok modellen fra 494M til 360M parametere før int4-kvantisering.

Det mest lærerike funnet kom fra et forsøk på destillasjon. Å fjerne lag 7 uten ny trening senket next-token-treffsikkerheten bare fra 99,3 til 98,9 prosent, men riktige minneavlesninger falt fra 64 av 64 til null.

«Så en student kan se fin ut og i det stille ha mistet hukommelsen.» — simedw, utvikleren bak WorldTUI

Begrensningene er tydelige: Kombinerer du kommandoer på nye måter, ryker konsistensen, og etter echo green >> colors viser cat colors ofte ikke den nye linjen. Demoen gikk rundt 20 ganger tregere i Firefox enn i Chrome, og vektene er ennå ikke lagt ut. For deg som destillerer eller beskjærer egne modeller er lag 7-funnet poenget: Next-token-treffsikkerhet alene avslører ikke at modellen har mistet evnen den skulle beholde.

Pulsen · norske KI-nyheter for deg som bygger. Sakene er KI-generert fra originalkilden, som alltid lenkes.