The Verge tester lokal KI: 105 GB Qwen-modell på Mac Studio sorterte over 400 Steam-spill
søndag 11. oktober · KI-generert · Kilde: AI | The Verge
Bruk en lokal agent til oppgaver du ikke vil sende til skyen, men regn med at de planlagte jobbene trenger stell.
«What do I do with this thing?» Det var det første Verge-journalisten tenkte da Hermes Agent og Qwen 3.8 Flash Next sto klare på en M5 Ultra Mac Studio med 256 GB unified memory. Modellen har 125 milliarder parametere og tar rundt 105 GB. Han har holdt seg unna KI i hverdagen av personvernhensyn, og en agent som bare bor på skrivebordet endret det.
Hermes Agent er Nous Researchs open source-agent med MIT-lisens. Den har innebygd cron-planlegger og en gateway mot blant annet Telegram, Discord og Signal, og journalisten styrte den fra mobilen via en Telegram-bot etter kort tid.
Det som fungerte best, var det kjedelige. Han har over 400 spill på Steam, og Steam sorterer dem ikke for deg. Etter at han registrerte en Steam web API-nøkkel og ga den til Hermes, brukte agenten noen minutter på å sortere hele biblioteket etter sjanger og lot noen av hans egne kategorier stå. Nøkkelen trakk han tilbake rett etterpå. Han lot også agenten regne på økonomiske tall og lage et spesifikasjonsark for en laptop under embargo, data han ikke ville lastet opp noe sted.
Det som ikke fungerte: morgenbriefen med e-post, kalender og vær feilet først fordi macOS sov da jobben skulle kjøre klokken 07.30, og den har brukket flere ganger siden. Automatiseringen av laptop-benchmarks med vibe-kodede Python-skript er fortsatt uferdig. Han påpeker selv at du ikke trenger en maskin til 12 000 dollar for å lage en morgenbrief.
Begge hindrene han beskriver, lå utenfor selve modellen: maskinen måtte være våken når cron-jobben startet, og agenten fikk ikke gjort Steam-jobben før han registrerte en egen API-nøkkel til den.
Slik gjør du det selv
- Gi agenten en egen API-nøkkel per oppgave og trekk den tilbake når jobben er gjort, slik journalisten gjorde med Steam-nøkkelen.
- Slå av hvilemodus, eller kjør agenten på en maskin som alltid er på, før du legger cron-jobber på den.
- Test med en mindre Qwen-modell først hvis du ikke har over 100 GB ledig minne, og bytt modell med
hermes modelnår du vil prøve en større.