Offline-assistent på USB-pinne kjører lokal LLM og Kiwix på 4 GB RAM
fredag 6. november · KI-generert · Kilde: GitHub
Bygg et offline-kit på en USB-pinne der en lokal språkmodell søker i Kiwix-filer og egne notater og svarer med nummererte kilder.
GitHub-brukeren sdalberto har lagt ut ia-da-sobrevivencia, en assistent som ifølge README-en virker uten internett på Windows, Linux og macOS. Spørsmålet ditt går til to søk: BM25 over kitets egne guider og oppslag i Kiwix-filer (.zim) som medisinsk Wikipedia, wikiHow og iFixit. Treffene mates til en lokal modell via llama.cpp eller Ollama, som svarer med kildene nummerert som [1] og [2]. Uten modell viser verktøyet bare de mest relevante avsnittene.
Programmet bruker bare Pythons standardbibliotek, uten pip install. Et preparer-skript laster ned llama.cpp, modellen, kiwix-tools og en portabel Python, og kan bygge ett universelt kit for alle tre operativsystemene på en exFAT-formatert disk. Webgrensesnittet ligger på port 8090 og kan deles på lokalnettet med --host 0.0.0.0, også til telefoner på samme Wi-Fi.
Lisensene trekker i hver sin retning. Koden er MIT og guidene CC BY-SA 4.0, men standardmodellen Qwen2.5 3B går under Qwen Research License, så prosjektet anbefaler leve eller forte (Apache 2.0) til kommersiell bruk. Alle lokale OpenAI-kompatible servere (LM Studio, llamafile, KoboldCpp, Jan) kan kobles på via llm_url.
På Hacker News er ikke alle overbevist om at strømkrevende KI hører hjemme i et nødkit.
«Hvorfor ta en bok og gjøre den enda mer skjør og avhengig av et dusin faktorer?» — MSFT_Edging, Hacker News
En annen bruker påpeker at Kiwix allerede kjører på mobil, og flere viser til Project Nomad som et ferdig alternativ.
Hva bør du gjøre?
- Test søkemodusen uten modell først (python sobrevivencia.py search) før du laster ned gigabyte med modeller.
- Har du Ollama, kjør ollama pull qwen2.5:3b, så oppdages modellen automatisk.
- Legg egne .md- eller .txt-filer i knowledge/extra/ (utstyrsmanualer, lokale kart), så indekseres og siteres de.