Survival LLM kjører Qwen3.8 27B offline mot 930 000 Wikipedia-artikler og nødhåndbøker

Utvikleren bak appen testet åtte lokale modeller på 22 spørsmål om strømbrudd og førstehjelp, og spriket er stort. Qwen3.8 27B og NVIDIA Nemotron 3.5 Super fikk hovedpoenget riktig på 21 av 22 uten skadelige svar, ifølge README-en på GitHub. IBM Granite 4.2 3B klarte 8 av 22 og ga fem skadelige svar, blant annet om å holde 3 fot avstand til en nedfalt strømledning der anbefalingen er 35. Den modellen er tatt ut av appen.

Survival LLM kjører Ollama lokalt og lar modellen søke i en SQLite FTS5-indeks over rundt 930 000 av Wikipedias mest leste artikler, WikEM, MedlinePlus, FEMA-guider, wikiHow og iFixit. Ved oppstart sjekker appen minnet og laster ned modellen som passer: Qwen3.8 27B (18 GB) på Mac med 32 til 96 GB, Nemotron 3.5 Lightning (25 GB) på Windows med 32 GB eller mer, og Granite 4.2 8B (6 GB) på maskiner med 16 til 31 GB. Biblioteket er 9 GB å laste ned. Ferdig app finnes for Apple Silicon med macOS 14 og 64-bit Windows 10 og 11, ikke Linux.

Det mest gjenbrukbare for deg som bygger RAG er kildekontrollen. Modellene oppga kilder de aldri hadde åpnet: i en egen test med 14 spørsmål gjorde Nemotron 3.5 Super det seks ganger og Qwen3.8 27B én gang. Appen sjekker derfor modellens «Sources:»-linje mot det den faktisk leste, og erstatter den med lista over artikler den åpnet.

Kritikken på Hacker News handler om maskinvarekrav og feilrate for de mindre modellene:

«Så på en vanlig forbrukermaskin kommer dette til å ta feil nesten halvparten av gangen.» — saaaaaam, på Hacker News

Hva bør du gjøre?

1. Har du en Mac med 32 GB eller mer, last ned appen og la oppsettet (20 minutter til 2,5 timer) kjøre ferdig mens du er på nett.
2. Med 16 GB får du Granite 4.2 8B og 14 av 22 riktige, så les alltid kildene appen viser under svaret.
3. Bygger du egen lokal RAG, les evals/citation_check.py og kildeerstatningen i repoet før du lager din egen.