SCM søker i bilder og videoscener på Macen med CLIP, Whisper og OCR, helt lokalt

«Hovedgrunnen til at jeg valgte Tesseract: Jeg vil at SCM enkelt skal forbli portabel», skriver utvikleren bak SCM (Screen Memories) på Hacker News, der prosjektet ble Show HN med 128 poeng 4. oktober. Svaret kom etter kritikk om at Apples Vision-rammeverk er både raskere og mer presist på Mac. Utvikleren ga kritikken rett, men holder inferenslaget i JavaScript: Transformers.js og ONNX for CLIP, SigLIP og Whisper, og Tesseract.js i WASM for OCR, alt i vanlige Node-workers.

Ifølge README-en på GitHub har Electron-appen fem søkemoduser. Files rangerer hele bilder og videoer etter betydning, Scenes hopper rett til tidskoden i en video, OCR finner synlig tekst (engelsk pluss 35 språk), Dialogue søker etter eksakte replikker i Whisper-transkripsjoner, og LLMs er en valgfri lokal chat via en llama.cpp-sidecar som bare lytter på loopback, med Qwen3 1.7B (ca. 1,1 GB) som standard. Standardmodellen for bilder er CLIP ViT-L/14@336 på rundt 435 MB, som lastes ned én gang. Repoet ble opprettet 3. oktober, har MIT-lisens, rundt 230 stjerner og én bidragsyter.

Hastigheten er den praktiske flaskehalsen. README-en oppgir 480–570 ms per bilde på CPU for CLIP, mot 50–100 ms for SigLIP-2-B/16, og bytter du modell, embeddes hele biblioteket på nytt. Video samples som standard med ett punkt per 30 sekunder.

«Having built something similar with CLIP on an M1, frame sampling rate is the whole ballgame.» — Hacker News-bruker i Show HN-tråden

Merk også at SCM kopierer mediene inn under ~/Library/Application Support/scm, så et stort videoarkiv tar plass to ganger.

Hva bør du gjøre?

1. Installer med brew install --cask allenv0/scm/scm (Apple Silicon, macOS 12 eller nyere) og test på en liten mappe før du peker den mot hele arkivet.
2. Velg bildemodell før den store importen, siden et senere bytte betyr full re-embedding.
3. Sjekk ledig diskplass, fordi biblioteket lagrer egne kopier, miniatyrer og scene-plakater.