Ollaya kjører Jev-lignende beslutningsmodeller lokalt på 10 millisekunder
Test Ollaya som lokal erstatning for TypeSafes hostede Jev hvis du klassifiserer meldinger i volum, men mål treffsikkerheten mot dine egne data før du bytter.
8–10 ms for fem spørsmål på et RTX 4090, mot en median på 236–276 ms for TypeSafes hostede Jev-API: det er tallene det nye Apache-2.0-prosjektet Ollaya oppgir på nettsiden sin. Ollaya henter og serverer åpne beslutningsmodeller fra en lokal daemon, med kommandoer som run, pull, list og ps som fungerer som i Ollama. Lanseringen fikk 218 poeng på Hacker News.
En beslutningsmodell leser en tilstand, for eksempel en melding, en e-post eller et JSON-objekt, pluss typede spørsmål av typen valg, skår eller ja/nei. Den svarer med kalibrerte sannsynligheter i ett forward pass og genererer aldri tekst. Ollaya bruker TypeSafes /v1/systemone-format, så den offisielle TypeSafe-SDK-en for Python fungerer uendret når du peker TYPESAFE_BASE_URL til localhost:11435. Med ollaya mcp kan Claude Code, Cursor og andre MCP-klienter bruke modellene direkte.
Standardmodellen er Laya fra Convai Innovations, i en engelsk variant på 421M parametere og en flerspråklig på 322M for over 100 språk. Katalogen har også Mapikas decider-modeller basert på Qwen3.5 og zero-shot-klassifiserere fra Moritz Laurer og Knowledgator. Vektene hentes fra forfatternes egne Hugging Face-repoer, låst til en commit og sjekket mot sha256, og alt kjører på ONNX Runtime på CPU eller Nvidia-GPU.
Kvaliteten er det åpne spørsmålet. Ollaya oppgir at Laya er bedre kalibrert enn Jev, med ECE på 0,081 mot 0,246 etter temperaturtilpasning, men sier mindre om treffsikkerhet: den beste modellen i katalogen, decider, får 0,591 på typed-decisions.
«Etter min erfaring presterer Laya betydelig dårligere» — george_max, i Hacker News-tråden om Ollaya
Hva bør du gjøre?
- Installer Ollaya og kjør ollaya run laya --preset triage på et utvalg av dine egne meldinger for å se hvordan svarene faller ut.
- Kjør samme spørsmålssett mot Jev og Ollaya-modellene side om side før du bytter, siden brukere på Hacker News melder om svakere treff på komplekse spørsmål.
- Test laya:multilingual på norsk tekst selv, siden Ollaya bare oppgir «100+ språk» uten å liste dem.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.