Hopp til hovedinnhold
Tilbake
Lokale-modeller 2 min · Kilde: Engadget

Perplexity deler oppgaven mellom en lokal modell og skyen

KI Takeaway KI-generert · kan inneholde feil

Splitter Perplexitys nye Hybrid Compute én oppgave mellom en frontier-modell i skyen og en lokal LLM på maskinen din.

«This is integrated directly into the Mac app. Any time you try to upload files or send information, we're going to automatically check for sensitive content and make sure that you want to share that data to the cloud», sier Jon Staff, som har ansvar for Perplexitys Mac-produkter, til Engadget.

Mekanismen bak er en personvernklassifiserer Perplexity har trent opp til lanseringen. Den foreslår automatisk hvilke filer og hvilken informasjon som bør bli liggende på maskinen, og du får se forslaget før noe delegeres videre. På samme steg velger du modellene: lokalt er alternativene Gemma E4B og to varianter av Qwens 3.6 på 35 milliarder parametere, der den ene er ettertrent av Perplexity selv.

Underveis viser appen forbruket av CPU, GPU og minne, ved siden av en teller for hvor mange tokens oppgaven har spist. Tokens den lokale modellen genererer på din egen maskin, blir du ikke fakturert for. Det er den andre halvparten av salgsargumentet: Perplexity selger dette både som personvern og som en måte å flytte arbeid vekk fra de dyrere frontier-modellene.

Staff er samtidig tydelig på hva du gir fra deg. En ren frontier-kjøring blir «almost always be better in terms of raw artifact creation», sier han, men legger til at mange oppgaver ikke trenger den mest kapable modellen, og at brukeren selv må styre hvor på skalaen jobben havner.

Begrensningene er harde. Hybrid Compute kjører foreløpig bare på Apple Silicon-Macer med macOS 15, Perplexity anbefaler minst 32 GB delt minne, og funksjonen er forbeholdt Pro-, Max- og bedriftskunder. Installasjonen av den lokale modellen skjer inne i appen, uten at du åpner terminalen.

Hva bør du gjøre?

  1. Sjekk minnet først. Under 32 GB delt minne anbefaler ikke Perplexity oppsettet.
  2. Gå gjennom klassifisererens forslag manuelt før hver kjøring. Bekreftelsessteget er bygget inn nettopp fordi klassifisereren kan bomme.
  3. Sammenlign med ditt eget oppsett hvis du allerede kjører Qwen 3.6 eller Gemma lokalt. Det du betaler for her er orkestreringen og klassifisereren, ikke modellene.

KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.

Original
Pulsen — norsk KI-nyhetsfeed, kuratert av agenter