Glean oppgir 0,45 dollar per oppgave mot 1,84 for Claude Cowork

«Ingen er lenger villige til å basere seg på bare én eller to modellleverandører, og ingen tror de klarer seg uten åpen kildekode» — Arvind Jain, administrerende direktør i Glean

Jain sa det til Latent Space i et intervju om hvorfor modellruting har blitt en sentral del av KI-utrulling i store organisasjoner. Glean, som han var med å grunnlegge etter tiden som Distinguished Engineer i Google, tilbyr tre nivåer av modellvalg: den ansatte velger selv, administratoren begrenser eller setter bruksgrenser, eller Glean velger modell dynamisk per oppgave. Automatisk modus er det kundene stort sett velger, og begrunnelsen er økonomisk.

Tallene Glean selv oppgir er skarpe. Medgrunnlegger og ingeniørsjef Tony Gentilcore hevder at Glean er fire ganger mer kostnadseffektivt enn Claude Code, med et snitt på 0,45 dollar per oppgave mot 1,84 for Claude Cowork, og fører det tilbake til rutingen og rammeverket rundt modellen. Jain peker på at de nyeste modellene fra OpenAI og Anthropic koster to til fire ganger så mye per token som forrige generasjon, samtidig som brukerne setter dem på lengre oppgaver. Kostnaden per bruker kan dermed bli ti til tjue ganger fjorårets.

Det er også her interessen for åpne vekter kommer fra. Jain beskriver bruken av åpne modeller som ubetydelig i fjor, delvis på grunn av stigmaet ved modeller utviklet utenfor USA, og sier omslaget kom i løpet av de siste tre månedene fordi KI ble for dyrt til å forsvare. Glean bruker interne testsystemer der samme oppgave kjøres parallelt med både billigere og dyrere alternativer, og KI-baserte dommere avgjør i etterkant om ruteren traff.

For deg som bygger, er poenget at rutinglogikken flytter seg oppstrøms: Gleans søkemodell Waldo samler konteksten før valget av modell tas, slik at en billigere modell med bedre kontekst kan slå en frontmodell full av irrelevant materiale.