Opptil tre ganger raskere enn andre web-runtimes på CPU og GPU, og 5 til 60 ganger raskere når jobben flyttes fra CPU til GPU eller NPU. Det er tallene Google oppgir i lanseringen på Google Developers Blog. Pakken heter @litertjs/core, ligger på npm, og tar imot vanlige .tflite-filer.
Poenget ligger i hvordan modellen kjøres. TensorFlow.js lente seg på kjerner skrevet i JavaScript. LiteRT.js eksponerer i stedet Googles native runtime gjennom WebAssembly, med XNNPACK for CPU, ML Drift for GPU og WebNN for NPU-er når den standarden lander. Nettapper arver dermed optimaliseringene Google gjør for Android og iOS, uten at du selv må tune noe per plattform.
For deg som bygger betyr det at inferensen kan skje på maskinen til brukeren: ingen serverregning, ingen data ut av nettleseren, og latens nede på det maskinvaren klarer. Konvertering fra PyTorch går i ett steg med LiteRT Torch, og AI Edge Quantizer lar deg sette kvantiseringsskjema per lag. Ultralytics har lagt inn LiteRT-eksport for YOLO-modellene sine.
Tallene er Googles egne, målt på klassiske syn- og lydmodeller, ikke på generativ tekst. Demoene selskapet viser fram er av samme type: dybdeestimering fra webkamera med Depth Anything V2, og firedobbel oppskalering av bilder med Real-ESRGAN. Generativ KI på enheten står oppført på veikartet, ikke som noe du kan bruke i dag, og WebGPU er ennå ikke tilgjengelig i alle nettlesere.
Hva bør du gjøre?
- Test
@litertjs/coremot en.tflite-modell du allerede har, og mål mot ditt nåværende TensorFlow.js-oppsett før du bytter. - Velg WebGPU-backend eksplisitt hvis modellen er tung nok til å forsvare oppstartskostnaden. På små modeller vinner ofte CPU.
- Kvantiser før du optimaliserer noe annet. AI Edge Quantizer gir størst gevinst per time arbeid.