Fransk startup ZML lanserer gratis inferensplattform på tvers av brikkeleverandører

Fem ulike maskinvareplattformer (Nvidia, AMD, Google TPU, Apple Metal og Intel Arc) kan nå kjøre de samme åpne språkmodellene gjennom én inferensserver. Det er kjernen i ZML/LLMD, som den franske startupen ZML har lansert gratis. Ifølge techamerica.ai er målet å fjerne barrierene som skiller maskinvare-økosystemene fra hverandre, slik at inferens ikke lenger låser deg til én leverandør.

ZML har fått støtte fra Turing-prisvinneren Yann LeCun. Grunnlegger Steeve Morin peker på at inferens, altså å håndtere brukernes forespørsler, nå er viktigere enn selve treningen av modellene, men at maskinvarespesifikke arkitekturer og programvarebegrensninger fortsatt fragmenterer feltet og binder kundene til enkeltleverandører.

«Målet er å la organisasjoner kjøre KI-arbeidslaster på tvers av ulike brikker med maksimal ytelse, og i noen tilfeller overgå eksisterende ytelsestall.» — Steeve Morin, grunnlegger av ZML

For norske utviklere og mindre aktører er det interessante muligheten til å blande rimeligere eller mer strømgjerrig maskinvare i stedet for å standardisere på ett dyrt økosystem. Morin trekker fram europeiske brikkeprodusenter som Axelera, Kalray og SiPearl som mulige vinnere av slik programvarestøtte. Samtidig konkurrerer ZML med etablerte inferensprosjekter: Baseten, nylig verdsatt til 13 milliarder dollar, og de kommersielle selskapene bak vLLM og SGLang.

Programvaren er fortsatt fersk, men retningen er tydelig: hvis inferens skal kjøres billigere, må den slutte å være bundet til én brikkeleverandør. For deg som eksperimenterer med lokal inferens, gir LLMD et alternativ å måle mot vLLM på maskinvaren du allerede har.