Fem ulike maskinvareplattformer (Nvidia, AMD, Google TPU, Apple Metal og Intel Arc) kan nå kjøre de samme åpne språkmodellene gjennom én inferensserver. Det er kjernen i ZML/LLMD, som den franske startupen ZML har lansert gratis. Ifølge techamerica.ai er målet å fjerne barrierene som skiller maskinvare-økosystemene fra hverandre, slik at inferens ikke lenger låser deg til én leverandør.
ZML har fått støtte fra Turing-prisvinneren Yann LeCun. Grunnlegger Steeve Morin peker på at inferens, altså å håndtere brukernes forespørsler, nå er viktigere enn selve treningen av modellene, men at maskinvarespesifikke arkitekturer og programvarebegrensninger fortsatt fragmenterer feltet og binder kundene til enkeltleverandører.
«Målet er å la organisasjoner kjøre KI-arbeidslaster på tvers av ulike brikker med maksimal ytelse, og i noen tilfeller overgå eksisterende ytelsestall.» — Steeve Morin, grunnlegger av ZML
For norske utviklere og mindre aktører er det interessante muligheten til å blande rimeligere eller mer strømgjerrig maskinvare i stedet for å standardisere på ett dyrt økosystem. Morin trekker fram europeiske brikkeprodusenter som Axelera, Kalray og SiPearl som mulige vinnere av slik programvarestøtte. Samtidig konkurrerer ZML med etablerte inferensprosjekter: Baseten, nylig verdsatt til 13 milliarder dollar, og de kommersielle selskapene bak vLLM og SGLang.
Programvaren er fortsatt fersk, men retningen er tydelig: hvis inferens skal kjøres billigere, må den slutte å være bundet til én brikkeleverandør. For deg som eksperimenterer med lokal inferens, gir LLMD et alternativ å måle mot vLLM på maskinvaren du allerede har.