Gerganov: llama.cpp forblir hardware-agnostisk etter Nvidia-kjøpet

«Going forward, llama.cpp/ggml will stick to its founding principles», skriver Georgi Gerganov i innlegget der han bekrefter oppkjøpet. Mannen bak llama.cpp og ggml peker på nettopp hardware-agnostisisme som den viktigste egenskapen ved prosjektet, og slår fast at utvikling og støtte for alle backends fortsetter som før, drevet og formet av fellesskapet, åpent for alle som vil delta.

Bakgrunnen for at han i det hele tatt måtte si dette, er at eierskapet nå ligger hos en brikkeprodusent med en åpenbar interesse i at CUDA vinner. Gerganov svarer med å vise til historikken: Nvidia har ifølge ham vært en aktiv støttespiller for llama.cpp i over et år, med ingeniører som har bidratt med kode, samarbeidet med fellesskapet og stilt maskinvare til rådighet for utvikling og testing. Det lokale KI-økosystemet har etter hans vurdering tjent på det samarbeidet.

«The existence of such an independent software platform is crucial for the rapid adoption of AI locally and for bringing it closer to the user.» — Georgi Gerganov, skaperen av llama.cpp og ggml

For deg som kjører modeller på egen maskin, er det backend-prioriteringen som avgjør om løftet er verdt noe. Metal, Vulkan og ROCm er grunnen til at ggml-stacken fungerer like godt på en Mac eller et AMD-kort som på Nvidia-maskinvare, og det er den likebehandlingen Gerganov nå binder seg til. Han legger til at han tror de langsiktige målene blir enklere å nå med Nvidia og det bredere Hugging Face-teamet i ryggen.

Det innlegget ikke sier noe om, er hvordan uenigheter skal avgjøres når de oppstår. En intensjonserklæring fra prosjektlederen er ikke en styringsmodell, og ingen steder står det hvem som bestemmer hvis en Nvidia-ansatt bidragsyter og fellesskapet drar i hver sin retning. Så lenge det spørsmålet er ubesvart, er den praktiske testen ganske enkel: følg med på om nye backends får like rask gjennomgang av pull requests som CUDA-koden gjør.