Acrab lover 100 milliarder parametere lokalt. Målingen er kjørt på Gemma 26B

Hvor stor modell har Acrab faktisk demonstrert på GELIX 1? Pressemeldingen selskapet sendte ut 23. juli beskriver en brikke som er «designet for å støtte» åpne modeller i 100 milliarder-klassen, mens den eneste ytelsesmålingen som oppgis er kjørt på Gemma 26B A4B med 10 000 tokens inn og 40K KV-cache. I den testen nådde brikken 1 416,8 tokens i sekundet i prefill, mot 188,9 på en Mac Mini M4 Pro.

Acrab er et Singapore-basert selskap grunnlagt i 2024, og GELIX 1 er den første brikken deres for KI på kanten. Den er bygget på 5 nanometer og kombinerer en Arm-CPU med 20 kjerner, en flerkjernes NPU og 273 GB/s minnebåndbredde. Det siste tallet fortjener oppmerksomhet: det er nøyaktig samme båndbredde som M4 Pro-en brikken måles mot.

«Å kjøre modeller i 100 milliarder-klassen på et system som er lite nok til å stå på et skrivebord, er en betydelig databehandlingsutfordring.» — Ken Phua, administrerende direktør i Acrab

Tre ting mangler før tallene betyr noe for deg. DigiTimes påpeker at ingen uavhengig verifisering foreligger ennå. Acrab har ikke oppgitt hvor mye minne Agent Box kommer med, og en modell på 100 milliarder parametere trenger typisk rundt 128 GB samlet minne. Pris og tilgjengelighet er heller ikke annonsert. Selskapet oppgir selv over 350 millioner dollar i finansiering fra Vertex Ventures Southeast Asia & India, Vertex Growth og K3, ikke fra batteriprodusenten CATL som enkelte overskrifter har koblet Acrab til.

Hva bør du gjøre?

1. Sjekk båndbredden på maskinen du allerede har: 273 GB/s er samme tall som M4 Pro leverer.
2. Vent på minnespesifikasjonen. Uten oppgitt RAM-mengde er 100 milliarder parametere en påstand du ikke kan etterprøve.
3. Behandle prefill-tallet som et leverandørtall til noen utenfor Acrab har kjørt testen på nytt.