ComputeArena signerer hver lokale modellmåling og viser deg hva som sendes inn

Tre plattformer, to kjøretider og én signatur per måling. ComputeArena CLI er klienten til ComputeArena, en felles resultatliste for KI-modeller som kjører på maskiner i randsonen. Klienten kjører testene gjennom en lokal inferens-kjøretid, lagrer hvert resultat som en signert rapport på din egen maskin, og lar deg inspisere og verifisere rapportene før noe som helst forlater den.

Det siste er det som skiller prosjektet fra en vanlig benchmark-innsending. Målingene kjører og verifiseres offline. Ingenting lastes opp før du logger inn og sender inn, og innsendingen viser deg JSON-en som blir offentlig og ber om bekreftelse først. Klienten lenker heller aldri inn en kjøretid: hver måling kommer fra et separat program som klienten starter og hasher.

To kjøretider er støttet. BaseRT kjører .base-pakker, og llama.cpp kjører .gguf-filer gjennom llama-bench. Begge går gjennom det samme adapter-grensesnittet, som eier oppdagelse av kjørbare filer, modellvalg og kjøring, mens klienten eier menyene, signeringen, lagringen og innsendingen. Adaptere for MLX og vLLM kan legges til bak det samme grensesnittet uten å røre den delte koden, men de finnes ikke ennå.

Ferdigbygde binærfiler dekker macOS på Apple Silicon og Linux på x86_64 og arm64. Windows er ikke støttet. Installasjonsprogrammet laster ned nyeste utgivelse, sjekker arkivet mot SHA-256-digesten GitHub publiserer for det, legger computearena i ~/.local/bin, bruker aldri sudo og spør før det endrer noe. Linux-binærfilene krever glibc 2.31 eller nyere, og skal du bygge fra kilde trenger du Rust 1.85 eller nyere.

Poenget for deg som kjører modeller lokalt er sammenlignbarhet. Tall fra din egen Mac eller Linux-boks sier lite alene, og de fleste tallene som sirkulerer er målt på maskinvare du ikke har. En felles liste med signerte rapporter fra kjent maskinvare gir et referansepunkt, forutsatt at nok folk sender inn.

Hva bør du gjøre?

1. Installer en kjøretid først. llama.cpp kommer fra brew install llama.cpp eller sine egne utgivelser, BaseRT fra sitt eget installasjonsprogram, og klienten kan installere begge for deg.
2. Kjør en måling før du sender noe inn. computearena llama-cpp run model.gguf lagrer en signert rapport lokalt, og computearena list og computearena inspect lar deg lese den uten å publisere noe.
3. Les JSON-forhåndsvisningen ved innsending. Den viser nøyaktig hva som blir offentlig, inkludert det maskinvaren din røper om oppsettet ditt.