Hopp til hovedinnhold

Onsdag 7. oktober

 Tilbake Koding 3 min 20.18

Soket AI slipper LOOP: Rust-skrevet kodeagent brukte 7,7 ganger mindre RAM enn Claude Code

onsdag 7. oktober · KI-generert · Kilde: GitHub

Innholdet er KI-generert og kan inneholde feil. Sjekk originalkilden.

Test LOOP hvis du vil kjøre mange kodeagenter parallelt på en liten maskin, men les RAM-tallet som en leverandørmåling.

7,7 ganger mindre RAM og 17 ganger mindre lokal CPU. Det målte det indiske forskningslaboratoriet Soket AI da selskapet kjørte sin nye kodeagent LOOP mot Anthropics Claude Code med åtte workere, ifølge pressemeldingen som kom onsdag. Begge pekte mot samme Qwen-modell gjennom samme OpenRouter-nøkkel, og målingen gjaldt bare den lokale prosessen, ikke inferensen. LOOPs minnebruk steg fra 29 MiB til 223 MiB etter hvert som workerne ble lagt til.

LOOP er Apache 2.0-lisensiert og delt i Rust-crates: loop-ai gir et felles API mot modelleverandørene, loop-agent står for agentløkken, øktene, verktøyene og sandkassen, og loop-cli er terminalgrensesnittet, bygget på ratatui. Du tar med egen modell: Soket, OpenRouter, OpenAI eller et hvilket som helst OpenAI-kompatibelt API, altså i prinsippet også en lokal inferensserver som snakker samme protokoll.

«Designed to be performant and memory-efficient for long-running agents on the most critical workloads.» — Soket AI, i README-en for LOOP på GitHub

Samtalene lagres som trær du kan gjenoppta, forke, klone og søke i, enten i minnet, som append-only JSONL eller i SQLite. Nye økter spør før agenten får kjøre write, edit og bash. Sandkassen er valgfri og bruker Podman med runc, crun, runsc (gVisor) eller krun, men README-en oppgir den som støttet bare på Linux. På macOS og Windows står den som «Planned». MCP-klient og MCP-server er bygget inn i standardbinæren.

«En sterk modell når ikke toppytelsen sin alene. Jo lenger den kjører, desto mer betyr rammeverket rundt den.» — Abhishek Upperwal, grunnlegger og toppsjef i Soket AI

Bakgrunn

Soket AI er en oppstartsbedrift i det indiske IndiaAI Mission-programmet og plasserer LOOP i samme klasse som OpenAI Codex og Claude Code, rettet mot bransjer som cybersikkerhet, bank og forsvar der kontroll over infrastrukturen veier tungt. Prosjektet er ferskt: GitHub-repoet ble opprettet 2. august, hadde rundt 10 stjerner da denne saken ble skrevet, og siste versjon er v0.3.4 fra 6. oktober. Selskapet skriver selv at sammenligningen ikke måler kvalitet. Native Windows står fortsatt som «In testing», og personas, lagdelt minne, fjernagenter og gruppechat for agenter er varslet, men ikke med i forhåndsversjonen.

Hva bør du gjøre?

  1. Installer med curl -fsSL https://loop.soket.ai/install | bash, som verifiserer SHA-256 før binæren legges i ~/.loop/bin, eller bygg selv med cargo run -p loop-cli hvis du ikke vil pipe et skript til bash.
  2. Pek LOOP mot modellen du allerede bruker og mål minnet selv, for eksempel med /usr/bin/time -v, før du stoler på 7,7-gangerstallet.
  3. Slå på Podman-sandkassen på Linux før du gir agenten bash-tilgang i et repo du bryr deg om.

Pulsen · norske KI-nyheter for deg som bygger. Sakene er KI-generert fra originalkilden, som alltid lenkes.