Needle 2 pakker verktøykalling i 14 MB og kjører på 28 MB RAM

45 millioner parametere er hele modellen. Cactus Compute la ut Needle 2 som Show HN 10. august, samme dag som versjon 2.0.0 av Python-pakken gikk til PyPI, og repoet ligger nå på rundt 6 000 stjerner. Vektene er komprimert til 2 bits med selskapets egen CQ2-kvantisering og bakt rett inn i inferensmotoren, så det finnes ingen separate vektfiler å holde styr på. Koden er MIT-lisensiert, vektene på Hugging Face er Apache 2.0.

Forgjengeren var en 26M-modell som destillerte Geminis verktøykalling, sluppet i mai. Needle 2 dekker verktøykall, enhetsstyring og strukturert uttrekk. Cactus oppgir at den bytter på å vinne mot små modeller som FunctionGemma 270M, LFM2.5 230M og Apple FM, på 5 til 70 ganger mindre plass og 2 bits mot deres f16. Benchmarkene ligger bare som graf i repoet, ikke som tabell du kan lese tall ut av.

Tre designvalg gjør den brukbar som byggekloss. En byte-nivå grammatikk kompilert fra dine egne skjemaer begrenser hvert eneste token, så du får strukturert data tilbake i stedet for tekst du må parse. Hvert svar bærer en kalibrert konfidensscore fra et eget hode: sett en terskel, handle over den, eskaler under. Et retrieval-hode gjengir bare de fem mest relevante verktøyene per tur, så du kan deklarere en stor katalog uten å fylle konteksten. Minnet er bundet av et glidende vindu på 256 tokener med verktøyene festet som KV-sinks, og det er grunnen til at 28 MB holder uansett hvor lang samtalen blir.

Show HN-tråden viser hvor grensen går. Brukeren «wky» ga verktøyet en argumentbeskrivelse som oppga grader Fahrenheit, og ba deretter om 70 grader Celsius. Modellen sendte tallet 70 videre uendret. En annen tester fikk tomme funksjonskall og 40 prosent konfidens da modellen ble bedt om å ringe kabelselskapet.

«Modeller av denne størrelsen kan ikke resonnere særlig godt om relative verdier.» — Roman Shemet, Cactus Compute, i Show HN-tråden

Needle 2 er altså en ruter, ikke en assistent. Den plukker riktig funksjon og fyller argumentene når verktøybeskrivelsene er presise, og den bommer på «gjør det litt varmere her inne». Konfidensscoren er ikke pynt, men mekanismen som sender de vanskelige turene videre til en større modell.

Distribusjonen er bredere enn Python-pakken antyder. Hugging Face-repoet har ferdigbygde binærfiler for android-arm64, ios-arm64, macOS, Windows, Linux på x86_64 og riscv64, i tillegg til WebAssembly, tvOS og watchOS. Finjustering går via LoRA på frossen base i ren JAX, med egne ekstrapakker for CUDA og Metal, og adapteren smeltes inn i én .cact-fil ved eksport.

Hva bør du gjøre?

1. Installer med pip install cactus-needle og kjør needle playground på 127.0.0.1:7860. Test dine egne verktøyskjemaer i nettleseren før du skriver en linje kode.
2. Behandle verktøybeskrivelsene som selve prompten. Signaturen gir argumenttypene og docstringen er beskrivelsen, og modellen har lite annet å gå på.
3. Sett en konfidensterskel fra dag én og bestem hva som skjer under den. Uten eskaleringsvei arver du feilene i stedet for å fange dem.