Needle 3 gir verktøykall, uttrekk og embeddings i en modell på 8 til 29 MB

Mikrokontrollere, klokker og støvsugere har hittil måttet sende en forespørsel ut av enheten for å forstå «demp soverommet og lås opp». Cactus Compute slipper nå Needle 3, en grunnmodell for nettopp den klassen maskinvare: mobil, klokker, roboter, smarthjem, bil og mikrokontrollere. Hele modellen er én binærfil på 8 til 29 MB, bygget på det selskapet kaller Simple Attention Network, med 29 til 121 millioner parametere og 2-bits kvantisering.

Den gjør tre ting. Den velger riktig verktøy fra funksjonene appen din eksponerer og fyller hvert argument, med tom liste i stedet for gjetning når ingen verktøy dekker forespørselen. Den henter strukturerte felt ut av rotete tekst mot en form du selv erklærer, der dekodegrammatikken garanterer at resultatet lar seg parse. Og den returnerer vektorer for setninger, slik at søk og ruting kan skje på enheten.

«Needle leser verktøybeskrivelsene dine for å avgjøre hva som skal kalles og hvordan argumentene fylles, så det å beskrive dem godt er hele jobben.» Cactus Computes dokumentasjon for Needle 3

Ytelsen Cactus oppgir er 400 til 4 000 tokens i sekundet dekoding og 1 til 10 000 tokens i sekundet prefill på en Raspberry Pi 5. Modellen er lagdelt: hvert lag er et delnettverk med økende kapasitet, og du kan velge alt fra 2 til 20 lag. Finjustering på DroidCall løfter hvert delnettverk 18 til 36 poeng, og fra fire lag og opp passerer det finjusterte delnettverket DeepSeek V4 Flash, ifølge selskapet. Hvert svar bærer en kalibrert konfidensscore med gulv på 0,1, der kall under gulvet holdes tilbake i et eget felt i stedet for å kjøres.

Hva bør du gjøre?

1. Skriv smale verktøy med enkle beskrivelser. Ett verktøy per handling slår ett bredt per kategori, fordi modellen leser skjemaet bokstavelig.
2. Rut på konfidensscoren: kjør kallet direkte når den er høy, vis det og spør når den er middels, behandle tomt resultat som et avslag.
3. Test et lite delnettverk før du tar hele. Målingene tyder på at fire lag finjustert på dine egne verktøy holder der 20 lag er overkill.