Meta slipper Muse Spark 1.3: kodeagent med 20 prosent færre verktøykall

Muse Code og Meta Model API har vært ute hos utviklere i månedsvis, og Meta AI Research skriver at det er erfaringene derfra som formet oppgraderingen selskapet rullet ut 2. september. Muse Spark 1.3 er tilgjengelig i begge flatene fra samme dag. De resonneringsmodusene som fantes fra før er med fra første dag, mens den høyeste modusen kommer senere, når Meta er ferdig med ekstra sikkerhetstesting.

Tallet Meta faktisk legger fram handler om effektivitet, ikke om en ny topplassering. I sammenligninger gjort av Metas egne ingeniører løste 1.3 de samme oppgavene med rundt 20 prosent færre verktøykall og rundt 25 prosent færre tokens enn 1.2, samtidig som den tar færre runder der det ikke trengs og skriver mindre ordrikt. Betaler du per token i Meta Model API, er det prisen per fullført oppgave som flytter seg, ikke en poengsum i en tabell.

Resten av oppdateringen handler om oppførsel i lange tråder. Meta har trent modellen til å stille oppklarende spørsmål når prompten er tvetydig, be brukeren om hjelp når den står fast, og bekrefte før den gjør noe med konsekvenser. Den skal også holde bedre styr på hvilken oppgave et innkommende prompt hører til når alt ligger i én lang tråd, og Meta oppgir at den er trent til å si fra når den treffer en vegg i stedet for å hallusinere et resultat.

Sikkerhetsbiten er den som betyr mest hvis du kjører agenten mot ekte systemer. Meta oppgir bedre motstand mot fiendtlige inndata og prompt injection, og bedre kalibrering av hva som utgjør en irreversibel handling. Selskapet tallfester ingen av delene, så du må måle det selv før du gir agenten skriverettigheter. Meta varsler samtidig større modeller og en open weights-utgave av Muse Spark uten å sette dato.

Hva bør du gjøre?

1. Kjør din egen oppgavesamling gjennom 1.2 og 1.3 i Meta Model API og logg verktøykall og tokens per fullførte oppgave, ikke bare svarkvalitet. Gevinsten Meta oppgir er målt på deres oppgaver.
2. Test prompt injection mot dine egne verktøydefinisjoner før du stoler på robustheten. Meta oppgir forbedring uten tall.
3. Vent med den høyeste resonneringsmodusen i produksjonsoppsett. Den er ikke ute ennå, så et oppsett som forutsetter den vil bryte.