OpenAI-utvikler: mer enn to parallelle underagenter brenner tokens uten kvalitetsgevinst

Agenter stoler ikke på hverandre. Settes flere i sving samtidig, ender de med å «dobbeltsjekke alles hjemmelekser», skriver Eric Provencher, utvikler på Codex i OpenAI, i en serie innlegg på X som The Decoder har gjengitt. Kostnaden kaller han en «koordineringsskatt».

«Det er virkelig vanskelig å holde så mange parallelle baner i gang uten å spinne ut og brenne tokens på overdreven verifisering.» — Eric Provencher, utvikler på Codex i OpenAI

Mekanismen er enkel. Systempromptene summerer seg på tvers av hver eneste underagent, og uten nok kontekst gjør underagentene overflødige verktøykall. «Duplisert arbeid er den store, helt sikkert», sier Provencher.

Eksempelet som utløste innleggene er ekstremt, men illustrerende: noen brukte 20 000 dollar i tokens på å refaktorere én enkelt Python-fil med 1 393 Fable-agenter. En enkelt Astra-agent kunne gjort jobben for en «brøkdel av kostnaden», kommenterte Provencher. Svermer kan spare tid, men token-overheaden er en «felle».

Alternativet han skisserer er å delegere oppgaver til separate tråder som varsler hovedagenten når de er ferdige, i stedet for at hovedagenten poller status kontinuerlig. Provencher erkjenner samtidig at OpenAI fortsatt må levere bedre løsninger her.

Hva bør du gjøre?

1. Tell underagentene dine. Går du over to parallelle, mål faktisk kvalitetsgevinst mot tokenforbruket før du skalerer videre.
2. La delegerte tråder varsle hovedagenten når de er ferdige, i stedet for at hovedagenten sjekker status i en løkke.
3. Kutt systemprompten i underagentene. Den betales på nytt for hver agent du starter, og gir sjelden noe igjen i en avgrenset deloppgave.