Hver tredje måned: det er takten ByteDances Seed AI-team mener KI-agenter kan doble ytelsen sin i, ifølge en forskningsartikkel omtalt av South China Morning Post. Nøkkelen er ikke mer trening på forhånd, men at agentene fortsetter å lære mens de løser reelle oppgaver etter at de er satt i drift.
Påstanden lander midt i en bredere jakt på nye måter å forbedre modeller på. I årevis har utviklere lent seg på mer data og mer regnekraft under selve treningen, men profiler som OpenAI-medgründer Andrej Karpathy har advart om at denne rå tilnærmingen ikke kan vare. ByteDance-forskerne innrømmer selv at hvordan autonome systemer lærer etter utrulling fortsatt er dårlig forstått.
«hvordan disse autonome systemene lærer fra virkelige miljøer etter utrulling er fortsatt langt mindre forstått» — ByteDances Seed AI-team
For å måle nettopp dette bygde teamet EdgeBench, en benchmark med 134 svært langvarige oppgaver som spenner fra programvareutvikling og vitenskapelig oppdagelse til formell matematikk og kunnskapsarbeid. Hver oppgave krever minst 12 timer sammenhengende agent-kjøring. For deg som bygger agenter er det en målestokk de fleste testoppsett ikke fanger: korte benchmarks sier lite om hvordan en agent holder tråden gjennom en tolvtimers økt.
Motivet er økonomisk like mye som teknisk. Offentlig tilgjengelig tekstdata kan være uttømt innen seks år, og da må ytelsesveksten komme fra et annet sted enn mer skraping. Hvis læring etter utrulling faktisk skalerer slik teamet hevder, flytter tyngdepunktet i KI-utvikling fra hvem som har mest data til hvem som har flest reelle oppgaver å lære av. Foreløpig er dette ByteDances egen påstand, ikke et uavhengig verifisert resultat.