Z.ai-sjefen vil skrote parametertallet som mål på hva en modell kan

GLM-5.3 og GLM-5.2 deler grunnmodell. Det som skiller dem er omtrent én måned ekstra forsterkningslæring, og nettopp den kontrasten er argumentet til Jie Tang, professoren som leder Z.ai. Han er tilbake på X med en påstand om at parametertallet alene ikke lenger sier noe om hva en modell kan, gjengitt i AINews-utgaven fra Latent Space.

«Parameter count is only meaningful alongside three others — how much data you have, where you intend to spend your compute, and who will run the model, under what conditions» - Jie Tang, Z.ai

Bakgrunnen er at Chinchilla-antakelsene ikke holder i en verden der inferens dominerer regnestykket. AINews viser til at det ikke finnes ett fast forhold mellom tokens og parametere, men et spenn fra 200 til 900 tokens per parameter avhengig av oppgaven. Memorering trekker mot flere parametere. Resonnering trekker mot mer post-training-data og effektiv dybde.

For GLM-5.3 kom hoppet utelukkende fra forsterkningslæring i langhorisont-miljøer. Miljøene er bygget rundt hvordan ingeniør- og forskningsarbeid faktisk foregår, og noen av oppgavene tilsvarer flere dagers arbeid for en erfaren utvikler. I en ML-infrastrukturoppgave får modellen samme arbeidsmiljø som en ingeniør, med tilgang til compute-klynger, lagringssystemer, intern dokumentasjon, kodebaser og eksperimentresultater. Den må finne flaskehalsene i treningsstakken, implementere optimaliseringer, kjøre eksperimenter og levere en målbar hastighetsgevinst uten å ødelegge korrektheten.

Detaljen som betyr mest for deg som bygger agenter er at miljøkjeden er syntetisk hele veien ned.

«Research agents collect task patterns from real work and turn them into runnable long-horizon environments with multi-step dependencies and hidden state; a judge agent then attempts each task to verify that it is actually solvable» - Z.ai, gjengitt i AINews

Verifikatorene syntetiseres uten tilgang til fasitløsningen, mens løsningstrajektoriene brukes til å finne og tette snarveier i belønningsfunksjonen. En verifikator som består oracle-, no-op- og uløst-tilstand-sjekkene gir et binært belønningssignal som er pålitelig nok til å trene direkte på. Når agentene blir bedre, flytter flaskehalsen i post-training seg fra modellen til miljøet, og da holder det ikke med en håndfull håndbygde oppgaver.

Tang peker på fem skruer i skaleringen, inkludert MoE-sparsitet med en ny XA-YB-notasjon. Poenget hans er at avanserte ferdigheter, som å finne sårbarheter i programvare, ikke er gjenfinningsoppgaver. De krever at modellen bærer lange årsakskjeder over 20 eller flere inferenssteg uten å miste tråden, og den evnen sitter ikke i det totale parametertallet når modellen først har passert en viss kunnskapsterskel.

For deg som velger modell er konsekvensen praktisk. To modeller med samme parametertall kan ligge langt fra hverandre på agentiske oppgaver, og forskjellen ligger i treningsmiljøer du ikke får se. Modellkortet forteller deg stadig mindre om hva du faktisk får når du setter modellen i et agentoppsett og lar den jobbe i timevis.