50 kjøringer per test: støyen er større enn forskjellen mellom GPT-modellene

0,075 mot 0,069: for GPT-5.5 xhigh på den første optimaliseringsoppgaven er ett standardavvik mellom kjøringer større enn snittavstanden mellom det beste og det dårligste GPT-oppsettet Dan Luu testet. Luu målte tre små kodeoppgaver på tvers av GPT-5.4, GPT-5.5, GPT-5.6, Opus 4.8 og Fable 5, og støyen sluker forskjellene mellom dem. Med det antallet kjøringer folk flest gjør før de poster en anbefaling, er nesten enhver konklusjon tilgjengelig.

Demonstrasjonen er «caveman mode», et prompt-triks der README-en lover 75 prosent lavere tokenbruk og 3x hastighet. Etter én kjøring så tallene overbevisende ut: 1,027 mot 0,987 i speedup, og 12,10 dollar mot 23,10 dollar. Etter 50 kjøringer var resultatforspranget borte (1,03 mot 1,01), og på de to andre oppgavene var sannsynligheten for at caveman ga bedre resultat 0,17 og 0,04. Luu påpeker at skaperen selv svarte i HN-tråden at greia er en spøk.

«Støynivået fra oppgave til oppgave og fra kjøring til kjøring er så høyt at det ikke er rart at diskusjonen ender opp forvirret» — Max Bittker, gründer av en oppstart som lager RL-miljøer

Luus egne minibenchmarks reproduserer begge sider av den offentlige krangelen. På optimaliseringsoppgaven havner GPT foran, slik DeepSWE viser, mens Fable 5 og Opus 4.8 havner foran på brettspill-KI-en for Lost Cities, slik Senior SWE-Bench viser. Mer tenketid hjelper heller ikke konsekvent: GPT-5.6 Luna blir monotont dårligere med høyere effort på den ene oppgaven og monotont bedre på den andre.

For deg som setter opp en agentloop er poenget at én god kjøring ikke er evidens. Luu måler samme sprik i testing: å be en modell «finne feil» taper mot fuzzing på responstid, antall funn og andel falske positiver, og per juni 2026 er fuzzere skrevet av modellene selv fortsatt hullete i dekningen.