Claude Opus 5 topper EEBench med 61,6 prosent på 13 kretskortoppgaver

En demo av GPT-6 Astra som jobber i KiCad havnet øverst i OpenAIs lanseringspost. En score på 61,6 prosent er noe helt annet. Det er tallet Claude Opus 5 fikk da teamet bak atopile kjørte 13 oppgaver i EEBench V1 og publiserte resultatene 1. september. Grok 4.6 kom på andreplass med 57,1 prosent, like foran Claude Fable 5.1 på 56,4.

Forskjellen mellom demo og måling ligger i hvordan oppgavene rettes. EEBench lar ikke modellen klikke rundt i et grafisk CAD-verktøy, der mesteparten av konteksten går med til koordinater og menyer. Kretsen lever i deklarativ kode i atopile, slik at agenten kan endre designet, bygge det, kjøre simulering og se hva som feilet uten å forlate prosjektet. Rettingen er deterministisk: verktøykjeden bygger designet, setter opp kretsgrafen og delelista, og kjører SPICE-simuleringer der hvert krav gir en måling med en grense.

En av de offentlige oppgavene tar utgangspunkt i en strømmåler. Når 5 volt-forsyningen forsvinner, må kretsen holde prosessoren i live i 20 millisekunder til, og den beskyttede skinnen må holde seg over prosessorens brownout-terskel på 3,0 volt hele veien. De fleste modeller finner riktig grunnkonklusjon, altså å legge til en kondensator. Så begynner virkeligheten: en keramisk kondensator kan gi langt mindre kapasitans enn merkeverdien når den står under spenning, komponenter har toleranser, og mer kapasitans koster penger og plass. EEBench bruker ekte produsentdeler med spesifikasjoner hentet fra databladene og kjører designet gjennom verste-fall-hjørner.

At xAI tok EEBench inn i modellkortet for Grok 4.6, under avsnittet om ingeniørakselerasjon, er den mest interessante detaljen. Elektronikk er i ferd med å bli en kategori laboratoriene måler seg selv på, ikke bare en demovideo. EEBench dekker foreløpig analog og digital design gjennom simulering, ikke layout, produksjon og oppstart av et ferdig produkt.