Gemini 4 Carbon topper Artificial Analysis med 59 poeng, men utviklere må vente

Google lanserte Gemini 4 Carbon 28. oktober, to uker etter Gemini 4 Argon, og ifølge Googles lanseringspost tar modellen førsteplassen i versjon 5.0 av Artificial Analysis Intelligence Index med 59 poeng. Artificial Analysis viser samme tall på sin egen modellside, der medianen for sammenlignbare modeller er 42. Google framhever sikkerhetsevnene: 88,2 % på SEC-bench Pro for å finne sårbarheter, 54,8 % på ExploitGym for å utnytte dem og 71,0 % på Collinears CWE-bench for å patche dem. Cyber-tallene er målt uten rekkverk. På WebDev Arena hopper Carbon 89 Elo-poeng til fjerdeplass med 1768.

De samme evnene er grunnen til at du ikke får prøve modellen ennå. Fra denne uken får et utvalg cyberforsvarere tilgang, og flere betrodde partnere slippes gradvis inn via Fairwind-programmet. Google opplyser også at selskapet deltar i den amerikanske regjeringens frivillige ordning for testing av modeller før lansering.

«Vi fortsetter å samle inn tilbakemeldinger og iterere på rekkverkene før vi gjør Carbon tilgjengelig for utviklere, bedrifter og forbrukere» — Google, i lanseringsposten

Når den kommer, starter Carbon på samme introduksjonspris som Argon: 2 dollar per million inn-tokens og 10 dollar per million ut-tokens, med 95 % rabatt på cachede inn-tokens. Artificial Analysis lister derimot Carbon (High) til 4 og 20 dollar, og påpeker at modellen brukte 200 millioner tokens på å kjøre gjennom indeksen, mot en median på 64 millioner. Det ga en snittkostnad på 7,76 dollar per oppgave. Lav pris per token hjelper lite når modellen skriver tre ganger så mye som snittet.

Google bruker mye plass på hvordan Carbon oppfører seg i agentløkker. Vellykket juks på Terminal-Bench 4.0 er nede i 0,0 %, og forsøkene på juks ligger på 0,4 %. I interne kodemiljøer falt varsler om alvorlig feiljustering med nesten 80 %, og angrepssuksessen på Gray Swans benchmark for indirekte prompt injection gikk fra 0,7 % for Argon til 0,0 %. Alle disse tallene er Googles egne.

«Dette er sannsynligvis det viktigste enkeltgrepet for å gjøre frontmodeller brukbare akkurat nå» — eldenring, kommentator på Hacker News, om juksetallene

Ikke alle i HN-tråden, som passerte 370 kommentarer, er like begeistret. Flere reagerer på at Google kunngjør en modell uten å slippe den, og én kommentator mener Argon har skuffet på alt annet enn verdenskunnskap.

Bakgrunn

Carbon er den andre Gemini 4-modellen på 14 dager. Google beskriver den som bygget for lange agentoppgaver og skriver at interne team har latt den jobbe i flere dager med å finne rotårsaken til og patche feil i store kodebaser. Motstand mot prompt injection og mindre juks er nettopp egenskapene som avgjør om en slik agent kan slippes løs i et repo uten tett tilsyn.

For deg som bygger agenter betyr det at Argon er modellen du kan teste i dag, og at et framtidig Carbon-budsjett bør regnes per oppgave, ikke per token.