Co-Scientist kjører labutstyret selv og fabrikkerer i 4 prosent av artiklene

«Svært plausible metoder i artikkelen som ikke stemte med koden den faktisk kjørte.» Slik beskriver hovedforfatter Samuel Schmidgall feilen som blir liggende igjen etter at Google DeepMind har skrudd på alle kontrollmekanismene. Systemet har en tendens til selektiv rapportering, skriver han, og det er den typen svakhet som ikke fanges av et tall.

Co-Scientist ble første gang vist fram i februar 2025, den gang bygget på Gemini 2.0 og med hull i både faktasjekk og litteraturgjennomgang. Det som er nytt er den lukkede sløyfa: systemet utleder hypoteser fra et forskningsspørsmål, lager forsøksplaner, programmer eller maskinlesbare labprotokoller, analyserer resultatene og genererer vitenskapelige manuskripter. Egne verifiseringsmoduler kryssjekker hvert tallfestet utsagn i teksten mot kjøreloggene til koden systemet selv skrev.

Effekten av de modulene er målt. I en dobbeltblind studie med 30 fageksperter og 450 uavhengige vurderinger av 150 autonomt genererte artikler fabrikkerte Co-Scientist nøkkelresultater i 4 prosent av tilfellene med modulene på. Uten dem traff raten 46 prosent, og sammenligningssystemet lå på 90 prosent. Tidligere analyser har dokumentert fabrikasjonsrater på mellom 80 og 100 prosent i eksisterende systemer.

Helt oppdiktede data dukket aldri opp i Co-Scientists egne artikler, mens de fantes i 44 prosent av sammenligningssystemets. Nesten-plagiat falt fra 60 til 16 prosent, og en integrert sikkerhetsarkitektur avviste 98,7 prosent av potensielt skadelige forskningsretninger.

Valideringen gikk over tre fagfelt med økende grad av selvstendighet. I materialvitenskap ble Co-Scientist koblet til en halvautomatisk høytemperaturovn og fant en tryggere framstillingsvei for et etterspurt 2D-materiale som til nå stort sett har krevd farlig etsing. Etter 25 runder med menneskelig finpussing kom det ut lagdelte strukturer med egenskaper som ligner målmaterialet, men den atomære strukturen er ennå ikke bekreftet. I et andre forsøk ble tre halvledertynnfilmer syntetisert på første forsøk, med Gemini 3 Deep Think i direkte styring av utstyret, og oppskriftsutviklingen falt fra dager til minutter. Mennesker måtte fortsatt legge inn prøver og forløpermaterialer for hånd, og hurtigmodusen ga mindre og mindre ensartede krystaller enn nøye optimaliserte oppskrifter.

I informatikk kjørte systemet uten menneskelig innblanding etter oppsettet og designet Agent_H, en medisinsk KI-arkitektur som klassifiserer innkommende spørsmål, genererer dusinvis av svarkandidater parallelt og pusser dem. Korrigert for altfor lange svar slo Agent_H seks frontier-modeller på helse-benchmarkene, deriblant GPT-5 og Claude Opus 5.

Så kom mennesker inn. Tre spesialistgodkjente leger vurderte svarene i ni kategorier, og der hadde Agent_H statistisk signifikant fortrinn framfor grunnlinjemodellen Gemini 3.1 Pro i én eneste av dem: lavere risiko for potensielt skadelige svar. De automatiserte benchmark-evaluatorene korrelerte bare svakt med legenes vurderinger. Høy score sier lite om hva en kliniker faktisk kan bruke svaret til, skriver forskerne, og det stiller spørsmålet om hva benchmarkene måler.

Det er den avstanden som er interessant for alle som bygger agenter med et evalueringssteg. Co-Scientist viser at fabrikasjon lar seg presse ned med en modul som sjekker tall mot kjørelogger, og at ingen slik modul redder deg fra en evaluator som måler feil ting.