En vanlig modell koder en proteinstruktur om til interne tall, gjør noe uleselig, og leverer et svar. SciReasoner gjør det motsatte: strukturen brytes ned i diskrete tokens, altså enkeltatomer, bindinger og koordinasjonsmiljøer, og de opptrer direkte i resonnementsporet. Modellen er en vitenskapelig grunnmodell fra Shanghai AI Lab sammen med CUHK, SJTU, Fudan, Oxford og Stanford, med over 30 forfattere, omtalt av Ground Truth.
«Addressable evidence unit» — SciReasoner-teamet, Shanghai AI Lab, om hva hvert strukturtoken er
Et eksempel fra prosjektsiden gjør forskjellen konkret. Bedt om å anslå skjærmodulen, altså stivheten, til forbindelsen Ag2HgI4, dekoder modellen først krystallen til strukturtokens. Så trekker den fram det kjemiske beviset: sølv- og kvikksølvatomer koordinert med jod i en tetraedrisk metall-jodid-struktur. Den resonnerer seg fram til at dette ligger i et «mykt» modulregime, og lander på en stivhetsverdi nær den målte. Poenget er ikke at svaret var riktig, men at en materialforsker kan lese sporet og se at slutningen fulgte av den faktiske strukturen og ikke av et heldig mønstertreff.
Resultatene spenner over tre felt. I biologi løfter modellen annotering av foreldreløse proteiner, de vanskeligste tilfellene, der tradisjonelle sekvenslikhetsmetoder svikter fordi det ikke finnes noe kjent protein å sammenligne med. I kjemi gjør den retrosyntese i ett steg og viser hvilke bindinger som skal brytes, framfor bare å navngi reaktantene. I materialteknikk skiller representasjonene ledere, halvledere og isolatorer fra hverandre ut fra struktur alene. Til sammen er den best i klassen på 67 av 86 benchmarks, og den terskelen er streng: den må slå den beste frontier-modellen og samtidig matche eller slå spesialistmodellen der en slik finnes.
Tallet 98 prosent bør leses nøyaktig. Det teller spor som eksperter i en dobbeltblind vurdering rangerte som foretrukket eller likeverdig, altså at de nesten aldri foretrakk frontier-modellens resonnement. Det er ikke det samme som at de foretrakk SciReasoners. «Minst like godt, nesten hver gang» er et reelt og hardt tilkjempet resultat, men en smalere påstand enn en rask lesning gir inntrykk av. For de som bygger KI-verktøy mot fagdomener, er det inspiserbarheten som er nyheten: et svar du kan revidere, slår et svar du må stole på.