Mens LLM-arkitekturer har stått nesten stille siden «Attention is all you need» i 2017, skjer den mest oppfinnsomme diffusjonsforskningen i 3D-strukturprediksjon av molekyler. Det er hovedpoenget fra en samtale på Latent.Space med Evan Feinberg (grunnlegger) og Sergey Edunov (CTO) i Genesis Molecular AI. Edunov ledet pretraining av Llama 2 og Llama 3 hos Meta før han byttet felt.
«Noe av den mest innovative diffusjonsforskningen i feltet vårt skjer nå i 3D-strukturprediksjon.» — Evan Feinberg, grunnlegger, Genesis Molecular AI
Problemet er at det finnes omtrent 10^60 legemiddel-lignende molekyler, og nesten alle er farlige. Genesis' modell PEARL (Place Every Atom at the Right Location) modellerer ikke bare hvor et ligand fester seg, men også hvordan proteinet selv justerer formen sin for å passe bedre. På den nye OpenBind-benchmarken med 802 co-komplekser på målproteinet EV-A71 traff PEARL riktig pose der klassiske docking-metoder sliter, uten lange MD-simuleringer og uten fine-tuning på målet.
Feinberg går også hardt ut mot feltets benchmark-standard: en pose innenfor 2 ångström RMSD regnes som «god», men hydrogenbindinger har bare 0,6 ångströms gyldig område, så en modell på 1,8 til 1,9 ångström er sannsynligvis søppel. Genesis mener 1 ångström er terskelen som faktisk fanger alle interaksjonene riktig.
For deg som følger KI utenfor chatbot-sfæren er dette et konkret eksempel på at arkitektur-innovasjon lever i beste velgående, bare ikke der de fleste ser etter.