Andrew Ho forlater OpenAI for å bygge treningsdata for bioinformatikk

Andrew Ho slutter i OpenAI etter åtte måneder og starter et selskap som produserer treningsdata av høy kvalitet. Begrunnelsen hans er at store språkmodeller generaliserer dårlig, også innenfor godt finansierte områder som programmering, der ytelsen er ujevn. Årsaken, mener han, er datamangel: de fleste ferdighetene som betyr noe økonomisk er knapt representert i eksisterende datasett.

«Det meste av arbeid er sterkt kontekstavhengig og lar seg ikke enkelt kode om til et miljø som kan graderes. Selv når vi kan observere en gyllen sti tatt av et menneske, som vi tror er god, er det vanskelig å avgjøre om alternative stier gir gode eller dårlige utfall.» — Andrew Ho

Ho anslår at KI-laboratoriene må bruke over 100 milliarder dollar på målrettet datainnsamling i årene som kommer. De første produktene retter seg mot to områder: datasett for komplekse vitenskapelige analyser i bioinformatikk, der selv GPT-5.6 Sol treffer på rundt 30 prosent, og datasett for hverdagslig laboratoriearbeid, som når forskere sender inn bilder av forsøk til vurdering. Kjemi, materialteknologi, helse og bredere kunnskapsarbeid skal følge.

Cambridge-forskeren Adam Hunt deler skepsisen, men peker på et annet mønster. Han mener de nyeste modellene ikke blir mer allsidige, men mer spesialiserte: programmering og kompleks matematikk fortsetter å forbedres, mens språkkvalitet og enkel logikk står stille eller blir dårligere. Forklaringen han gir er at forsterkende læring virker godt der belønningssignalet er klart og treningsdataene komplette, slik de er i kode. Hunt setter selv tiltroen til sitt eget argument til rundt 40 prosent.

For deg som bygger er dette et argument for å måle på ditt eget domene framfor å stole på generelle benchmarks. Stemmer Hos diagnose, avhenger nytten av en modell i din bransje av om noen har laget data for akkurat den, og ikke av hvor stor neste modell blir.