Bristol-forskere vil ha pakningsvedlegg på KI-systemer i klinikken

Ingen legemidler når markedet uten et vedlegg som oppgir hvilken dose, hvilket tidspunkt og hvilken pasientgruppe effekten er dokumentert for. En KI-modell leveres som regel med en treffprosent og lite annet. Forskere ved University of Bristol mener den forskjellen forklarer hvorfor medisinsk KI ser bra ut i tidlige tester og svikter når den møter klinikken, skriver The Decoder.

Rammeverket de foreslår heter «Learning Ensemble», og det krever at utvikleren dokumenterer og kontrollerer tre områder før systemet slippes løs på pasienter:

1. Systemets virkeområde: hvilke leger og klinikker det er laget for, hvilken maskinvare det kjører på, og hvilke pasientdata som trente det.
2. Pålitelighet på tvers av pasientgrupper. En gjennomsnittlig treffrate holder ikke, fordi et system kan se godt ut samlet og likevel bomme systematisk på bestemte grupper.
3. Om systemet i det hele tatt passer det kliniske formålet det er tiltenkt. Dette er det viktigste punktet, etter forskernes eget syn.

De tre punktene er hentet fra konkrete havarier. En studie fra 2021 beskrev et system som skulle finne covid-infeksjon på røntgenbilder, men som festet seg ved tilfeldige detaljer i bildene som tilfeldigvis fulgte diagnosen, og som falt sammen så snart det ble tatt i bruk ved en annen klinikk. En annen studie fra samme år fant at røntgentolkende KI langt sjeldnere oppdaget sykdom hos underprioriterte pasientgrupper. Et tredje system ga astmapasienter med lungebetennelse lav dødelighetsrisiko, fordi de i treningsdataene faktisk overlevde oftere, men bare fordi akuttmottak behandler nettopp dem ekstra aggressivt. Til triage, der nye pasienter skal risikovurderes, var resultatet verdiløst.

Forfatterne kaller arbeidet et utgangspunkt, ikke en fasit. Å bygge et pålitelig medisinsk KI-system er fortsatt prøving og feiling som krever fagkunnskap, ekstern gjennomgang og stadige justeringer. For alle som setter en modell i produksjon er poenget det samme, uavhengig av domene: en gjennomsnittsscore sier ingenting om hvilke grupper modellen tar systematisk feil om, eller om oppgaven den faktisk løser er den du trenger løst.