«Det finnes ingen unnskyldning for at en kommando lar være å verifisere nøyaktigheten av etterretningen sin.» Ordene kommer fra Jack Shanahan, pensjonert trestjerners general og den første lederen av Pentagons Joint Artificial Intelligence Center, altså en av arkitektene bak KI i det amerikanske militæret. Han kommenterer en Los Angeles Times-gransking av et rakettangrep mot en iransk skole i slutten av februar som drepte anslagsvis 120 barn.
Angrepet skjedde i en krig der det amerikanske militæret ifølge tidligere rapporter for første gang brukte KI i stor skala til målvalg. Anthropics Claude-modell var integrert i Palantirs Maven Smart System og foreslo rundt 1000 mål på dag én, mens en WSJ-rapport anslo over 3000 traff de første dagene. En etterretningsanalytiker hadde allerede i 2019 flagget at bygningen, tidligere klassifisert som et marineanlegg, var blitt en barneskole.
Problemet var ikke modellen, men rørleggingen. Verktøyet analytikeren brukte var ikke koblet til den offisielle måldatabasen, så informasjonen nådde aldri kommandantene. Minst to etterretningsdatabaser har aldri vært koblet til den autoritative måldatabasen MIDB, et system bygget på 1980-tallet som fortsatt er avhengig av manuell inntasting. Bildematerialet som ble brukt var sju år gammelt.
«Målvalg er et døende fagfelt som visnet gjennom to tiår mens militæret fokuserte på terrorbekjempelse.» — Jack Shanahan, tidligere direktør, Joint Artificial Intelligence Center
Lærdommen for alle som bygger KI-systemer er ubehagelig kjent: en modell er aldri bedre enn dataene den mates med. Pentagon svarte på rapporten med å lansere et «agentisk KI»-initiativ, blant annet automatiske kryssjekker mot offentlige tjenester som Google Maps. Men å legge mer KI oppå utdaterte databaser løser ikke at grunnlaget er råttent.