KI-agent i Grok Bot postet eierens bankrapport i firmaets Slack fordi to kanaler het nesten det samme

Shane Mac, 40 år gammel toppsjef i XMTP Labs, satte opp en «CFO»-agent i Grok Bot i slutten av august, forteller han i et intervju med Business Insider. Agenten fikk lesetilgang til hans private bruks- og sparekonto og skulle hver måned rapportere saldo, utgifter, faste trekk og mistenkelige transaksjoner til en gruppechat med alle agentene hans, kalt «My Personal Exec Team».

De ukentlige kjøringene gikk fint. Den første månedsrapporten, torsdag 1. oktober, havnet i stedet i Slack-kanalen «Exec-team», der XMTPs ledergruppe sitter. Produktsjefen trodde først det var selskapets regnskap, helt til rapporten nevnte låven Mac bygger på eiendommen sin og at han lå langt over månedsbudsjettet.

«Jeg lagde en haug med ulike agenter, og for én av dem koblet jeg til Slack-kontoen min. Men under panseret bruker de faktisk alle de samme koblingene, selv om de føles som forskjellige agenter.» — Shane Mac, toppsjef i XMTP Labs, til Business Insider

Grok-teamets gransking fant at agenten gjorde det den var bedt om, men tok feil av mottakeren. Den arvet skrivetilgang til Slack fordi en annen agent hadde fått den, og den valgte mottaker ut fra kanalnavn. Ifølge Mac har Grok-teamet nå innført at brukeren eksplisitt må gi agentene tillatelse før de flytter informasjon til andre kanaler. Selv koblet han fra Google, kalenderne, banken og Stripe etter hendelsen.

Hva bør du gjøre?

1. Sjekk om agentplattformen din deler OAuth-koblinger på tvers av agenter. Gjør den det, har hver agent i praksis summen av alle tilgangene.
2. La agenter som poster automatisk skrive til faste kanal-ID-er på en hviteliste, ikke til kanaler de finner ved navn.
3. Hold private kontoer og jobbkontoer i separate agentoppsett, slik at en feilrutet melding ikke kan krysse grensen.