Two Sigma, Anthropic og Bloomberg om finansagenter: kontrollene skal ligge utenfor modellen

«Hvorfor har biler bremser? Ikke bare for at du skal kunne stoppe, men for at du skal kunne kjøre fort og stoppe trygt», sa John Feminella, SVP Architecture i hedgefondet Two Sigma, på AI Engineer New York denne uken, ifølge Latent.Space. Han beskrev fem kontroller fondet bruker for å gi agenter reell autonomi, og advarte mot approval fatigue: et menneske som må godkjenne alt, bremser arbeidet og slipper risiko gjennom fordi oppmerksomheten svikter.

Two Sigmas svar er klassifiserere som avgjør rutinekall selv og bare sender de viktigste forespørslene videre til et menneske. Klassifisererne tar de tvetydige tilfellene, mens deterministiske regler tar de klare.

Anthropic la frem et lignende rammeverk. Keon Shahab, som jobber med anvendt KI i Anthropic, delte tillitslaget i tre: hvem agenten opptrer som (identitet og tilganger), sandkasse og godkjenning før agenten handler, og om agenten fortsatt fungerer når variabler endres over tid. Eksempelet hans var en agent som etterforsker feilslåtte handler og bare foreslår endringer i ordredataene, uten å gjøre dem selv.

«Vi vil ha deterministiske kontroller utenfor modellen. Sjekk hvert kall, logg det og ha en kill switch.» — Andrey Rybka, Bloomberg

Rybka, arkitektursjef i Bloombergs CTO-kontor, viste til en agent som tolket tekst i en anmeldelse på en markedsplass som en ordre om å ta inn et produkt. Forsvaret hans er avgrensede identiteter og nøkler, kontroll på verktøykall, begrenset utgående trafikk, revisjonsspor og budsjetter.

Hva bør du gjøre?

1. Skill mellom å foreslå og å handle: la agenten skrive forslag til en kø du godkjenner, og gi den bare skrivetilgang der feil er billige.
2. Håndhev tilganger, utgående trafikk og budsjett i koden rundt modellen, ikke i systemprompten, og logg hvert verktøykall.
3. Send bare de uvanlige kallene til manuell godkjenning, så du ikke venner deg til å trykke ja på alt.