AWS finansierer Lean for å bevise at KI-agenter holder seg innenfor
Regn med å møte Lean oftere: AWS gir teorembeviseren sin største donasjon hittil og bruker den til å bevise at KI-agenter ikke kan gå utenfor policyen sin.
«Trolig korrekt KI er ikke godt nok. Skal KI være til å stole på, trenger organisasjoner, utviklere og brukere beviselig korrekt KI» — Byron Cook, visepresident og distinguished scientist i AWS
Cook, som grunnla Automated Reasoning Group i AWS, skrev i helgen sammen med Shawn Bice, visepresident for KI-tjenester, at Amazon nå gir langsiktig finansiering til Lean Focused Research Organization. Computer Weekly, som fikk innlegget på forhånd, omtaler det som den største donasjonen i stiftelsens historie. Beløpet er ikke offentliggjort.
Lean er et åpent funksjonelt programmeringsspråk og en interaktiv teorembeviser, laget i 2013 av Leonardo de Moura, som den gang jobbet i Microsoft og i dag er senior principal applied scientist i AWS. Amazon bruker det allerede flere steder: Policy i Amazon Bedrock AgentCore verifiserer med Lean at policy-språket som skal holde agenter innenfor gitte grenser, faktisk gjør det. SampCert beviser at differensielt personvern i AWS Clean Rooms er korrekt implementert, og AWS Neuron bruker Lean på kompilering mot Amazons egne KI-brikker. En forsker beviste nylig korrektheten i Auroras segment-reparasjonsprotokoll med hjelp fra en språkmodell, på en brøkdel av tiden det ville tatt manuelt.
«Uttømmende testing av en komplisert distribuert protokoll ville i mange tilfeller tatt lengre tid enn solas levetid. Med symbolsk resonnering i Lean kan et spørsmål ofte avgjøres på sekunder» — Leonardo de Moura, sjefsarkitekt for Lean
Der ligger den praktiske forskjellen. Tester dekker tilfellene du kom på, mens et bevis dekker alle kjøringer samtidig: kompilerer det, finnes det ingen moteksempler. Cook peker på de stille feilene som den farlige klassen, altså agenter som ser riktige ut i overflaten, men har et hull i policyen som gjør dem teknisk autorisert til noe designerne aldri mente. Neste steg hos AWS heter Strata, et Lean-rammeverk for å definere semantikken i programmeringsspråk, som skal brukes til å verifisere egenskaper ved kode agentene selv skriver og kjører.
Hva bør du gjøre?
- Se på Cedar, AWS' åpne autorisasjonsspråk, hvis du vil ha et konkret eksempel: modellen av Cedar i Lean er den mest gjennomarbeidede offentlige demonstrasjonen av teknikken i produksjon.
- Bruker du Bedrock AgentCore, legg grensekontrollen i Policy-laget i stedet for i applikasjonskoden. Bevisene ligger under det laget, ikke over.
- Begynn med Mathlib hvis du vil lære Lean selv. Biblioteket er åpent, og det meste av dokumentasjonen i økosystemet henger sammen med det.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.