Anthropics FlashProve beviser hvilken modell som svarte, med 110 tokens i sekundet på én H100
tirsdag 3. november · KI-generert · Kilde: Anthropic
Gjør det mulig å bevise kryptografisk hvilken modell som laget et svar: Anthropics FlashProve klarer 110 tokens i sekundet på én H100, til 70 til 95 ganger GPU-tiden til vanlig inferens.
«En bruker som spør en modell i dag, kan ikke sjekke at svarene kom fra den bestemte modellen en utvikler hevder svarer», skriver Anthropic i forskningsposten om FlashProve, publisert 2. november. Systemet bygger på en zkSNARK: leverandøren publiserer først en commitment, et kort fingeravtrykk som låser én bestemt vektfil, og legger deretter ved et bevis som hvem som helst kan sjekke uten vektene. Arbeidet er gjort sammen med forskere fra EPFL og MIT, og Anthropic oppgir at Claude laget forbedringene av zkSNARK-teknikken bak systemet.
Testmodellen er Llama 4 Maverick, med 400 milliarder parametere og rundt 17 milliarder aktive per token, i 4-bit. Én H100 med 24 CPU-kjerner beviser en batch på 24 forespørsler på 223 sekunder, rundt 110 tokens i sekundet, og hvert bevis for en forespørsel på 1 024 tokens er rundt 19 MB. Verifiseringen tar 17 sekunder på en vanlig CPU med 24 tråder. Til sammenligning brukte VerInf, det eneste tidligere beviset for samme modell Anthropic kjenner til, 14,3 timer på 1 000 tokens og et bevis på 93,6 GB.
Prototypen har tydelige grenser. Konteksten er maks 1 024 tokens, beviset gjelder en heltallsversjon av modellen med greedy decoding, og systemet forutsetter MoE-arkitektur. Proveren trenger en GPU med 80 GB og rundt 290 GB vanlig minne ved siden av. Koden, Lean-bevisene og protokollen ligger under Apache 2.0, men det er bare den trege Lean-verifisereren som er formelt bevist korrekt, ikke den raske C++-versjonen du ville brukt i praksis.
For deg som når modeller via en routing-tjeneste, er dette en realistisk vei til å kontrollere at du faktisk får modellen du betaler for, men først når leverandørene begynner å legge bevisene ved svarene.