Cisco åpner Model Provenance Kit: open-source verktøy som tar «DNA-test» av KI-modeller fra Hugging Face

For å bruke en bilanalogi: et model card er som registreringsbeviset, mens vektene er bilens chassisnummer. Cisco la 1. mai ut et open-source verktøy som leser begge deler. Model Provenance Kit kjører en «DNA-test» som sammenligner både metadata og de lærte parameterne i en modell mot referansemodeller. Bakgrunnen er at modellkort på Hugging Face kan forfalskes eller redigeres, og repositoriet hoster nå over 2 millioner modeller uten teknisk verifikasjon av opphavspåstandene.

«AI-leverandørkjeden, fra datasett brukt til trening til den ferdige modellen, er ugjennomsiktig. Dokumentasjon på åpne modell-repositorier kan forfalskes», skriver Cisco i lanseringsposten.

Det praktiske eksempelet Cisco trekker fram er Cursors Composer 2, som var delvis bygget på Kimi 2.5. Slike fine-tunings-kjeder gjør at en organisasjon som tror den deployer en «trent fra bunnen»-modell, faktisk arver biases, lisensforpliktelser og sårbarheter fra en oppstrøms modell. EU AI Act krever dokumentasjon av treningsdata for høyrisiko-systemer, og uten provenance-bevis er den dokumentasjonen umulig å verifisere uavhengig.

For norske byggere som finetuner modeller fra Hugging Face er dette nyttig på to måter: før du bygger på en modell kan du sjekke at den faktisk er det den utgir seg for å være, og når du selv publiserer en finetuning kan du dokumentere opphavet teknisk i stedet for med løse model-card-claims.

Hva bør du gjøre?

1. Klon repoet når Cisco legger det på GitHub (lenken kommer i bloggens oppdateringer) og kjør det mot to modeller du allerede bruker for å bygge intuisjon.
2. Bygg provenance-sjekk inn i CI for prosjekter som fine-tuner åpne modeller. Hvis du ikke kan dokumentere opphavet, kan du ikke møte EU AI Acts dokumentasjonskrav.
3. Behandle modellkort som påstander, ikke fakta. Verifiser at en «trent fra bunnen»-modell faktisk er det før du lisenshenter eller deployer i produkt.