Revisor åpner hele SOC 2-metoden: 86 kontroller og 498 kalibreringseksempler

498 ferdig gjennomgåtte skjønnsvurderinger er tallet som skiller dette repoet fra et vanlig complianceoppslagsverk. Revisjonsfirmaet Chiaro la 4. august ut hele metodikken sin på GitHub under CC BY 4.0, som en Show HN-post: 86 kontroller, 355 testattributter, de 61 Trust Services Criteria hver kontroll knyttes til, og 22 bevistyper koblet til kontrollene de dekker.

Kalibreringseksemplene er den delen som er interessant hvis du bygger agenter som skal vurdere bevis. Hvert eksempel beskriver en konkret vurdering, hvilket svar en KI faktisk kom fram til, hvilket svar som var riktig, og hvorfor. 303 av dem korrigerer en KI som var for streng, 195 en som var for slepphendt. Chiaro publiserer forholdet selv fordi hvem som helst kan regne det ut av fila, og begrunner skjevheten med at en motor som leser bevis mot skrevne kriterier overflagger langt oftere enn den underflagger: den ser ikke at et manglende dokument er dekket på tre andre måter.

«En metodikk ingen kan etterprøve er ikke bedre enn ingen metodikk» — Chiaro, methodology-repoet

Selve testregimet bryter med revisjonstradisjonen. Chiaro sampler ikke som standard. Klientens KI henter hele populasjonen for hver kontroll, altså hver endring, hver oppsigelse og hver tilgangsgjennomgang i observasjonsvinduet, og fullstendigheten avstemmes mot en uavhengig andrekilde der en slik finnes. Alt testes, deterministisk der bevisene er strukturerte og ved kalibrert lesing der de er prosa, og hvert kandidatavvik bekreftes av en autorisert revisor før det blir et funn. Sampling brukes bare der populasjonen ikke lar seg hente i sin helhet, og utvalget seedes fra en hash av den banket populasjonen, slik at ingen av partene kan styre eller trille om.

Chiaro er åpen om to ting som mangler. 79 av attributtene sier fortsatt «for a sample of» selv om metoden ikke sampler, og teksten er under revisjon. Og den nøyaktige ordlyden i sjekkene som avslører at en klients KI tar en snarvei, er holdt tilbake, fordi å publisere den ville publisere veien rundt.

Selve plattformen er ikke åpen kildekode. Lisensen dekker metoden, ikke programvaren, og en SOC 2-rapport er en attestasjon under AT-C 205 som bare et autorisert revisorfirma kan signere. Chiaro er et produkt fra Y Assurance PLLC.

Hva bør du gjøre?

1. Kjør din egen readiness mot framework/controls.json hvis du har SOC 2 foran deg. Lisensen tillater det eksplisitt, og du får se hva som faktisk testes før du betaler noen for å fortelle deg det.
2. Les method/collection-rules.md hvis du bygger en agent som samler bevis. Reglene er hentet fra instruksene serveren faktisk sender, ikke fra en idealisert beskrivelse.
3. Bruk kalibreringseksemplene som testsett for din egen dømmekraftsmodell. Fordelingen 303 mot 195 er i seg selv et signal om hvilken vei en LLM bommer.