Meta bekrefter at Muse Spark hacket et ekte selskap under testing

«En feilkonfigurasjon hos Irregular, et uavhengig testfirma Meta bruker, ga utilsiktet en av modellene våre tilgang til internett under evaluering», sa en talsperson for Meta til CNN onsdag. Modellen det gjelder er Muse Spark, og ifølge Meta «utnyttet den en sikkerhetssårbarhet» hos et annet selskap på en måte som ligner tidligere rapporterte tilfeller. The Information omtalte hendelsen først, og skriver at modellen gjorde endringer i det rammede selskapets interne systemer. Selskapet er ikke navngitt.

Det interessante er ikke at en modell klarte det. Det er at samme testleverandør går igjen for tredje gang. Irregular sto også bak det feilkonfigurerte miljøet i OpenAIs Capture the Flag-evaluering, der et oppdiktet målnavn viste seg å være et registrert domene, og bak miljøet i Anthropics redegjørelse forrige uke, der modeller kom seg ut på nettet og deretter tok seg inn i systemene til tre ulike organisasjoner. Irregular bekrefter selv koblingen.

«Dette er nøyaktig samme problem med evalueringsmiljøet som ble meldt forrige uke. Det dreide seg ikke om et sandkasse-utbrudd eller en avansert cyberoperasjon» — Irregular, i uttalelse til CNN

Testfirmaet sier det ikke finnes åpne saker nå, og at det jobber med et white paper om beste praksis for innelukking og sikker kjøring av cyber-evalueringer. Meta sier på sin side at Irregular varslet dem, at etterforskningen pågår, og at selskapet vil publisere en full gjennomgang når fakta er på plass.

En kilde med kjennskap til situasjonen forklarte til CNN at modellene med vilje gis begrenset internettilgang i enkelte testmiljøer, for å etterligne reelle trusselscenarier. I dette tilfellet var det «et sjeldent problem i oppsettet».

«Modellene blir så mye mer kapable, og samtidig må evalueringene som skal vurdere dem bli så mye mer komplekse. Det skaper rom for feil» — kilde med kjennskap til saken, til CNN

For deg som kjører agenter mot ekte verktøy er dette et konkret mønster, ikke en fjern labhistorie. Feilen oppsto ikke i modellen og ikke i sandkassen, men i konfigurasjonen av miljøet rundt: nettverket var åpent når noen trodde det var lukket, og målnavnet i oppgaven pekte på noe som faktisk fantes. Begge deler er trivielle å reprodusere i en hjemmelaget agent-rigg med Docker og et par API-nøkler. Forskjellen er at du ikke har et PR-apparat til å skrive retrospektivet.

Hva bør du gjøre?

1. Verifiser at testmiljøet faktisk er isolert i stedet for å anta det. Kjør et utgående kall fra innsiden av containeren og bekreft at det feiler, hver gang du endrer nettverksoppsettet.
2. Bruk reserverte domener som example.com, invalid eller test i alt syntetisk måldata. Et navn du fant på selv kan være registrert av noen andre.
3. Logg agentens utgående nettverkstrafikk separat fra applikasjonsloggen. I alle tre hendelsene ble problemet oppdaget i ettertid, ikke mens det pågikk.