Orion-1 fra Artemis Security slår Opus 5.5 på angrepsrekonstruksjon: 80,8 mot 58,3 poeng
onsdag 14. oktober · KI-generert · Kilde: The Decoder
Test om KI-modellen din faktisk svarer på forsvarsoppgaver før du bygger sikkerhetsanalyse rundt den, for generelle modeller blokkerer stadig oftere forsvarere.
Det amerikanske oppstartsselskapet Artemis Security lanserte 8. oktober Orion-1, en modell som selv etterforsker og responderer på angrep i bedriftsnettverk, ifølge The Decoder og selskapets egen pressemelding. På Artemis' egen benchmark slår den Claude Opus 5.5 og GPT-6 Sol. Størst er forskjellen på angrepsrekonstruksjon, altså å sette angriperens steg i riktig rekkefølge: 80,8 poeng mot 58,3 for beste konkurrent.
Orion-1 leser logger fra identitet, sky, endepunkter, SaaS og nettverk og knytter små spor sammen til én aktør. Artemis' eget eksempel er en innlogging i Okta, en rolleovertakelse i AWS og en ny innboksregel i Google Workspace. Modellen oppgir en konfidens, konkluderer og anbefaler eller starter tiltak. Kunden setter autonomien per handlingstype, og handlinger med stor konsekvens krever menneskelig godkjenning som standard. Orion-1 er foreløpig i privat forhåndsvisning for utvalgte kunder.
«Generelle modeller resonnerer godt, men de ble aldri trent for denne jobben.» — Dan Shiebler, teknologidirektør i Artemis Security
Benchmarken heter Decision-Grade Readiness og har tusenvis av oppgaver med kjent fasit. Noen har ikke noe angrep, andre har harmløse data som ser ondsinnede ut, og modellene får poeng både for konklusjonen og bevisene. The Decoder påpeker at selskapet bare beskriver etter-trening, og at det er uklart om Orion-1 bygger på en annen leverandørs modell.
Bakgrunnen er at leverandørene strammer inn. Ifølge The Decoder sender Claude Opus 5.5 de fleste sikkerhetsoppgaver videre til eldre Opus 4.8, så resultatet kan i stor grad gjenspeile den. Da Hugging Face i juli ville analysere et autonomt KI-angrep mot egen infrastruktur, blokkerte kommersielle modeller analysen, og teamet byttet til åpen-vekt-modellen GLM 5.2 på egne servere. De sterkeste modellene, Claude Mythos 5 og GPT-6 Astra, er ikke med i sammenligningen.
Hva bør du gjøre?
- Kjør dine egne logg- og hendelsesoppgaver mot modellen du bruker før du bygger en sikkerhetsagent rundt den, og sjekk om den svarer, nekter eller sender oppgaven til en svakere modell.
- Ha en åpen-vekt-modell klar på egen maskinvare som reserve for hendelsesanalyse, slik Hugging Face gjorde.
- Les leverandørenes benchmark-tall som markedsføring til de er testet av andre: DGR er Artemis' egen test.