Automatisering av cybersäkerhetsövningar - Vidareutveckling och evaluering av Lores beslutsprocess

Denna rapport beskriver pågående arbete med att vidareutveckla och evaluera beslutsprocessen för verktyget Lore, vilket kan nyttjas för att automatisera de tekniska handlingar som mänskliga hotaktörer utför under cybersäkerhetsövningar. Tidigare tillämpade Lore en kombination av enklare regler och specifika maskininlärningsmodeller för att bedöma det hypotetiska värdet av olika handlingar. I rapporten benämns detta system som expertsystemet. Rapporten beskriver hur expertsystemet ersattes med maskininlärningsmodeller som tränades att maximera en värdefunktion. I rapporten beskrivs detta nya system som det upplärda systemet. För detta ändamål utvecklades först en beräkningsmetod för värdet av en utförd handling. Sedan utfördes 90 exekveringar av Lore-scenarier under olika förutsättningar för att samla in observationer av värdet för 123 000 olika utförda handlingar. Övervakad inlärning tillämpades för att träna random forest-modeller baserat på dessa observationer. Evalueringen visade att applicering av det upplärda systemet i snitt gav 23 % högre värde, och cirka dubbelt så många komprometterade datorer, än expertsystemet. En andra evaluering utfördes genom tillämpning av Lore under cybersäkerhetsövningen SAFE Cyber 2020. Övningens 17 deltagare tyckte att det var roligare och mer lärorikt att utsättas för Lore än för ett traditionellt skräddarsytt scenario.