Attacking and Deceiving Military AI Systems

Denna rapport studerar AML (eng. adversarial machine learning, fientlig maskininlärning), forskningen om metoder som exploaterar svagheter i AI-system som använder sig av maskininlärning (ML). Under de senaste åren har maskininlärning, och särskilt djupinlärning (DL), lett till snabba framsteg i många olika områden såsom bildklassificering, NLP (eng. natural language processing, språkteknologi) och autonoma agenter. DL är därför av stort intresse inom militära sammanhang. Men parallellt med framstegen ökar också forskningen inom AML, och nya attackvarianter publiceras nästan dagligen. Praktiskt taget alla DL-system är sårbara i någon form, vare sig att de kan bli förvirrade, att en motståndare kan undvika att detekteras, eller att hemlig information kan extraheras ur systemen. Från ett försvarsperspektiv är det viktigt att vara medveten om möjligheten att sådana angrepp kan genomföras, både mot egna AI-system och mot de av en motståndare. Rapporten ger en översikt över forskningen inom AML. Sedan presenteras tre fallstudier om angreppsvarianter mot olika typer av AI-system: - förgiftning (eng. poisoning) av bildklassificerare, så att militära fordon undviker att bli upptäckta; - extraktion (eng. extraction) av hemlig information ur stora generativa modeller; - fientlig policy (eng. adversarial policy): attacker där motståndaren beter sig på ett sätt som vilseleder autonoma agenter. Varje fallstudie beskriver och diskuterar attackerna och evaluerar implementeringar. Rapporten fokuserar på angreppen. Försvar mot AML diskuteras kort där det är lämpligt, men en mer djupgående studie av AML-försvar är tema för en kommande rapport.