Explainable Artificial Intelligence: Exploring XAI Techniques in Military Deep Learning Applications

Förklarbar artificiell intelligens (eng. explainable artificial intelligence) eller XAI är ett forskningsområde som har sett en stor tillväxt under de senaste åren. Detta är ett resultat av den snabba utveckling som skett inom artificiell intelligens (AI), maskininlärning och framförallt djupinlärning. Inom XAI bedrivs forskning som syftar till att förklara AI-systemens resonemang och beslutsfattande för mänskliga användare av systemen. I en militär kontext är förklarbarhet hos AI-system nödvändig för att säkerställa att: - den militära slutanvändaren har en lämplig mental modell av hur systemet fungerar, - specialister kan skaffa insikt och extrahera kunskap från AI-systemens, ofta dolda, taktiska och strategiska beteende, - AI-systemen följer internationell och nationell lag, - utvecklare kan identifiera fel innan AI-systemet sätts i produktion. Syftet med denna rapport är att presentera XAI-tekniker som har utvecklats för ökad förklarbarhet i AI-system implementerade med djupinlärning. Modeller som bygger på djupinlärning är "svarta lådor" som har hög kapacitet och kan modellera komplexa processer som är svåra att modellera med alternativa, mer förklarbara, angreppssätt. Även om XAI för djupinlärning är ett relativt nytt område så har flertalet förklarbarhetstekniker föreslagits i den vetenskapliga litteraturen. Idag är dessa tekniker främst utvecklade till stöd för modellutvecklare (d.v.s. för att identifiera fel och avvikelser). Mer forskning krävs för att utvärdera om och hur dessa tekniker också kan stödja skapandet av lämpliga mentala modeller hos slutanvändaren, vid taktikutveckling, samt för att säkerställa att AI-systemen följer lagar och förordningar.