Evaluation of Target Classification Performance of UAV Imagery with RISE Saliency Map Explanations

Måligenkänning av bilder från obemannade flygfarkoster (eng. Unmanned Aerial Vehicle, UAV) blir allt viktigare för militär spaning och underrättelseinhämtning. En lovande teknik för att förbättra måligenkänning av UAV-bilder är djupa neuronnät. Problemet är att djupa neuronnät består ett stort antal parametrar som gör det svårt för operatörer att förstå vilka särdrag i bilden som neuronnätet använder för måligenkänning. Bristen på transparens är en utmaning för militära tillämpningar av måligenkänning med djupa neuronnät eftersom operatörer i slutändan är ansvariga för alla beslut på grund av de stora riskerna med väpnade insatser. Operatörer behöver därför även förklaringar av neuronnätets måligenkänning för att bedöma dess tillförlitlighet. Rapporten beskriver ett experiment där deltagarna genomförde måligenkänning av militära fordon i UAV-bilder tagna på låg höjd. Syftet med experimentet var att utvärdera om stöd av ett djup neuronnät och stöd av särdragsförklaringar (eng. saliency maps), som markerar framträdande särdrag för djupa neuronnäts måligenkänning, förbättrar måligenkänningen. Särdragsförklaringarna skapades med metoden Randomized Input Sampling for Explanation (RISE). Deltagarna genomförde måligenkänningen under tre förutsättningar: utan stöd av måligenkänningar från ett djupt neuronnät, med stöd av måligenkänningar från ett djupt neuronnät och med stöd av RISE särdragsförklaringar av det djupa neuronnätets måligenkänningar. Resultaten visar att tvärtemot förväntningarna så minskar deltagarnas förmåga att korrekt känna igen mål med stöd av måligenkänningar från ett djupt neuronnät och den minskar ytterligare med stöd av RISE särdragsförklaringar. Försämringen av deltagarnas måligenkänning beror sannolikt på en kombination av två orsaker: förlitan till automatiserade beslutsstöd och svårighet att bedöma neuronnätets tillförlitlighet. Resultaten visar att deltagarna har för låg förlitan till korrekta klassificeringar från neuronnätet och för hög förlitan till inkorrekta klassificeringar från neuronnätet. Slutsatsen från experimentet är att det inte är trivialt att presentera måligenkänningar från ett djupt neuronnät och förklaringar av neuronnätets måligenkänningar som faktiskt förbättrar operatörers måligenkänning. Ytterligare experiment behövs av hur information från neuronnätets måligenkänning ska presenteras och om andra lovande XAI-metoder förbättrar operatörers måligenkänning.