Meny

Totalförsvarets forskningsinstitut

5 oktober

XAI ska förklara artificiell intelligens

Artificiell intelligens (AI) ska leda till att datorer och maskiner kan arbeta självständigt. Men hur ”tänker” AI-maskinerna? Hur kan människan samverka med dem? Och vad kan vi lära av dem? Forskningsområdet som syftar till att klarlägga detta heter XAI – förklarbar artificiell intelligens.

Illustration av en svart låda

När datorn använder algoritmer för att ”programmera sig själv”, blir mjukvaran ofta så komplex att människor inte kan tolka och förstå den. Det går att jämföra den mjukvaran med en ”svart låda”, där man stoppar in information i ena änden och i blindo får ut ett resultat i den andra. Bild: Eevamaria Raudaskoski, @eevagraphics.

I en ”vanlig” mjukvara bestämmer människan vad datorn ska göra. Det innebär att dess logik och funktioner också kan tolkas och förklaras av människor. Men när vi går till AI, framförallt djupinlärning, där datorn använder algoritmer för att ”programmera sig själv”, blir mjukvaran ofta så komplex att människor inte kan tolka och förstå den. FOI-forskaren Linus Luotsinen jämför den mjukvaran med en ”svart låda”, där man stoppar in information i ena änden och i blindo får ut ett resultat i den andra.

– Men vi vill i många fall ha någon form av förklaring till varför ett beslut tas av maskinerna. Om man förstår hur datorn tänker kan vi människor dra lärdomar från datorns agerande i vissa avseenden, säger han.

Spelare studerar datorer

De lärdomar som går att dra har visat sig ytterst värdefulla i brädspel som exempelvis schack eller go. Eftersom datorn ofta står som vinnare i mötet med en människa, lägger de bästa spelarna numera ner mer tid på att förstå hur datorn tänker i många steg framåt, än att studera andra spelare.

Men analyser av hur datorn tänker blir förstås ännu viktigare i en militär kontext, där maskinernas beslut och rekommendationer kan påverka människoliv på djupet. Det gäller oavsett om AI används på taktisk nivå i övervakningsdrönare eller för beslutsunderlag till militära ledare eller politiker.

Därför har FOI startat forskning inom XAI som syftar till att skapa militära AI-system som:

  1. Stödjer den militära slutanvändaren i att skapa förståelse för hur systemet fungerar så att det kan användas på ett säkert och effektivt sätt.
  2. Stödjer specialister i arbetet att skaffa insikt och extrahera kunskap från AI-systemens, ofta dolda, taktiska och strategiska beteende.
  3. Följer krigets lagar och andra internationella och nationella lagar.
  4. Stödjer utvecklare så att fel kan identifieras och åtgärdas innan systemet sätts i drift.

En viktig del i forskningen är att skapa ett ramverk för att utvärdera hur XAI bör utformas för militära AI-tillämpningar.

– Målet är att skapa en miljö där vi kan utvärdera, utveckla och anpassa de XAI-tekniker som i ökad utsträckning föreslås i forskningslitteraturen. Detta för att bygga kompetens inom FOI och för att på sikt kunna stödja Försvarsmakten med rekommendationer och krav vid anskaffning och utveckling av AI-system, säger Linus Luotsinen.

Kan vi lita på AI?

Här väntar också en stor avvägningsfråga för morgondagens beslutsfattare. XAI bedöms i dag att vara ett viktigt forskningsområde för att skapa förståelse för hur maskinerna ”tänker” och därmed påverka i vilken utsträckning AI kan användas i militära tillämpningar. Men det kan mycket väl bli så att människan aldrig fullt ut kommer att förstå hur ett AI-system fungerar, enigt Linus Luotsinen.

– Inte ens skaparna av dagens AI-systemen kan förklara hur de fungerar. Att vi trots det använder AI-system är för att de kan lösa problem som vi inte klarar att lösa med traditionell programmering. Den stora utmaningen för våra politiker och militära beslutsfattare är att bedöma vilka typer av militära AI-system som ska vara tillåtna. För om ett militärt vapensystem med AI-stöd visar sig fungera många gånger bättre, gör färre misstag och räddar liv jämfört med motsvarade system utan AI, ska det få tas i drift även om vi inte förstår hur det fungerar?

XAI står för Explainable Artificial Intelligence. Det är ett interdisciplinärt forskningsområde där AI möter interaktionen mellan människa och dator, men som också är en del av samhällsvetenskapen.

Maskininlärning är en AI-teknik där mjukvarans logik är skapad av algoritmer i datorer istället för av mänskliga programmerare.

Djupinlärning är den maskininlärningsteknik som vi till vardags lite slarvigt kallar för AI. Djupinlärning har bland annat bidragit till genombrott inom bild- och textanalys vilket i sin tur har bidragit till den snabba utvecklingen av exempelvis självkörande bilar, kameraövervakningssystem och rekommendationssystem.

Dela sidan på sociala medier