Undersöka potentialen i nya tekniker

Att styra en obemannad farkost med bara en gest eller använda textbaserad AI-assistent vid taktisk planering. Möjligheterna med framtida gränssnitt är många. Forskare vid FOI kartlägger och testar vad som kan vara till nytta för Försvarsmakten.

Gränssnitten mellan människa och teknik utvecklas ständigt, likaså sätten att interagera. Forskargruppen i projektet Framtida gränssnitt följer utvecklingen och testar nya tekniker i labbmiljö för att kunna visa upp exempel.

– Det händer mycket på området och utvecklingen går fort. Målet för oss är att undersöka potentialen och se vad som kan fungera för militära tillämpningar, säger Britta Levin, som är försteforskare vid FOI inom området människa och teknik.

Projektet har gjort en explorativ studie av marknaden och använder kommersiellt tillgängliga versioner av olika gränssnitt. De väljer ut och anpassar intressanta tekniker för att visa på möjligheterna. Hittills har de fokuserat på tre områden; gestbaserad interaktion, interaktion i en utökad verklighet (XR) och generativ AI och hur de kan kombineras och integreras på olika sätt.

Kroppsrörelser och blickar

Ett exempel är en handske som kan läsa av och tolka gester, vilket gör tyst kommunikation utan siktlinje möjlig. En person du inte ser gör en gest, som du ser på en display i ett headset eller i ett par glasögon via en applikation. Ett annat exempel är att en användares kroppsrörelser eller blickriktning kan användas för att automatiskt situationsanpassa en display.

– Vi tittar på möjligheter med dagens teknik för att få kunskaper och insikter i hur framtida gränssnitt bör utformas. Målbilden är att ett gränssnitt ska kunna läsas av en användare och det blir möjligt att ge ett stöd när det behövs. Och givetvis även att interaktionen med tekniken ska vara intuitiv och inte ha en för hög tröskel för användning, säger Susanna Nilsson som är projektledare för Framtida gränssnitt och har en bakgrund i forskning inom bland annat extended reality, XR.

Befintliga sensorer och mätpunkter

Forskarna i projektet är från olika delar av FOI och bidrar med kompetens inom både människa och teknik, sensorer och dataanalys, algoritmer, nätverk och hårdvara. Att jobba brett menar Britta Levin är en styrka.

– Även om det inte är färdiga produkter vi använder visar de ändå upp funktionalitet och vad de kan användas till, säger Susanna Nilsson.

Både Britta Levin och Susanna Nilsson menar att det finns stora möjligheter med framtida gränssnitt för militär tillämpning. Och att det dessutom inom Försvarsmakten i dag redan finns en rad sensorer och mätpunkter som samlar in komplex information och går att väga samman och använda.

– Sedan är förutsättningarna för användning av ny teknik väldigt varierande. En soldat som gör framryckning i fält har inte samma förutsättningar som en pilot eller vagnchef som är omgiven av displayer, säger Susanna Nilsson.

Kortare sträcka till nya labbsystem

Britta Levin har verkat inom området människa och teknik sedan 1991 och säger att framtagning av system för XR-området tidigare var krävande eftersom det saknades bra verktyg.

– I dag bildas ofta en community runt en ny produkt med många utvecklare som delar med sig av sin kod, vilket innebär att vi på FOI inte behöver börja från scratch varje gång. Det gör att vi snabbare kan få till labbsystem som går att demonstrera, säger Britta Levin.

Projektet Framtida gränssnitt startade 2021 och pågår i två år till. Arbetet finns redovisat i flera rapporter. Nu fortsätter projektet med nya studier, konceptutveckling och ett mer uttalat fokus på AI-relaterade aspekter av gränssnitt.