Att styra med gester - Kunskapsöversikt och utvärdering av gester som gränssnitt

Författare:

  • Johan O Karlsson
  • Jonas Hermelin
  • Britta Levin
  • Susanna Nilsson

Publiceringsdatum: 2023-01-11

Rapportnummer: FOI-R--5381--SE

Sidor: 39

Skriven på: Svenska

Forskningsområde:

  • Ledningsteknologi

Nyckelord:

  • gränssnitt
  • gester
  • gestbaserad interaktion
  • obemannad farkost
  • UGV
  • maskininlärning
  • motion capture handske
  • human autonomy teaming

Sammanfattning

Försvarsmakten använder sedan länge gester för att kommunicera order och avsikt på såväl kort som långt håll, både inom och mellan grupper, eller team. Gestbaserad kommunikation har länge varit förbehållen kommunikation mellan människor, men detta kommer sannolikt att förändras när även autonoma system som obemannade farkoster, exempelvis UGV:er (eng. Unmanned Ground Vehicle) inkluderas i teamen. Målsättningen för arbetet i rapporten är att skapa grunden för ett proof of concept för geststyrning av en UGV med hjälp av kommersiellt tillgänglig teknik. Rapporten redovisar dels en teoretisk studie med fokus på gester som kommunikations- och interaktionsverktyg, dels resultatet av en inledande teknisk utvärdering, i form av två delstudier, av en motion capturehandske avsedd att användas för interaktion med en UGV. Resultatet visar att det går att nyttja motion capture-handskar för interaktion med en UGV, men att det krävs fortsatt arbete för att komma fram till vilka gester som lämpar sig för olika scenarier. Det krävs även fortsatt arbete för att justera maskininlärningsmodellen som ligger till grund för registrering och tolkning av gesterna.