Natural Language Processing using Deep Neural Networks

Författare:

  • Maja Karasalo
  • Fredrik Johansson
  • Magnus Rosell
  • Andreas Horndahl
  • Lukas Lundmark
  • Hanna Lilja
  • Ulrika Wickenberg Bolin
  • Harald Stiff

Publiceringsdatum: 2020-05-08

Rapportnummer: FOI-R--4948--SE

Sidor: 46

Skriven på: Engelska

Forskningsområde:

  • Ledningsteknologi

Nyckelord:

  • NLP
  • djupinlärning
  • språkmodeller
  • Transformers

Sammanfattning

De senaste åren har forskningsfältet språkteknologi (NLP) gjort stora framsteg som har lett till kraftigt förbättrade möjligheter att få goda resultat på olika tillämpningar, alltifrån maskinöversättning och sentimentanalys till att generera texter och textsammanfattningar. Dessa framsteg har främst gjorts möjliga genom införandet av nya djupinlärningsbaserade neuronnätsarkitekturer som kan tränas på massiva mängder ostrukturerad textdata. Framstegen inom NLP medför en rad konsekvenser för samhället i allmänhet, och särskilt för områdena försvar och säkerhet. Syftet med denna rapport är att ge en bild av den snabba utvecklingen inom NLP, vad tekniken kan användas till, samt implikationer idag och för framtiden. Rapporten tillhandahåller en översikt över den senaste tekniken från litteraturen, tillsammans med demonstrationer av NLP-metoder på tillämpade exempel inom textgenerering och textanalys. Exemplen visar att för många NLP-uppgifter kan imponerande resultat erhållas genom att tillämpa öppet tillgängliga metoder och algoritmer. För känsliga aktiviteter, eller i domäner där tillgången på data är knapp, kommer dock kapaciteten att utveckla och underhålla egen NLP-programvara att bli alltmer kritisk. En storskalig introduktion av dessa tekniker inom försvars- och säkerhetsområdet förutsätter resurser inom datainsamling, AI-kompetens och beräkningskraft.