Large Language Models in Defence: Challenges and Opportunities

Stora språkmodeller (LLM, eng. large language model) hyllas som ett genombrott inom artificiell intelligens. Med sin förmåga att bearbeta och producera texter på en nivå som vanligtvis förknippas med mänsklig kognition har de enorm potential för tillämpningar inom alla sektorer, inklusive försvaret. Samtidigt kvarstår många öppna frågor om den nya teknikens robusthet och tillförlitlighet, och organisationer som vill använda LLM står inför betydande tekniska utmaningar. Denna rapport syftar till att visa hur LLM:er kan tränas för att anpassa dem till en svensk försvarsdomän. Dessutom ska det utvärderas om ett sådant projekt kan vara värt de nödvändiga investeringarna. För detta ändamål skapas ett dataset baserat på svenska och engelska texter från en försvarsdomän. Sedan tränas (finjusteras, eng. fine-tuning) två moderna LLM:er på datamängden. Modeller utvärderas både kvalitativt och kvantitativt. Resultaten visar att LLM:erna drar nytta av träningen i och med att de uppvisar förbättrad prestanda på textuppgifter som rör svenskt försvar. Den detaljerade beskrivningen av träningsprocessen kan också fungera som en guide för läsare som vill driva ett liknande projekt. Utmaningarna i träningen är till stor del relaterade till resursbegränsningar, såsom hårdvara, data och tid - vilket kan göra dem svåra att övervinna, men de är åtminstone relativt väl förstådda. Detsamma kan inte sägas om utvärderingen av LLM:er. Modellerna har överraskande förmågor, men de kan också misslyckas på överraskande sätt. Det finns idag ingen etablerad metod för att testa LLM:er grundligt och objektivt. Utvärderingen i rapporten testar därför ett flertal olika aspekter av LLM:er, men den kan bara skrapa på ytan. Stora språkmodeller har nått ett stadium där försvaret kan och bör börja anpassa och testa teknologin, och rapporten kan hjälpa till med detta genom att ge insikter i fallgropar, lösningar och lärdomar. Samtidigt rekommenderas ett övervägande förhållningssätt till LLM:er,eftersom utvärderingen av sådana modeller fortfarande måste ses som en öppen fråga.