Detection of Fabricated Media

Genombrott inom artificiell intelligens och generativ modellering har lett till helt nya möjligheter att fabricera, dvs. skapa och manipulera, digital media såsom bilder, videor och texter automatiskt. Denna typ av tekniker kan användas för en rad olika tillämpningar, däribland inom filmindustrin eller för att förse människor med nedsatt talförmåga med sin ursprungliga röst. Generativa modeller kan dock även användas i tvivelaktiga syften, innefattande såväl utpressning och bedrägerier som påverkansoperationer utförda av statsaktörer. Detta gör detektion av fabricerad digital media till ett viktigt forskningsfält. I den här rapporten presenteras en litteraturöversikt om detektionsmetoder för områdena text, bild, tal och video. Vidare diskuteras dessa metoders robusthet mot brus och olika former av komprimering, deras förmåga att generalisera till andra datadistributioner än den de tränats på, samt hur förklarbara metodernas prediktioner är och hur de kan förväntas fungera under verkliga förhållanden. Den sammantagna bedömningen är att existerande detektionsmetoder klarar av att detektera data från många av de förtränade generativa modeller som finns tillgängliga för användning av vem som helst, men att angripare som på olika sätt gör förändringar av dessa generativa modeller eller den data de genererar löper en högst begränsad upptäcktsrisk i dagsläget.