Validering av CyberTest Framtida Soldater. Testversion CTFS 2019
Publiceringsdatum: 2020-06-29
Rapportnummer: FOI-R--4977--SE
Sidor: 38
Skriven på: Svenska
Forskningsområde:
- Ledningsteknologi
Nyckelord:
- Cybertest
- validering
- reliabilitet
- rättvisa vid testning
- CTFS2019
- CTFS
- cyber
- cyberförsvar
Sammanfattning
För att förstärka det svenska cyberförsvaret startas 2020 en utbildning för värnpliktiga soldater som bland annat innehåller akademiska kurser inom datalogi och träning inom IT-säkerhetsverksamhet. I slutet av 2019 genomfördes Inskrivningsprovet. Utifrån en helhetsbedömning där Inskrivningsprovet var en del valdes 70 personer ut till en utökad mönstring utifrån som genomfördes under det första kvartalet 2020. I samband med den utökade mönstringen användes det teoretiska provet CyberTest Framtida Soldater 2019 (CTFS 2019) som utvecklats av Totalförsvarets forskningsinstitut. Utvärderingen av CTFS 2019 kommer ske under de fyra faserna Urval, Utbildning, Praktik och Tjänstgöring. Denna rapport omfattar arbetet att utvärdera CTFS 2019 under fasen Urval och är uppbyggd av ett dataunderlag bestående av de 62 personer som i slutändan deltog i den utökade mönstringen. Omfattande statistiska analyser genomfördes med fokus på att säkerställa testets validitet. Item-analys genomfördes för att säkerställa att alla frågor och svarsalternativ formulerats på ett bra sätt. Resultaten från första fasen av utvärderingen är mycket positiva och visar att det endast behövs mindre korrigeringar på enstaka frågor och svarsalternativ. Vidare analyserades de konstrukt som förmåge- och kunskapstests deltest baserades på. Dessa analyser visar bland annat att kunskapstestet och förmågetestet mäter olika egenskaper hos deltagarna. Utöver det utvärderades testets reliabilitet och rättvisa vid testning för att säkerställa att deltagare behandlades på ett likvärdigt sätt vid den utökade mönstringen. Resultaten från utvärderingarna visar att CTFS 2019 fungerat som avsett. I det fortsatta arbetet avser FOI att utvärdera hur väl testet är kapabelt att predicera prestation under utbildningen.