En förenklad bild av verkligheten men frågan är hur trovärdig den är

Validering, verifiering och ackreditering är mått på simuleringsmodellens värde

Av Ulla Bergsten, Tommy André, Maj Britt Hansson och Lena Sporre

Hur vet vi att de modeller som vi utvecklar och utnyttjar verkligen fångar de egenskaper, som vi är ute efter att beskriva? Hur vet vi att modellerna är användbara för sitt syfte? Det ökade utnyttjandet av simuleringsmodeller kräver tillfredsställande svar på dessa frågor. Inkorrekta modeller eller felaktig användning av modellerna kan leda till felaktig inlärning, beslut baserade på oriktiga resultat och systemfel med katastrofala följder.

Detta är validering och verifiering
En simuleringsmodells trovärdighet mäts genom verifiering och validering, VoV. En simuleringsmodells formella godkännande för att användas i ett speciellt syfte kallas ackreditering,A. Hela processen benämns VVoA.

Vid verifieringen mäts modellens överensstämmelse med beställarens krav och utvecklarens modellbeskrivning. Verifiering görs alltså mot ett dokument. Validering däremot mäter överensstämmelsen mellan modellen och verkligheten.

Man kan säga att valideringen frågar om vi bygger rätt modell, dvs har vi ställt rätt krav, medan verifieringen frågar om modellen byggs på rätt sätt med hänsyn till kraven.

Som exempel kan nämnas att ESAs misslyckade uppskjutning av raketen Arianne5 orsakades av att programkoden inte var ordentligt verifierad. Gammal programkod låg kvar i programmet och orsakade felet.

Johannes Kepler arbetade i flera år med en modell som innebar att planeterna rör sig i cirkulära banor kring solen. Validering av modellen mot empiriska data visade dock betydande avvikelser. Modellen var felaktig. Då han istället antog att banorna var ellipsformade fick han bättre överensstämmelse med verkligheten.

Metodproblemen är bla hur vi ska mäta graden av överensstämmelse med dokument och verklighet för olika modeller. Mätproblemen är naturligtvis olika mellan modeller som behandlar tekniska system inför ett materielköp jämfört med modeller som behandlar hela krigsorganisationen för att ge underlag för den långsiktiga utvecklingen. En närbesläktad fråga är hur ”nära” verkligheten respektive kraven en modell behöver vara för att bli godkänd och därmed bli ackrediterad. Erfarenheter av verifiering och validering finns idag främst för tekniska modeller medan erfarenheterna på högre nivåer är begränsade. Värderingsmodellen Silvia är ett exempel på en modell där erfarenheter finns på högre nivåer än den tekniska.

Så här gör man...
Då beslut fattas att modellering och simulering, MoS ska användas startar en MoS-process. De viktigaste faserna är analys, kravformulering, framtagande av en konceptuell modell, design och implementation.

Till varje MoS-fas finns en motsvarande VoV-fas. Vid användningen av modellen ska denna dessutom förses med korrekta indata, även i denna fas av arbetet finns en motsvarande VoV-fas.

VoV är alltså inte ett steg i utvecklingen av en simuleringsmodell, utan en process som pågår under modellens hela livscykel. Så länge modellen används erhålls nya erfarenheter och då modellen vidareutvecklas är VoV-arbetet lika viktigt som vid nyutveckling.

Problemet - och den stora utmaningen - består i att välja ut kritiska funktioner som ska belysas samt välja VoV-teknik som är lämpad för ändamålet.

För att en modell ska ackrediteras för en viss tillämpning krävs att krav för acceptans uppställs, värderas och accepteras. Detta är ackrediteringsprocessen.

Därför behövs VVoA
För att upprätta eller förbättra säkerheten i simuleringsresultaten är det viktigt med ett väl genomtänkt program för VoV-aktiviteter som är skräddarsydda för den aktuella tillämpningen.

En felaktig modell kan ge resultat som är rent nonsens, eller ännu värre, den kan generera dolda fel som inte upptäcks, och som kan få förödande konsekvenser. En hög säkerhet i modellerings- och simuleringsprocessen gör att risken vid beslutsfattande baserat på simuleringsresultat minskar. VoV ökar tilltron till modeller och simuleringar genom att tillhandahålla objektiva belägg för trovärdigheten.

VVoA-aktiviteter som utförs av flera användare av en simuleringsmodell kommer med tiden att bidra med erfarenheter som stöder modellens användbarhet inom en stor mängd närliggande applikationer. Olika användare kommer naturligtvis att betona olika aspekter av VoV för att stödja sin tilllämpning. När VoV-området för en specifik simuleringsmodell växer - och därigenom även erfarenheterna som stöder dess trovärdighet - är det troligt att modellens användningsområde och VoV-område utökas än mer på bekostnad av andra modeller med liknande funktion, men som inte klarat VoV-kraven. På detta sätt blir VVoA en viktig komponent i en naturlig urvalsprocess för simuleringsmodeller. Detta ska dock ej tolkas så att man bör eftersträva för breda användningsområden för en och samma simuleringsmodell.

Det blir oftast dyrare att låta bli
Kostnaderna för VVoA-processen beror på tillämpningsområdet, på vilken modellriktighet som krävs och på komplexiteten av det modellerade systemet. Det har sagts att frågan är inte vad VVoA kostar utan snarare vad kostar det att avstå. Vad är kostnaden, i termer av tid och pengar, att fatta inkorrekta beslut baserade på felaktiga resultat från simuleringar? Dessa dolda kostnader är ofta vaga, svåra att förutsäga och mäta och har därför en tendens att ignoreras.

Om VoV-resultaten dokumenteras på ett standardiserat sätt och om dessa resultat görs lättillgängliga för användare kommer kostnaden för VoV som ska stödja ny ackreditering att minska. Det nya ackrediteringsarbetet kan bygga på tidigare användares VoV-resultat och dubbelarbete kan undvikas.

Utvecklingen inom VVoA-området
Området verifiering och validering har de senaste åren rönt ökad uppmärksamhet såväl inom som utom landet, inte minst inom det amerikanska försvaret som är en av huvudanvändarna av modellering och simulering. Ansträngningarna inom det amerikanska försvaret har hittills handlat mycket om att utveckla policy och administration. Alla myndigheter under amerikanska försvarsdepartementet med ansvar för MoS måste ha en VVoA policy.

Även inom det svenska försvaret har intresset för modellering och simulering och därmed också VVoA starkt ökat. I försvarets MoS-strategi har VVoA en central plats.

Men utvecklingen av VVoA-teknologin har inte hunnit lika långt. Inom detta område finns stora utvecklingsmöjligheter där FOA kan bidra med värdefull kunskap och stor erfarenhet av att utveckla och använda simuleringsmodeller.

FOA har på uppdrag av försvarsmakten startat ett projekt för att belysa detta område och ge förslag till inriktning av forskningsverksamheten inom området.

Ulla Bergsten, Tommy André, Maj Britt Hansson och Lena Sporre
är forskare inom området modellering och simulering vid FOA.

Från FOA-tidningen nr 1-1998 - www.foi.se/framsyn