Hoe realistisch moet een serious game zijn?

Dit artikel beschrijft een onderzoek naar de eisen die aan het realisme, de “fidelity”, van serious games gesteld moeten worden. Onderscheid wordt gemaakt tussen fysieke en functionele fidelity. Verschillende soorten taken, psychomotorisch, functioneel en cognitief, stellen verschillende eisen aan de fidelity van de game. Een stappenplan voor een taakanalyse wordt beschreven. Tot slot beschrijf ik een onderzoek naar het optimale fysieke fidelity niveau van emoties in virtuele mensen.

Inleiding

“We moeten er naar streven de game zo realistisch mogelijk te maken”. Zomaar een quote die we bij ieder project wel weer te horen krijgen van de opdrachtgever. In ons geval is dit vaak Defensie. Na een diepe zucht is dan vaak onze eerste wedervraag: “en hoeveel geld heb je dan ter beschikking?” Een heikel punt, want realisme is duur. Heel duur. Denk maar eens aan een virtuele dome, waarin je omgeven wordt door beeldschermen en real life kan interacteren met virtuele mensen. Ik hoef het rekensommetje niet te maken om voor te stellen dat dit miljoenen kost. Dit is praktisch bijna altijd onhaalbaar, ook voor een organisatie als Defensie. Toch is dit vaak waar mensen van dromen: want hoe realistischer hoe beter. Toch? Het antwoord is nee, dit is niet het geval.

Realisme, in het Engels ook wel ‘fidelity’ genoemd, heeft een bijzondere invloed op de effectiviteit ﴾transfer﴿ van serious games. Een te laag fidelity niveau kan leiden tot een negatief leereffect, een zogeheten ‘negatieve transfer’. Maar dit betekent niet dat meer realisme altijd beter is. Onderzoek laat namelijk zien dat meer fidelity niet altijd zorgt voor betere transfer ﴾zie Feinstein & Cannon, 2002﴿ en dat het soms zelfs een averechts effect heeft ﴾Mania, Wooldridge, Coxon & Robinson, 2006; Smode, 1971 in Hays & Singer, 1989﴿. Stel je maar eens een militair voor die alleen hoge gebouwen en bergen gebruikt als referentiepunten voor navigatie. Voor hem is het dan niet nodig om bijvoorbeeld bewegende blaadjes op bomen of de textuur van bakstenen op huizen te kunnen onderscheiden. Sterker nog, het zou hem kunnen afleiden zolang hij nog in een leerproces zit. Een ander voorbeeld is een business game waar, zeker in het begin van het leerproces, het vaak beter is de invloed van bepaalde variabelen weg te laten omdat het te complex en ingewikkeld wordt. Kortom, streven naar ‘zo realistisch mogelijk’ lijkt dus niet altijd de beste keuze, al is het maar vanwege het kostenperspectief. Wat is dan wel de beste keuze? Het gevoel van ‘hoe realistischer hoe beter’ komt immers niet zomaar ergens vandaan. Een zekere mate van realisme is nodig om de link tussen wat je leert in de game en de echte wereld te kunnen maken. Iedere onderwijskundige of docent zal het belang van een authentieke leeromgeving of taak beamen. Ook speelt acceptatie en motivatie een rol. Studenten zullen zeker de vergelijking maken met high‐end commerciële games en dan kunnen de ﴾minder realistische﴿ militaire games een teleurstelling blijken. Als dit leidt tot lagere motivatie zal dit een lagere transfer tot gevolg kunnen hebben ﴾Lampton, Bliss, & Morris, 2002﴿.

Er lijkt een zeker optimum te zijn in de balans fidelity, kosten en transfer: fidelity moet niet te hoog zijn en niet te laag. Om het optimale fidelity niveau te vinden, is het zaak te zoeken naar wat we noemen de ‘relevante realiteit’. Omdat de relevante realiteit voor elk leerdoel en situatie verschilt, is het helaas niet mogelijk hét optimale fidelity niveau voor alle serious games te beschrijven. We kunnen Defensie dus geen kant‐en‐klaar antwoord geven hoeveel realisme ﴾en dus ook budget﴿ er daadwerkelijk nodig is, maar we kunnen wel aan de hand van een aantal richtlijnen een inschatting maken. Daarnaast krijgen we zo nu en dan de mogelijkheid empirisch onderzoek te doen, zodat we echt een valide antwoord kunnen geven. Het doel van dit artikel is het delen van deze kennis. Allereerst zal ik ingaan op de algemene richtlijnen die gebruikt kunnen worden als basis voor het serious game ontwerp. Vervolgens beschrijf ik de stappen die ondernomen kunnen worden om een meer concreet antwoord te krijgen op wat de relevante realiteit is voor een specifieke situatie.

Algemene fidelity richtlijnen

Om iets te kunnen zeggen over fidelity richtlijnen is het eerst nodig beter te begrijpen wat fidelity is. Of eigenlijk beter, waarop het invloed heeft. Fidelity heeft namelijk niet alleen invloed om de uiterlijke kenmerken van de game ﴾”ziet het er realistisch uit?”﴿ maar het kan ook invloed hebben op bijvoorbeeld het onderliggende model ﴾vooral interessant voor een simulatiegame﴿, beweging en geluid. Er zijn dus meerdere dimensies van fidelity. De meest gebruikte categorisatie die in de literatuur gebruikt wordt, maakt een onderscheid in fysieke fidelity en functionele fidelity. Fysieke fidelity gaat over de mate waarin een game op de echte omgeving lijkt in termen van visuele display ﴾’zien’﴿, controls ﴾’voelen’﴿ en audio ﴾’horen’﴿. Functionele fidelity gaat over de mate waarin een game zich gedraagt als de echte omgeving als reactie op acties van de speler ﴾Alexander, Brunyé, Sidman & Weil, 2005﴿. Dit verschil is belangrijk te benoemen, omdat de twee typen fidelity verschillende uitwerkingen hebben in de fidelity richtlijnen.

“Fidelity heeft niet alleen invloed op de uiterlijke kenmerken maar ook bijvoorbeeld op het onderliggende model”

In de loop der jaren zijn onderzoekers het erover eens geworden dat de relatie tussen fidelity en transfer erg complex is. De richtlijnen blijven dus op een zeker abstract niveau hangen, maar bieden nuttige inzichten die te maken hebben met 1﴿ de type taak, 2﴿ de fase in het leerproces en 3﴿ de invloed van motivatie.

Type taak

Verschillende taken vragen om verschillende fidelity niveaus ﴾Hays & Singer, 1989﴿. Een goed voorbeeld om dit te illustreren is het vergelijken van het richten en schieten van een wapen met het beslisproces voorafgaand aan het schieten ﴾moet ik schieten, ja of nee?﴿. Je kunt je voorstellen dat bij het leren schieten het gebruik van het zelfde wapen als ‘in het echt’ van wezenlijk belang is. Het gewicht, de bedieningselementen, de terugslag, en in het bijzonder de ballistiek ﴾kogelbaan﴿ hebben allemaal invloed op het juist richten en schieten. Dit in tegenstelling tot het beslisproces, waar het richten en schieten zelf in feite niks toevoegt aan de taak en het dus weggegooid geld is om het wapen zo goed mogelijk te simuleren.

Er zijn verscheidene onderzoeken uitgevoerd om voor verschillende typen taken het optimale niveau van fidelity te bepalen. Een veelgebruikt onderscheid in type taken is die van:

• psychomotorische taken, zoals het richten en schieten of het besturen van een auto;
• procedurele taken, zoals schietprocedures ﴾eerst twee waarschuwingsschoten, dan pas schieten﴿ of het opmeten van bloeddruk, en;
• cognitieve taken, zoals het beslisproces voorafgaand aan het schieten of het toepassen van natuurkundige principes.

Voor elk type taak is een optimale ‘mix’ beschreven van de twee fidelity dimensies ﴾fysiek en functioneel﴿. En hoewel de meeste onderzoeken zijn uitgevoerd in de simulatiewereld, gelden veel conclusies ook voor serious games.

Over het algemeen is men het er over eens dat voor psychomotorische taken zowel fysieke als functionele fidelity hoog moet zijn ﴾Andrews, Carroll & Bell, 1996﴿. Neem het voorbeeld van het leren schieten met een specifiek type wapen waarbij geldt: zowel de ‘feel’ van het wapen inclusief terugslag alsook de ballistiek ﴾kogelbaan﴿ moet volledig realistisch zijn. Als er afwijkingen zijn, is er een significant risico van ‘negatieve transfer’. Feel en ballistiek moeten dus 100% zijn en een gesimuleerd wapen met een lager realisme is in het beste geval weggegooid geld. Als dit het type taak is dat je wilt trainen is het dus aan te raden niet zuinig te zijn met het budget.

Over het algemeen genomen lijkt volledige fidelity daarentegen niet nodig voor procedurele taken. Een conclusie uit een aantal onderzoeken is dat een gemiddeld fysiek fidelity niveau nodig is en een gemiddeld tot hoog functioneel fidelity niveau ﴾van der Hulst, de Hoog & Wielemaker, 1999﴿. Een game die zich richt op procedurele taken moet dusdanig realistisch zijn dat in ieder geval de interactie logisch is in de zin dat alle benodigde functies kunnen worden uitgevoerd. Bij bijvoorbeeld het aanleren van de bovengenoemde schietprocedure is het dan wel noodzakelijk dat men kan schieten, maar behoeft bijvoorbeeld niet de juiste ballistiek en terugslag gemodelleerd te zijn.

Voor cognitieve taken is er een duidelijke aanwijzing dat functionele fidelity hoger moet zijn dan fysieke fidelity ﴾zie bijvoorbeeld Alexander et al., 2005; Andrews et al., 1996; Hays & Singer, 1989﴿. Neem bijvoorbeeld games waar natuurkundige principes geleerd worden of business games. In dit soort games is het soms moeilijk om fysieke ‘objecten’ uit de wereld te representeren, en vaak ook onnodig. Een voorbeeld is de game Go4it ﴾zie Figuur 1﴿waarmee de samenwerking tussen militairen, hulporganisaties en civiele overheden op tactisch en strategisch niveau wordt getraind. Aanvankelijk kon men op een landkaart van het gebied militaire acties ﴾bufferzones, gedemilitariseerde zones﴿ en wederopbouw acties plannen ﴾het bouwen van vluchtelingenkampen, scholen en klinieken﴿. Echter, het bleek dat men daardoor niet loskwam van het sterk operationeel denken over de inrichting van specifieke locaties. Om de deelnemers echt op tactisch en strategisch niveau te laten acteren bleek het nodig om de kaart met specifieke locaties helemaal weg te laten. Deelnemers spelen nu slechts meer abstracte ‘interventies’ zoals ‘het verschaffen van fondsen voor de opbouw van een lokale politieorganisatie’, of ‘het beveiligen van transportroutes’. Waar die transportroutes dan liggen is op dat moment niet relevant.

Het fysieke fidelity niveau is in dit geval dus vrij laag. De game moet echter wel realistisch reageren op acties van de speler; de feedback van de game moet ‘kloppen’ om er iets van te leren. Het effect van bijvoorbeeld transportroutes in het eerdere voorbeeld Go4it zal zijn dat dat een groter aandeel van de hulpgoederen de vluchtelingenkampen bereiken en dat in algemene zin de situatie in de kampen verbetert. Het principe van lage fysieke fidelity geldt in iets mindere mate voor games waar de fysieke omgeving wel een belangrijke rol speelt. Infanterie commandanten zijn bij een verkenning bijvoorbeeld constant de omgeving aan het afspeuren op zoek naar aanwijzingen voor vijandelijke aanwezigheid. In het leerproces gaat het dan om het herkennen van bepaalde patronen en op basis daarvan het maken van de juiste beslissingen. Het is dan zaak de kritische elementen ﴾cues﴿ waar de commandant op let wel realistisch te representeren, terwijl voor andere elementen in de omgeving volstaan kan worden met een lager fysiek fidelity niveau. Dit wordt ‘selective fidelity’ genoemd ﴾Andrews et al., 1996﴿. Al met al loont het om bij serious games waarbij een cognitieve taak centraal staat goed na te gaan hoeveel fysieke fidelity je echt nodig hebt. Verderop in het artikel geef ik een aantal stappen weer die ondernomen kunnen worden om dit te bepalen.

Fase in het leerproces

Naast de type taak speelt de fase van het leerproces een rol. Een aantal studies laat zien dat beginners een minder hoog fidelity niveau nodig hebben dan studenten die al meer bekend zijn in het domein en dat een hoog fidelity niveau zelfs contraproductief kan werken als beginners met teveel complexiteit in een keer geconfronteerd worden ﴾bijv. Alessi, 1988 in Noble, 2002 en Martin & Waag, 1978﴿. Dit kan zowel gaan over fysieke fidelity, bijvoorbeeld door aanvankelijk niet alle knoppen op een apparaat te tonen, als functionele fidelity, bijvoorbeeld door een aantal variabelen uit een economisch model weg te laten. Dit inzicht heeft geleid tot het idee van ‘dynamic fidelity’; het fidelity niveau start laag en wordt gedurende het leerproces steeds hoger. Bijvoorbeeld door langzamerhand steeds meer knoppen op een apparaat toe te voegen of een economisch model steeds complexer te maken door meer variabelen van invloed te laten zijn.

Het voorgaande principe is voor de meeste taken geldig. Echter, voor de meer abstracte cognitieve taken, waarvan het leren van natuurkundige principes een goed voorbeeld is, is er nog iets anders aan de hand met betrekking tot fysieke fidelity. Hierbij lijkt het juist zinvol om te starten met een hogere fysieke fidelity, zoals geanimeerde hefbomen, zodat beginners gemakkelijker een mentale representatie van de taak kunnen opbouwen. De meer gevorderde studenten kunnen vervolgens ook prima overweg met een meer abstracte representatie van de taak, zoals symbolen en formules ﴾Korteling, van den Bosch & Emmerik, 1997﴿.

Invloed van motivatie

Lage fidelity van een virtuele omgeving kan ervoor zorgen dat studenten de virtuele omgeving niet serieus nemen omdat ze bijvoorbeeld veel fraaiere entertainment games gewend zijn. Dit kan er toe leiden dat ze minder gemotiveerd zijn, daardoor geen aandacht meer hebben voor details met als gevolg een lage transfer ﴾Lampton et al., 2002﴿. Ook kan lage motivatie ervoor zorgen dat studenten minder tijd besteden aan de serious game waardoor de transfer wederom lager wordt.

“Omdat de studenten het daadwerkelijke ‘gamen’ vervolgens als een training ervaren en niet als entertainment, worden onvolkomenheden van de game sneller geaccepteerd”

Eén van de belangrijkste constructen van motivatie voor serious games met een leerdoel is acceptatie. Dit houdt in dat de serious game als relevante leerervaring wordt herkend ﴾Alexander et al., 2005﴿. Wanneer dit het geval is, nemen studenten een ‘training mindset’ aan, wat een positief effect heeft op transfer. Bij hoge fysieke fidelity zal een student eerder de relevantie van de game inzien ﴾acceptatie﴿ en dus een training mindset aannemen. Echter, er zijn ook andere manieren om acceptatie te bereiken. De setting waarin een serious game gespeeld wordt speelt namelijk ook een rol. Belangrijke vragen zijn: hoe wordt de game geïntroduceerd? Wat voor leeractiviteiten zijn gekoppeld aan het spelen van de game? Hoe geeft de docent feedback? Etc. Bij Defensie creëren we een training mindset door een gamesessie ongeveer hetzelfde aan te pakken als een training buiten. Zo wordt er gestart met een bevel zoals dat normaal ook wordt gegeven, gevolgd door ﴾vaak uitgebreide﴿ opdracht‐ en terreinanalyse en planvorming alvorens de studenten achter de laptops kruipen om de geplande missie uit te voeren. Omdat de studenten het daadwerkelijke ‘gamen’ vervolgens als een training ervaren en niet als entertainment, worden onvolkomenheden van de game sneller geaccepteerd. Kortom, door de setting zo vorm te geven dat deze het feitelijke werkproces dicht benaderd, accepteren studenten een lager fysiek fidelity niveau.

Stappen om tot een optimaal fidelity niveau te komen

Zoals je hebt kunnen lezen blijven de richtlijnen op een zeker abstract niveau hangen. Om het optimale fidelity niveau voor een specifieke situatie te bepalen is er meer nodig. Het liefst empirisch onderzoek, maar als dit praktisch niet haalbaar is, is er een tussenstap die ook meer inzicht kan geven: de taakanalyse.

Taakanalyse

Een taakanalyse is een belangrijk startpunt om de fidelity vereisten te bepalen. Door een taakanalyse te doen kom je erachter wat de kritieke elementen van de taak zijn. Volgend op het principe van ‘selective fidelity’ kun je dan de kritieke elementen met een hoog realistisch gehalte ontwerpen, terwijl andere elementen met een lager fidelity niveau volstaan. Op deze manier creëer je in feite de gewenste relevante realiteit op een kosteneffectieve wijze.

De term taakanalyse kan verschillende interpretaties oproepen die met name met de omvang van de analyse te maken hebben. Hoe uitgebreid nodig is hangt af van de situatie en eigen voorkeur, maar over het algemeen zijn een aantal interviews en/of brainstormsessies met inhoudsdeskundigen en wellicht een documentenanalyse voldoende. In mijn eigen onderzoek ﴾Visschedijk, 2010﴿ heb ik op deze manier taakanalyses uitgevoerd voor twee typen taken, te weten: tactieken en commandovoering voor de infanterie commandant en voor de ‘crowd and riot control’ ﴾CRC = beheersen van menigten﴿ commandant. Het resultaat van deze vorm van taak analyse, ook wel ‘Cognitive Task Analysis’ ﴾Philips, et al., 2001﴿ genoemd, is een lijst met cues. Een simpel voorbeeld van een cue voor een CRC commandant is zonnig weer, dan is de kans dat een menigte agressief wordt namelijk groter dan wanneer het regent. Een ander voorbeeld van een cue is een nerveuze bevolking in een Afghaans dorp waar een infanterie commandant op verkenning is, dit zou namelijk kunnen duiden op de aanwezigheid van Taliban strijders. Het principe van selective fidelity is goed duidelijk te maken aan de hand van dit laatste voorbeeld. In de game moet herkenbaar zijn dat een bevolkingsgroep nerveus is. Dat de haren van deze bevolkingsgroep waaien in de wind voegt echter niks toe aan de besluitvorming, dus hoef je dit ook niet realistisch weer te geven.

Een taakanalyse biedt dus meer inzicht in welke aspecten van de game met een hoog fidelity niveau ontworpen moeten worden, en welke ﴾de rest﴿ met een laag fidelity niveau. Echter, de vragen “hoe hoog is hoog en hoe laag is laag” blijven open. Wat is er voor nodig om een nerveuze bevolking te kunnen herkennen? Daarbij, kun je de niet kritische elementen helemaal weglaten of demotiveert dit dusdanig dat het een negatief effect heeft op de transfer? Dit zijn allemaal vragen die eigenlijk alleen echt beantwoord kunnen worden met empirisch onderzoek.

Empirisch onderzoek

Er is vrij weinig onderzoek gedaan naar fidelity van serious games. Dit komt enerzijds doordat serious gaming een relatief nieuw onderzoeksgebied is. Anderzijds is het lastig en is er vaak geen geld voor beschikbaar. De echte moeilijkheid zit hem in de onderzoeksopzet: wat ga je met elkaar vergelijken? De meest logische gedachte is het vergelijken van games met een lage fidelity met games met een meer gemiddeld en hoge fidelity. Maar hoe definieer je hoog, gemiddeld en laag en waar baseer je die keuzes dan op? Als onderzoeker kan je natuurlijk niet ‘zomaar’ wat kiezen. Hoe dan wel? Een manier om hiermee om te gaan is het onderscheiden van ‘logische’ variabelen. Wat ik hiermee bedoel wordt duidelijk in twee voorbeeldstudies.

Het eerste voorbeeld is een onderzoek van Tack en Colbert ﴾2005﴿. Zij onderzochten de fysieke fidelity van een complex verstedelijkt gebied in het kader van een navigatie taak. Deelnemers, in dit geval militairen, werd gevraagd te navigeren door een grote stad met behulp van hun eigen mentale kaart. Die mentale kaart bouwden ze vooraf op tijdens een training waarbij ze naast een standaard kaart en luchtfoto‘s gebruik konden maken van extra visualisatie tools. Vier virtuele omgevingen met verschillende fysieke fidelity niveaus werden met elkaar vergeleken ﴾zie Figuur 2﴿.

Figuur 2: Virtuele omgevingen met verschillende fysieke fidelity niveaus in het onderzoek van Tack & Colbert ﴾2005﴿. LFVE = Low Fidelity Virtual Environment, MFVE = Medium Fidelity Virtual Environment, MFVE + textures = Medium Fidelity Virtual Environment with textures, and HFVE = High Fidelity Virtual Environment.

De belangrijkste verschillen tussen de condities zijn: grijze blokjes ﴾LFVE﴿, toevoeging van ongeveer juiste vorm en kleur ﴾MFVE﴿, toevoeging van textuur ﴾MFVE+textuur﴿ en uiteindelijk de virtuele omgeving zoals je die ook in de meer commerciële games ziet ﴾HFVE﴿. De vier condities geven in feite de belangrijkste verschillen in technische mogelijkheden weer die duidelijke kostenverschillen met zich meebrengen. Hoewel de HFVE conditie het meest werd gewaardeerd door de deelnemers, bleek dat de MFVE conditie in combinatie met de kaart de meeste effectieve optie was. Meer deelnemers bleven op de juiste route en de deelnemers konden de locatie van missierelevante elementen in de omgeving het beste inschatten. Voor meer details verwijs ik naar het onderzoek ﴾Tack & Colbert, 2005﴿.

Figuur 3: Screenshots van een virtuele man met drie van de zes gebruikte emoties in het onderzoek van Visschedijk et al ﴾2012﴿: neutraal ﴾links﴿, agressief ﴾midden﴿ en paniek ﴾rechts﴿. De screenshots komen uit 5 seconden durende animaties, waarbij verschillende combinaties van lichaamshouding ﴾zie boven﴿, gezichtsuitdrukking ﴾zie uitvergroting onder﴿ en stemgeluid ﴾niet weergegeven﴿ met elkaar zijn vergeleken.

Een tweede voorbeeld is het onderzoek dat ik zelf heb uitgevoerd naar het optimale fysieke fidelity niveau van emoties in virtuele mensen. Denk aan het eerder genoemde voorbeeld van de nerveuze bevolkingsgroep als cue voor de commandant. Uit de taakanalyse bleken een aantal emoties van burgers belangrijke cues te zijn voor commandanten om hun beslissingen op te baseren. Deze zouden dus met een hoog fidelity niveau moeten worden weergegeven. De vraag bleef echter: hoe hoog is hoog? Het weergeven van emoties in virtuele mensen is erg complex en nog steeds erg duur. Het was dus zaak te zoeken naar het minimale niveau waarbij een emotie wordt herkend. Dit heb ik gedaan door combinaties van de drie belangrijkste modaliteiten van emoties: lichaamshouding, gezichtsuitdrukking en stemgeluid, met elkaar te vergelijken aan de hand van korte animaties ﴾zie Figuur 3﴿. Het resultaat was positief ﴾in ieder geval vanuit kostenperspectief﴿: voor een taak als tactische besluitvorming voor infanterie en CRC commandanten bleek het niet nodig alle drie de modaliteiten weer te geven. Lichaamshouding met ofwel gezichtsuitdrukking ofwel stemgeluid bleek voldoende ﴾Visschedijk, Lazonder, van der Hulst, Vink & Leemkuil, 2012﴿.

Uit deze voorbeelden kun je opmaken dat steeds ‘slechts’ voor één fidelity aspect de ontwerpvereisten concreet zijn gemaakt. En deze zijn ook nog eens redelijk taakgebonden. Kortom, het kost ontzettend veel tijd en geld om het optimale fidelity niveau voor een gehele game te bepalen.

Conclusie

In een notendop heb ik kunnen aangeven wat de invloed van fidelity is en wat er zoal bij komt kijken om het optimale fidelity niveau te bepalen voor een serious game. Ik hoop dat ik duidelijk heb kunnen maken dat het de moeite waard is eens na te denken hoeveel realisme je voor de serious game die je ontwerpt echt nodig hebt. De algemene richtlijnen en stappen geven alvast een zet in de goede richting, nu is het zaak zelf aan de slag te gaan en hopelijk de kennis over dit onderwerp uit te bouwen.

Erkenning

Dit werk is mede ondersteund vanuit het GATE programma, dat werd gefinancierd door NWO en ICT Regie.

Referenties

Alexander, A. L., Brunyé, T., Sidman, J. & Weil, S. A. ﴾2005﴿. From gaming to training: A review of studies on fidelity, immersion, presence, and buy‐in and their effects on transfer in PC‐based simulations and games.Woburn, MA: Aptima, Inc.

Andrews, D. H., Carroll, L.A. & Bell, H.H. ﴾1996﴿.The future of selected fidelity in training devices.Educational Technology, nov/dec, 32‐36.

Feinstein, A.H. & Cannon, H.M. ﴾2002﴿. Constructs of simulation evaluation. Simulation & Gaming, 33﴾4﴿, 425‐440.

Hays, R. T. & Singer, M. J. ﴾1989﴿. Simulation fidelity in training system design.New York: Springer‐Verlag.

van der Hulst, A., de Hoog, R., & Wielemaker, J. ﴾1999﴿. BOOT: decision support for the selection of facilities for education and training. The Hague: FEL‐99‐ A188.

Korteling, J.E., van den Bosch, K. & Emmerik, M.L. ﴾1997﴿.Low‐cost simulators 1a: Literature review, analysis of military training, and selection of task domains﴾TNO‐report TM‐97‐A035﴿. Soesterberg: TNO Human Factors Research Institute.

Lampton, D. R., Bliss, J. P., & Morris, C. S. ﴾2002﴿. Human performance measurement in virtual environments. In K. M. Stanney ﴾Ed.﴿, Handbook of virtual environments: Design, implementation, and applications,﴾pp. 701‐720﴿. Mahwah, NJ: Lawrence Erlbaum Associates.

Mania, K., Wooldridge, D., Coxon, M. & Robinson, A. ﴾2006﴿. The effect of visual and interaction fidelity on spatial cognition in immersive virtual environments.IEEE Transactions on Visualization and Computer Graphics,12﴾3﴿, 396‐404.

Martin, E. L., & Waag, W. L. ﴾1978﴿.Contributions of platform motion to simulator training effectiveness: Study I‐Basic contact. Brooks Air Force Base, TX: Air Force Human Resources Laboratory.

Noble, C. ﴾2002﴿. The relationship between fidelity and learning in aviation training and assessment. Journal of Air Transportation, 7﴾30﴿, 33‐54. Phillips, J., McCloskey, M., McDermott, P., Wiggins, S., Battaglia, D., Thorsden, M.L., & Klein, G. ﴾2001﴿. Decision‐centered MOUT training for small unit

leaders.Technical Report 1776, U.S. Army Research Institute for Behavioral and Social Sciences, 2001.
Tack, D.W. & Colbert, H.J. ﴾2005﴿. Alternative visualization methods for high density urban operations.Toronto: Defence Research and Development Canada.

Visschedijk, G.C. ﴾2010﴿. The issue of fidelity: What is needed in 3D military serious games?Unpublished master’s thesis, University of Twente, Enschede, The Netherlands.

Visschedijk, G.C., Lazonder, A.W., van der Hulst, A.H., Vink, N. & Leemkuil, H. ﴾2012, accepted﴿. Modelling human emotions for tactical decion‐ making games.British Journal of Educational Technology.