Het meten van leren en ethiek in serious games

Interview met Marieke de Wijse

Stel je voor: je bent bezig met het begeleiden van een intensieve simulatiegame. Spelers nemen beslissingen, worstelen met lastige scenario’s en proberen complexe problemen op te lossen. Maar ondertussen vraag jij je af: hoe kan ik eigenlijk zien wat ze echt leren? Dit is precies waar Marieke de Wijse zich mee bezighoudt. Als PhD-onderzoeker aan de Radboud Universiteit in Nijmegen, onderzoekt ze hoe facilitators het leerproces tijdens serieuze games kunnen versterken en ondersteunen.

Marieke brengt een unieke combinatie van praktijkervaring en academische kennis mee. Voordat ze aan haar promotieonderzoek begon, werkte ze als game-ontwerper en consultant op het gebied van organisatieverandering. Dit maakt haar niet alleen een wetenschapper, maar ook iemand die begrijpt hoe games kunnen helpen echte problemen aan te pakken. Bovendien is ze een toegewijd bestuurslid van de International Simulation and Gaming Association (ISAGA), waar ze al jarenlang actief is, en een van de oudgedienden van SAGANET. Hier speelt ze een cruciale rol in het bevorderen van kennisuitwisseling tussen game-practitioners en onderzoekers. Marieke is daarnaast ook de drijvende kracht achter verschillende internationale Special Interest Groups (SIG) over bijvoorbeeld games en duurzaamheid, en is betrokken bij de organisatie summer schools over serious games, facilitation design en evaluation.

We interviewden haar over de mail, en met een beetje hulp van AI.

Marieke faciliteert het spel Hexagon van Dick Duke bij 40 graden Celcius tijdens ISAGA 2023

Marieke, je onderzoekt hoe je kunt meten wat mensen leren tijdens het spelen van serious games. Hoe doe je dat precies tijdens het spel?

Allereerst zoek je naar wat er al in het spel aanwezig is aan nuttige feedbackmechanismen of formative assessment mechanics. Deze kunnen spelers tijdens het spel helpen reflecteren. Soms zijn er al mechanismen ingebouwd die je kunt gebruiken voor het feedbacksysteem, zoals logboekformulieren waarop een deelnemer of een groep beslisinformatie en onderbouwingen vastlegt. Daarmee kun je volgen welke redeneringen deelnemers gebruiken, waarom ze bepaalde beslissingen nemen en hoe ze daarna met de gevolgen omgaan.

Als er niets bruikbaars in het spel zit, of als je extra reflectie wilt toevoegen, kun je open en gestructureerde vragen gebruiken. Dit versterkt het leren. Denk bijvoorbeeld aan vragen als: “Wat ging goed?”, “Wat ging minder goed?” en “Wat heb je nodig om je doelen te bereiken?” We hebben onderzoek gedaan naar de effecten van deze vragen en ze bleken een significant positief leereffect te hebben, vooral wanneer ze werden gebruikt tijdens reflectiemomenten of voorafgaand aan een debriefing (Alf et al., 2023).

De spelscores laten we met opzet buiten beschouwing, omdat deze vaak een vertekend beeld geven van het leereffect. Bijvoorbeeld door beginnersgeluk of door goed presterende teams die niet per se meer leren. Het blijkt dat de teams die het meest worstelen en experimenteren – maar niet afhaken – ook het meeste leren. Zij gaan de meeste uitdagingen aan en ontvangen daardoor de meeste feedback.

Deze manier van meten is overigens veel breder toepasbaar dan alleen bij spelsimulaties. We gebruiken dit ook in andere vormen van interventiekunde en leerprogramma’s.

Je hebt het vaak over ethische uitdagingen bij simulatiespellen. Wat is volgens jou de grootste uitdaging voor iemand die zo’n spel begeleidt?

De grootste uitdaging is om te kunnen schakelen en omgaan met de complexiteit en onzekerheid die horen bij simulatiespellen en hun spelers. Je kunt niet in de hoofden van mensen kijken, je kunt hun leerprocessen niet helemaal volgen en sturen, en er kan van alles gebeuren. Zo kun je onbewust projecties triggeren of op gevoeligheden stuiten binnen een team of tussen spelers, waar jij van tevoren geen weet van had.

Je hebt vaak maar weinig tijd om te debriefen, en het zijn niet altijd de deelnemers met de meest interessante leerervaringen die het woord nemen. Om toch die diepere inzichten naar boven te halen, kun je mensen eerst individueel laten reflecteren op voorgestructureerde, open vragen zoals: “Wat werkte voor jou?” en “Wat zou je een ander adviseren die dit spel gaat spelen?”. Op die manier worden mensen niet meteen beïnvloed door de groep en krijg je de meest waardevolle perspectieven naar boven.

Daarna kun je deze inzichten in subgroepen laten bespreken. Terwijl je langsloopt, krijg je een goed beeld van wat er speelt. Zo kun je de interessante punten in de plenaire debriefing aan bod laten komen. Blijf wel bij het proces, want subgroepjes kunnen ook conflicten opleveren. Als dat gebeurt, moet je die isoleren en aanpakken voordat ze alle aandacht in de plenaire groep opeisen.

Je hebt het over een ‘vallei van wanhoop’ in simulaties. Wat betekent dat en wat doet dat met de spelers?

Leren is niet altijd leuk, en diep nadenken over processen die anders lopen dan verwacht, vinden mensen vaak lastig. Maar de voldoening is des te groter wanneer het uiteindelijk wél lukt en het ‘dopamineshotje’ komt wanneer een verwachting uitkomt.

In simulaties zie je vaak die ‘vallei van wanhoop’: het moment waarop spelers merken dat het behalen van doelen moeilijker is dan gedacht. Dit is echter het moment waarop je ze optimaal uitdaagt. Zolang je hier niet te ver in gaat, want anders haken ze af. Door mensen voor te bereiden dat zo’n moment eraan kan komen, kunnen ze er beter mee omgaan en sneller door deze fase heen komen zonder het spel of de begeleider de schuld te geven. Het helpt ook als ze deze moeilijkheden binnen hun team kunnen bespreken en als er een op vertrouwen gebaseerd contact is met de begeleider.

Ik zeg vaak: als het niet uitdagend was, heb je de sessie niet goed benut.

Hoe verzamel je feedback van spelers tijdens een simulatie, en hoe gebruik je dat om ze beter te laten leren?

We noemen dat formative assessment. Ik heb hier al meerdere keren over geschreven (je kunt mij googelen, “Wijse van Heeswijk” – veel van mijn werk is open access, en als je iets niet kunt vinden, mail me dan even: marieke@isaga.net). Feedback kan komen via spelmechanieken, zoals logboeken of momenten van besluitvorming, maar ook via reflectievragen na elke ronde, zoals “Wat ging goed?” en “Wat ging minder goed?”.

Daarnaast kun je in de spelcontext specifieke leercycli ontwerpen waarin je feedback verzamelt. Denk bijvoorbeeld aan een pre-planningsfase voor elke ronde, waarin deelnemers hun voornemens en strategieën delen en terugblikken op de vorige ronde.

Je hebt een speciaal model gemaakt voor het ethisch begeleiden van simulaties. Kun je uitleggen hoe dat werkt en waarom het belangrijk is?

Dit model is eigenlijk gebaseerd op de filosofie van Aristoteles. Hij stelde dat je nooit alles kunt weten, vooral niet in complexe situaties. Het is juist belangrijk om verschillende perspectieven te verzamelen om een goed beeld te krijgen en ervaring op te doen. Je kunt nooit de alwetende expert zijn, en het gaat erom samen betekenis te geven aan wat er gebeurt – dat is wat we sociaal constructivisme noemen.

Aristoteles vond het ontwikkelen van een gevoeligheid voor de specifieke context van een situatie cruciaal. Dat gevoel ontwikkel je door ervaringen aan te gaan, door te experimenteren en begeleidingssessies te doen. Daarnaast moet je actief naar meerdere perspectieven vragen om de situatie beter te begrijpen. Hij erkende dat elke situatie uniek is, maar door ervaring op te doen en voortdurend verschillende inzichten te verzamelen, ontwikkel je een tactisch gevoel voor hoe je met ethische uitdagingen moet omgaan. Zijn advies was altijd om lerend en onderzoekend te blijven – je hoeft niet alles te weten, maar blijf openstaan voor nieuwe ervaringen en perspectieven.

In simulaties die heel complex zijn, hoe zorg je ervoor dat spelers zich niet verloren voelen door alle moeilijke elementen?

Dit is een heel goede vraag. Een spel kan intern complex zijn, bijvoorbeeld door uitgebreide regels, procedures en afhankelijkheden, wat kan leiden tot ruis, moeizame communicatie en gebrek aan overzicht. Dit kan leerprocessen verstoren. Lees bijvoorbeeld het boek “Organizations as Social Systems Conducting Experiments” van mijn voormalig docent Jan Achterbergh, waarin hij dit uitstekend uitlegt.

Aan de andere kant van het spectrum heb je juist open simulaties, zoals de beleidssimulaties beschreven door Jan Klabbers in Magic Circle. Die spellen genereren een grote externe complexiteit. In het nieuwe boek over gaming en transfer, dat binnenkort uitkomt (Transferring Gaming and Simulations to the Real World, ik ben editor samen met met Toshiko Kikkawa, Willy Kriz en Junkichi Suigura), bespreek ik hoe je via formative assessment mechanics een rode draad van leerdoelen door een simulatie kunt weven. Dit helpt spelers zich te focussen op hun eigen leerdoelen en actief feedback te verzamelen, wat de complexiteit aanzienlijk reduceert.

Je werkt vaak met tijdelijke teams in simulaties. Wat is het voordeel van zo’n opzet vergeleken met traditionele lessen?

Tijdelijke teams bevorderen sociale cohesie en veiligheid doordat iedereen in hetzelfde schuitje zit. Dit helpt bij het leren, vooral wanneer er verschillende meningen binnen een groep bestaan. Mensen zijn sociale wezens, en er valt veel te leren uit sociale dynamiek. Waar kennis en dataverwerking vroeger belangrijk waren, ligt het overlevingsvoordeel nu in het omgaan met socio-technische uitdagingen. Dat gaat niet alleen over sociale interactie, maar ook over de systemen waar we deel van uitmaken.

Ik ben altijd trots als ik zie hoe studenten op de Radboud Universiteit omgaan met complexiteit en samenwerken tijdens een game. Ze zitten nog niet vast in organisatieculturen, en het potentieel dat ze laten zien, zeker op het gebied van duurzaamheid, is enorm.

Ik hoor je vaak praten over Richard ‘Dick’ Duke, de onlangs overleden nestor van serious gaming. Heb je hem nog persoonlijk ontmoet, en wat vind je van zijn games?

Ja, professor Richard Duke, of zoals wij ISAGAns hem altijd noemden, Dick, was ontzettend geliefd. Niet alleen vanwege zijn enorme kennis en ervaring, maar ook door zijn hartelijkheid. Hij stond altijd open voor iedereen, of je nu een student was of een professor, en dat op een heel ondersteunende manier. Ik ontmoette hem voor het eerst tijdens de eerste ISAGA Summerschool in 2004 in München, een ervaring die gevolgd werd door een conferentie die voor mij heel memorabel was. En voor iedereen die dit leest: later dit jaar is er weer een conferentie in Stuttgart – echt een aanrader! Het kost weinig, maar je krijgt er zoveel kennis, contacten en inspiratie voor terug!

Dick heeft niet alleen de fundamenten gelegd voor de Game Science zoals we die nu kennen, maar hij heeft ook de basis gevormd voor de cultuur binnen het ISAGA-netwerk: vriendelijk, toegankelijk, en gericht op samenwerking, met oog voor detail en context. Ik kende zijn spellen al via mijn docent aan de Radboud Universiteit, Dr. Vincent Peters. Ik had vragen over de opbouw van zijn spellen, zoals SLOGAN (een managementgame dat kijkt naar de invloed van organisatiestructuren) en Hexagon (een multifunctionele beleidssimulatie, nog steeds mijn favoriete spel). Ik stelde Dick voor om deze spellen wat toegankelijker en eenvoudiger te maken, en hij was meteen enthousiast. We hebben daarna regelmatig contact gehouden, tot kort voor zijn overlijden – en dat terwijl hij al in de 90 was. Het laat zien hoe boeiend dit vakgebied is, dat mensen er vaak nog lang na hun pensioen actief in blijven. Ik hoop zelf ook door te gaan tot ik niet meer kan! Voor degenen die geïnteresseerd zijn, op de ISAGA-site kun je gratis enkele boeken van Dick Duke vinden, waaronder een samenwerking met professor Jac Geurts (https://isaga.com/networking-and-resources/publications-and-media/).

Tijdens ISAGA 2023 deed ik mee in een demo die je gaf van de crisis-simulatie ‘Hexagon’, van Dick Duke. Daarin viel me op hoe makkelijk je improviseerde en rollen toevoegde aan het spel die de ervaring sterker maakten. Kun je daar iets over vertellen, over het improviseren?

Ja, ik heb het geluk gehad om veel te leren in de 25 jaar dat ik met simulaties werk, en ik heb daarbij altijd fantastische mensen om me heen gehad. Dankzij het ISAGA-netwerk heb ik veel geëxperimenteerd en getest, en ik heb wetenschappelijk bewijs verzameld om mijn intuïties te ondersteunen. Ik heb ook vaak sessies van collega’s bijgewoond, waarin ik zag wat werkte en wat niet. Soms moesten we extreme aanpassingen doen, zoals wanneer het spelbord niet aankwam met het vliegtuig of wanneer we ineens vijf in plaats van 25 deelnemers hadden. In zo’n situatie moet je creatief zijn: “O jee, het spelbord is kapot? Nou, dan speelt het land nu onder een orkaan!”

Het mooie van Hexagon is dat het een enorm robuust spel is. In de jaren ’60 kon de ontwikkeling van zo’n spel zomaar een half tot een heel jaar duren, wat betekent dat het zo goed ontworpen is dat je er veel mee kunt improviseren zonder dat het zijn kracht verliest. Wat mij helpt, is dat ik het spel heel goed ken, waardoor ik flexibel kan inspelen op wat er op dat moment nodig is. Mijn achtergrond in bedrijfskunde en sociologie helpt ook, want ik leerde welke invloed organisatiestructuren hebben op mensen. Een belangrijke strategie die ik vaak gebruik, is het “ontpersonaliseren” van problemen. Dat betekent dat ik snel kan herkennen welke problemen voortkomen uit de structuur en welke uit de cultuur, en door dat onderscheid te maken, bevorder ik het leerproces. Zodra je los komt van ego’s, kun je beter de dynamiek op systeemniveau zien.

Ik heb ooit Hexagon gespeeld met een groep consultants, om te laten zien dat het spel kan “ontploffen” als je het niet goed begeleidt. Als je de verkeerde keuzes maakt in de begeleiding, kan het hele leerproces ontsporen. Een gouden regel is dat feedback tijdig moet zijn. Als dat niet kan via het spelsysteem, zorg dan dat je het anders organiseert, bijvoorbeeld via eenvoudige reflectievragen. Geef mensen de ruimte om hun eigen betekenis te creëren, dan zijn ze bereid te experimenteren en te leren. Samengevat: een goed ontworpen spel is robuust genoeg om aan te passen aan verschillende omstandigheden, en dat maakt het zo waardevol.

Serious games en simulaties zijn duidelijk een belangrijk deel van je leven. Wat maakt je nog meer echt blij?

Haha, ja, mijn werk is zeker mijn grootste hobby! Maar er zijn ook zoveel leuke mensen bij betrokken, dat houdt je ook gaande. Daarnaast is er nog zoveel te ontdekken en te ontwikkelen op het gebied van game science en facilitation design. Vaak krijg ik vragen waar nog geen theorie of kennis over is, en dan klimmen mijn collega’s en ik weer in de pen. Ik wil het niveau van spelsimulaties in en buiten Nederland echt naar een hoger plan tillen. Spellen zijn ontzettend krachtige instrumenten, maar kunnen ook tricky zijn als je ze niet goed gebruikt. Daarom ben ik ook betrokken bij de Special Interest Group (SIG) over facilitation en evaluatie. We bundelen alle kennis die we hebben opgedaan en gaan dit beschikbaar maken in een open-source boek. We gaan ook trainingen organiseren voor facilitators – neem daarvoor gerust contact op met Jennifer @ saganet.nl!

Maar waar word ik nog meer blij van? Ik lees heel veel vakliteratuur, en ik geniet enorm van de online lezingen van collega’s wereldwijd, die je kunt terugvinden op de ISAGA-website. Daarnaast kijk ik uit naar de ISAGA Summerschool in Stuttgart, en natuurlijk naar de conferentie die weer ontzettend veel interessante tracks zal hebben.

Oh, en koken! Vooral met de biologische groenten van Gordons Spoor uit Groesbeek. Eigenlijk kun je met mij alleen maar praten over spellen en eten, ben ik bang…