Leren van een serious game?

door: Marije van Gent, NCDO

Jongeren al spelenderwijs verleiden iets te leren, dat klinkt als een slimme lesmethode. Serious gaming is een van de manieren om dit te doen. De essentie van een serious game is dat het hoofddoel van de game educatie is in plaats van entertainment. In dit artikel wordt getoetst ofSerious games potentie hebben als leermethodiek. Centraal staat een serious game rondom het thema voedselcrisis en mediawijsheid; de game ‘On the Ground Reporter: Uganda’van Butch & Sundance Media. De game is deels succesvol in het bereiken van de educatieve doelstellingen. Spelers doen feitelijke kennis op door het spelen van de game. Er zijn echter geen veranderingen in hun houding ten opzichte van de voedselcrisis en ook is er geen toename in mediawijsheid.

Inleiding

Om jongeren te betrekken bij mondiale vraagstukken worden meer en meer interventies ingezet die inspelen op de belevingswereld van jongeren. Jongeren komen zo op speelse wijze met thema’s in aanraking waar ze vanuit zichzelf niet direct voor zouden kiezen. Een voorbeeld van zo’n interventie is serious gaming. Dit artikel geeft de resultaten weer van een kwantitatief evaluatieonderzoek naar de effecten van een serious game over voedselzekerheid in Uganda en mediawijsheid. Degame On the Ground Reporter: Ugandais ontwikkeld door Butch & Sundance en uitgezet onder mbo‐leerlingen. Het evaluatieonderzoek naar de effectiviteit van deze game als leermiddel is uitgevoerd door NCDO, kennis‐ en adviescentrum op het gebied van duurzaamheid en internationale samenwerking1

Er zijn verschillende definities in omloop die beschrijven wat een serious game precies is ﴾Susi, Johannesson, & Backlund, 2007﴿. Een definitie die veel wordt gebruikt in de academische literatuur is die van Michael en Chen, namelijk ‘A serious game is a game in which education (in its various forms) is the primary goal, rather than entertainment’﴾Michael & Chen, 2006﴿. Hoewel dus niet uitgesloten wordt dat het spelen van een game simpelweg leuk is om te doen, is dat niet het hoofddoel. Serious games zijn in staat complexe situaties na te bootsen, waarin spelers hun probleemoplossend vermogen ontwikkelen, zonder dat zij zich ook daadwerkelijk in die situatie of context bevinden. games heffen zo beperkingen van tijd en geld op. Winn betoogt dat Serious games zo effectief zijn, omdat het leren wordt benaderd vanuit het principe van ‘active learning’﴾Winn, 2008﴿. De student moet zelf actief zijn in het construeren van zijn of haar kennis, in plaats van het passief ontvangen van informatie.

Hebben Serious games inderdaad hun waarde bewezen als educatief middel, zoals beoogd wordt? Het bewijs hiervoor is nog complex en schaars ﴾Susi et al., 2007; Wouters, Spek, & Oostendorp, 2009; Young et al., 2012﴿. De bestaande games zijn zeer divers en complex en het onderzoek hiernaar wordt vanuit verschillende disciplines gedaan. Zodoende is het bewijs voor de educatieve waarde van games versnipperd en lastig te bundelen. Toch zijn er al studies die positieve effecten van games aantonen in het opdoen van kennis en vaardigheden, zoals planning, cognitie, communiceren, samenwerking en onderhandelen ﴾Susi et al., 2007﴿. Zo blijkt uit een academische review van 28 onderzoeken naar de effectiviteit van Serious games dat deze games de kennis en cognitieve vaardigheden van spelers kunnen verbeteren. Ook zijn er indicaties dat Serious games kunnen aanzetten tot houdingsveranderingen ﴾Wouters et al., 2009﴿.

De game On the Ground Reporter: Uganda wil zowel feitelijke kennis over voedselzekerheid bijbrengen als een houding creëren ten opzichte van voedselzekerheid waarin blijk wordt gegeven van de wederzijdse afhankelijkheid in de wereld. Een tweede doel is het opdoen van journalistieke ‘ervaring’ en een confrontatie met de journalistieke waarden betrouwbaarheid, variatie en hoor en wederhoor. Deze twee doelen staan dan ook centraal in de evaluatie van de effectiviteit van deze serious game2

In de volgende paragrafen zetten we het evaluatieonderzoek naar de game uiteen. In paragraaf Methodologie komt de methode van onderzoek aan bod. In paragraaf Resultaten worden vervolgens de resultaten van het onderzoek besproken. De redenen waarom jongeren het spel speelden zijn apart uiteengezet in paragraaf Waarom spelen jongeren een serious game?. Tenslotte sluiten we af met een korte conclusie in de laatste paragraaf.

Methodologie

In samenwerking met de NOS, Worldmapping en Uitgeverij Deviant heeft Butch & Sundance Media van 1 maart tot 31 maart 2013 de Uganda Challenge georganiseerd. Jongeren tussen de 16 en de 25 jaar die onderwijs volgen aan een Nederlandse mbo‐instelling werden opgeroepen om de game ‘On the Ground Reporter: Uganda’ te spelen. Ze konden door deelname een reis naar Uganda winnen. De competitie bestond uit een online ronde, een final event en een winnaarsreis. De verwachting was dat deze competitie grote aantallen spelers zou trekken. Dit vergroot de kans om op relatief eenvoudige wijze voldoende respons voor een voor‐ en nameting, nodig voor de evaluatie, te verzamelen. Deze context wijkt af van de educatieve setting waarvoor de game is ontwikkeld. ‘On the Ground Reporter: Uganda’ is namelijk onderdeel van een lessenpakket voor het mbo, met een inleidende les en reflectielessen na afloop. Het is goed mogelijk dat als jongeren het spel spelen als onderdeel van een curriculum, ze andere dingen zien en leren.

De effecten van de game zijn onderzocht via een vragenlijst tijdens de maand dat de Uganda Challenge speelde ﴾voormeting﴿ en een vragenlijst na afloop van de Challenge ﴾nameting﴿. Er zijn vragen gesteld om de feitelijke kennis te meten, alsook een aantal houdingsvragen en vragen die de mediawijsheid van de jongeren toetsen.

De voor‐ en nameting kunnen helaas niet aan elkaar gekoppeld worden omdat de vragenlijsten anoniem zijn ingevuld. Als alternatief worden vier onderzoeksgroepen met elkaar vergeleken. In de voormeting onderscheiden we de potentiële spelers en potentiële niet‐spelers, op basis van de vraag of ze van plan zijn het spel te gaan spelen. De deelnemers aan de nameting zijn gesplitst in spelers en niet‐spelers. Deze laatste groep bestaat uit jongeren die de game niet of korter dan 10 minuten hebben gespeeld. De ﴾potentiële﴿ niet‐ spelers in de voor‐ en nameting vormen de controlegroep in de evaluatie.

Als de game het gewenste effect heeft, dan hebben spelers na afloop van de campagne meer feitelijke kennis en een andere houding ten opzichte van de voedselcrisis en etaleren ze meer mediawijsheid dan bij de voormeting. Bovendien moet deze positieve verandering groter zijn dan de verandering die jongeren in verloop van tijd mogelijk sowieso ondergaan. Immers, ook zonder het spelen van het spel zouden jongeren na een maand meer kennis kunnen hebben, bijvoorbeeld doordat de voedselcrisis veel media‐aandacht krijgt. We zijn dus op zoek naar een netto‐effect van de campagne, los van deze mogelijke algemene effecten van tijd. Dit netto‐effect vertaalt zich allereerst in een positief verschil tussen de spelers in de nameting ten opzichte van de potentiële spelers in de voormeting. Bovendien moet dit positieve verschil groter zijn dan een mogelijk verschil tussen potentiële niet‐spelers in de voormeting en de niet‐spelers in de nameting.

Het is mogelijk dat spelers voordat ze het spel gingen spelen al meer wisten, een positievere houding hadden en meer gedrag vertonen dat relevant is voor dit thema dan degenen die niet speelden of willen spelen. Juist door een dergelijke mindset zijn ze geïnteresseerd in het thema en vinden ze het leuk om aan deze game deel te nemen in vergelijking met jongeren die daar helemaal niet mee bezig zijn. Voor een dergelijke zelfselectie wordt in de analyses gecontroleerd.

Resultaten

In totaal hebben 1.158 jongeren de vragenlijst in de voormeting ingevuld en 176 jongeren in de nameting. In de groep potentiële spelers ﴾voormeting﴿ waren meisjes oververtegenwoordigd, terwijl ze in de groep spelers ﴾nameting﴿ waren ondervertegenwoordigd. Aangezien jongens en meisjes verschillend scoren op feitelijke kennis, houding en mediawijsheid zijn de antwoorden gewogen op basis van geslacht.

Feitelijke kennis

Allereerst valt op in Figuur 1 dat bij de voormeting degenen die van plan zijn om het spel te spelen significant meer vragen goed beantwoorden dan de jongeren die niet van plan zijn om het spel te spelen: het eerdergenoemde zelfselectie effect. Jongeren die al wat meer weten over Afrika en de voedselcrisis lijken meer geïnteresseerd in het spel dan jongeren die daar nog weinig vanaf weten.

Figuur 1: Gemiddeld aantal goede antwoorden op drie kennisvragen

In de tweede plaats zien we een significante stijging van het gemiddeld aantal goede antwoorden tussen de antwoorden tussen de jongeren die van plan zijn het spel te gaan spelen en de jongeren die de game daadwerkelijk gespeeld hebben. Jongeren lijken dus inderdaad kennis op te doen door het spelen van de game, zoals de game beoogt. Dit wordt bevestigd door het minimale verschil in kennis tussen nul‐ en nameting van de potentiële niet‐spelers en de niet‐spelers. Jongeren die het spel niet hebben gespeeld, blijven op een vergelijkbaar kennisniveau steken in vergelijking met jongeren die vooraf aangeven niet van plan zijn om het spel te spelen. Het gesignaleerde kenniseffect bij de interventiegroep kan dus realistisch toegewezen worden aan het spelen van de game. Verder blijkt dat hoe langer een jongere de game speelt, hoe meer goede antwoorden hij/zij geeft.

Houding

De houdingsstellingen gaan in op de complexiteit van de voedselcrisis. Jongeren kunnen hun mening geven door middel van de antwoordcategorieën ﴾helemaal﴿ mee oneens tot ﴾helemaal﴿ mee eens. De houdingsvraag waar alle jongeren van alle groepen het meest uitgesproken over zijn, is de stelling ‘Het is de eigen schuld van mensen dat ze te weinig eten hebben’. Gemiddeld zijn jongeren het met deze stelling oneens. Er zijn geen significante verschillen tussen de voor‐ en nameting als potentiële spelers met spelers worden vergeleken en potentiële niet‐spelers met niet‐spelers. Wel zien we bij twee van de drie stellingen in de voormeting dat de houding van de potentiële spelers significant positiever is dan de houding van de potentiële niet‐spelers. Jongeren die het spel willen gaan spelen hebben dus vooraf meer inzicht in de voedselcrisis dan jongeren die niet geïnteresseerd zijn in de game.

Figuur 2: Gemiddelde score op houdingsstellingen over voedselcrisis

Wordt de voor‐ en de nameting met elkaar vergeleken dan lijkt er zowel tussen de potentiële spelers en de daadwerkelijke spelers als bij de potentiële niet‐spelers en daadwerkelijke niet‐spelers sprake van een licht dalende lijn ﴾zie Figuur 2﴿. Dit verschil tussen voor‐ en nameting is echter bij beide groepen niet‐significant. Geconcludeerd kan worden dat het spelen van de game geen verandering teweeg brengt onder de jongeren in hun houding ten opzichte van de voedselcrisis.

Mediawijsheid

Anders dan bij de kennis‐ en houdingvragen treedt er bij mediawijsheid geen zelfselectie‐effect op. Jongeren die van plan zijn het spel te spelen, scoren ongeveer hetzelfde op mediawijsheid als jongeren die niet van plan zijn het spel te spelen.

Daarnaast blijken er geen significante verschillen op te treden tussen de voor‐ en de nameting. Figuur 3 laat zien dat jongeren die van plan zijn te spelen ongeveer net zo hoog scoren als jongeren die het spel gespeeld hebben. Ditzelfde geldt voor jongeren die niet van plan zijn het spel te spelen in vergelijking met jongeren die het spel in de nameting niet gespeeld hebben. De game draagt, met andere woorden, niet bij aan een toename in mediawijsheid.

Waarom spelen jongeren een serious game?

Tot slot zijn nog een aantal aanvullende vragen gesteld aan jongeren die de game hebben gespeeld om meer inzicht te krijgen in hun motivatie voor het spelen van de game en de ervaring met het spel. Hierbij is ook de mening meegenomen van de jongeren die het spel korter dan 10 minuten hebben gespeeld en daardoor in de groep niet‐spelers zijn ingedeeld. Zij hebben echter wel een mening over de game.

Gemiddelde score op stellingen over mediawijsheid

Spelers zijn vrij positief over de game. Zij geven een gemiddeld rapportcijfer van 7,6 en besteden ook geruime tijd aan het spelen van de game, gemiddeld zo’n 60 minuten. De twee redenen voor het spelen van de game die het meest genoemd worden zijn inhoudelijke redenen: jongeren willen meer weten over Uganda ﴾40%﴿ of over de voedselcrisis ﴾37%﴿. Deze inhoudelijke interesse komt overeen met de eerder gevonden uitkomst dat er sprake is van een zelfselectie‐effect voorafgaand aan de game. Jongeren die van plan zijn te spelen, hebben al meer feitelijke kennis en inzicht in de voedselcrisis dan jongeren die niet van plan zijn het spel te spelen. De game is dus aantrekkelijk voor een specifieke groep jongeren: jongeren die leergierig zijn rondom dit thema.

Dertig procent speelt de game omdat ze juist het spelen van een game leuk vinden en een bijna net zo grote groep noemt specifiek als reden dat hij of zij het spel gespeeld heeft om een reis naar Uganda te winnen. Een verplichting van school wordt het minst vaak genoemd. Overige redenen om het spel te spelen zijn nieuwsgierigheid of interesse. De jongeren die binnen 10 minuten stoppen met spelen, zijn overigens minder vaak het spel gaan spelen uit inhoudelijke interesse.

Conclusie

De game ‘On the Ground Reporter: Uganda’heeft een educatieve doelstelling. Door de game worden jongeren op een speelse wijze met het thema voedselcrisis geconfronteerd. Naast feitelijke kennisoverdracht beoogt het jongeren meer inzicht te geven in de complexiteit van de voedselcrisis in Uganda. Door het spel vanuit het perspectief van een journalist te spelen, hoopt de game jongeren ook inzicht te geven in de werkwijze van een journalist en daarmee de mediawijsheid van jongeren te vergroten.

Uit dit evaluatieonderzoek blijkt dat de doelstellingen van de game deels worden behaald. Spelers doen feitelijke kennis op en hoe langer men speelt, hoe meer goede antwoorden de spelers op de kennisvragen kunnen geven. Dit effect kan toegewezen worden aan de game: bij de controlegroep is namelijk geen kennistoename te zien. Uit het onderzoek blijkt niet dat het spelen van de game een verandering teweeg brengt onder de jongeren in hun houding ten opzichte van de voedselcrisis. Ook is geen toename in mediawijsheid te zien.

De game trekt een bepaald type jongeren, namelijk jongeren die al geïnteresseerd zijn in het thema van de game, er is zogezegd sprake van een ‘zelfselectie‐effect’. Jongeren die niet van plan zijn om te spelen of die de game niet hebben gespeeld hebben een lager niveau van feitelijke kennis en minder inzicht in de oorzaken van de voedselcrisis dan jongeren die het spel wel ﴾willen gaan﴿ spelen. De game is dus aantrekkelijk voor een bepaalde groep jongeren. Deze bevinding komt overeen met de belangrijkste redenen die spelers zelf aangeven om het spel te willen spelen. Dit zijn inhoudelijke redenen, namelijk nieuwsgierigheid en interesse in Uganda en de voedselcrisis.

Noten

1. Het volledige rapport van het evaluatieonderzoek staat op de website van NCDO ﴾www.ncdo.nl﴿. Mocht u naar aanleiding van het artikel of het rapport vragen hebben over het onderzoek dan kunt u contact op nemen met NCDO via onderzoek@ncdo.nl.

2. De game wordt in het mbo in een educatieve context, inclusief lessenpakket, aangeboden. In dit onderzoek is de game geëvalueerd zonder dit lespakket.

Referenties

Michael, D. R., & Chen, S. ﴾2006﴿.Serious games: Games that educate, train, and informBoston, MA: Thomson Course Technology.
Susi, T., Johannesson, M., & Backlund, P. ﴾2007﴿. Serious Games ‐ An Overview Technical Report ﴾Vol. HS‐IKI‐TR‐07‐001﴿. Skövde, Sweden: School of

Humanities and Informatics, University of Skövde.
Winn, B. M. ﴾2008﴿. The Design, Play, and Experience Framework. In R. E. Ferdig ﴾Ed.﴿,Handbook of Research on Effective Electronic Gaming in

Education﴾pp. 1025‐1040﴿: Information Science Reference.

Wouters, P., Spek, E. v. d., & Oostendorp, H. v. ﴾2009﴿. Current practices in serious game research: A review from a learning outcomes perspective. In T. Connolly, M. Stansfield & L. Boyle ﴾Eds.﴿, Games‐Based Learning Advancements for Multi‐Sensory Human Computer Interfaces: Techniques and Effective Practices: Information Science Reference.

Young, M. F., Slota, S., Cutter, A. B., Jalette, G., Mullin, G., Lai, B., Simeoni, Z., Tran, M., & Yukhymenko, M. ﴾2012﴿. Our Princess Is in Another Castle: A Review of Trends in Serious Gaming for Education Review of Educational Research,82﴾1﴿, 61‐89.doi: 10.3102/0034654312436980