Dit is week 5, waarin het kunnen bepalen van de impact van serious games centraal staat. Hoe meet je nu of een serious game het gewenste resultaat bereikt? Welke onderzoeksmethodes zijn hiervoor beschikbaar?
Hebben serious games impact?
Het spelen van games leidt vaak tot bepaalde emoties, zoals frustratie wanneer iets niet lukt of juist blijdschap/opluchting bij succeservaringen. Dit is (al) een eenvoudige impact die games op ons kunnen hebben.
Onderzoekers naar de impact van serious games zijn geïnteresseerd in meetbare resultaten op het gebied van ideeën, intenties en gedrag van de speler. Niet alleen op de korte termijn (direct na het spelen), maar ook op de langere termijn.
In deze MOOC zijn twee typen serious games behandeld: simulaties en overtuigende games. Simulaties hebben (vooral) als doel om complex gedrag te trainen. Overtuigende games willen (vooral) een specifieke boodschap overbrengen. Maar in hoeverre worden deze doelen daadwerkelijk behaald?
Het is waardevol om dit te onderzoeken, omdat het medium relatief jong is, in populariteit wint, maar ook hoge productiekosten meebrengt. Is deze investering en populariteit terecht? Dragen serious games werkelijk bij aan het leerproces van de spelers. Onderzoek richt zich op positieve aspecten van serious games. Dat is een heel andere invalshoek dan bijvoorbeeld onderzoek naar de invloed van gewelddadige games.
Gewelddadige games
Onderzoek naar serious games staat nog in de kinderschoenen, maar de invloed van entertainment games is al op grote schaal onderzocht, zoals de effecten van gewelddadige games. Sommige onderzoekers stellen dat het spelen van gewelddadige games risicovol is voor ontvankelijke (jonge) gamers. Onderzoekers aan de andere kant van het spectrum stellen juist dat gewelddadige games geen enkel effect hebben op gamers, of dat het bewijsmateriaal van de eerste groep onderzoekers onvoldoende is. Zij stellen dat er andere (externe) factoren spelen in het opwekken van frustratie/agressie bij de gamers. Op dit moment is er nog geen sluitend bewijs.
Drie peilers bij onderzoek naar serious games
Om de impact van een serious game te kunnen bepalen, is doelgericht en specifiek onderzoek nodig. Jansz staat eerst stil bij het kunnen meten van impact en werkt vervolgens twee onderzoeksmethoden uit, namelijk door middel van een vragenlijst of als experiment in een laboratorium.
Bij het onderzoek is bewust gekozen voor de term impact in plaats van effect, omdat een effect impliceert dat een serious game een kortstondig (bijna magische) uitwerking heeft op de speler. Bij impact is er ruimte voor directe en indirecte uitkomsten door het spelen van de serious game. Zo is bij ABCDEsim (behandeld in week 3) het directe resultaat dat artsen hun vaardigheden trainen. Indirect is het goed mogelijk dat artsen reflecteren op hun eigen functioneren. Dat gezegd hebbende, vrijwel al het onderzoek richt zich op direct (waarneembare) uitkomsten omdat dit veel eenvoudiger vast te leggen is.
Onderzoek naar serious games focust op drie peilers:
- Wat is de gewenste impact?
- Wat zijn korte/lange termijn effecten?
- Wat is de beïnvloeding van externe factoren?
Ad 1. Wat is de gewenste impact?
Game-ontwikkelaars hebben altijd een duidelijk doel voor ogen. Bij serious games geldt dat net zo. Educatieve games willen de speler over een specifiek onderwerp leren. Simulaties hebben als doel om (complexe) vaardigheden te trainen. Overtuigende games willen een attitudeverandering teweegbrengen.
Ad 2. Wat zijn korte/lange termijn effecten?
Vlak na het spelen van een serious game, bijvoorbeeld My Cotton Picking Life, heeft de speler waarschijnlijk empathie voor de situatie van kinderarbeid in Oezbekistan. Maar hoe is dat een week later als je een spijkerbroek wil kopen?
Om het korte termijn te meten is het mogelijk om direct na het spelen een enquête af te nemen (post-test only). Een genuanceerder alternatief is om voorafgaand aan het spelen een enquête af te nemen én na het spelen dezelfde vragenlijst (pre-test/post-test). Op deze manier kan de onderzoeker eventuele verschillen vaststellen.
Voor lange termijn effecten kan later nog een derde (of vierde, vijfde, etc.) meetmoment toegevoegd worden (longitudinaal). Zo zijn effecten te meten dagen, weken of zelfs maanden na het spelen van een game.
Ad 3. Wat is de beïnvloeding van externe factoren?
Externe factoren kunnen altijd resultaten beïnvloeden. Zo kun je na het spelen van My Life As A Refugee is bepaalde mening over vluchtelingen hebben, maar die wordt wellicht mede-bepaald door de berichtgeving over vluchtelingen in de media en politieke standpunten.
Om beïnvloeding van externe factoren zo klein mogelijk te laten zijn, wordt experimenteel onderzoek in een laboratorium uitgevoerd. In deze gecontroleerde omgeving is kunnen (sommige) externe factoren worden uitgesloten. Ook worden de deelnemers in twee groepen ingedeeld: de experimentele groep en de controle groep. Alleen de experimentele groep speelt de serious game. Als deze groep een meetbaar effect heeft en de controle groep heeft geen meetbaar effect, dan kan gesteld worden dat dit effect bereikt is door het spelen van de game.
Natuurlijk is het behoorlijk kunstmatig om in een laboratorium te gamen en dit kan ook weer bepaalde invloed uitoefenen op de spelers. Eigenlijk is er dus geen ideale werkwijze. Beide methoden hebben voor- en nadelen.
Vragenlijstonderzoek
Je bent vast bekend met het invullen van een vragenlijst. Sommige vragenlijsten vond je prima, andere waren wellicht irritant. Misschien ben je wel eens halverwege gestopt met een vragenlijst vanuit frustratie. Dat is nu typisch een risico bij vragenlijstonderzoek.
Het voordeel van een vragenlijst is dat honderden of duizenden respondenten aangeschreven of uitgenodigd kunnen worden. Het nadeel is dat na het versturen van de vragenlijsten er geen aanpassingen meer mogelijk zijn. Het ontwikkelingen van een vragenlijst met een hoge kwaliteit is dé uitdaging voor onderzoekers. Maar vooralsnog zijn de voordelen veel groter dan de nadelen.
- Door grote groepen respondenten aan te schrijven, is het relatief eenvoudig om verschillende groepen met elkaar te vergelijken, bijvoorbeeld op basis van politieke voorkeur of opleidingsniveau.
- Een ander voordeel is dat de een vragenlijst gestandaardiseerd is en daardoor meetbaar wordt, bijvoorbeeld om te bepalen wat nu de impact van een serious game is. Hoewel het meestal gaat om ontastbare begrippen, worden deze omgezet in meetbare waarden. Voor onderzoekers is attitude een concept. Verwachte bevindingen, zoals empathie en motivatie, zijn ook concepten. In een vragenlijst staan meerdere items waarin deze concepten terug komen. Gebaseerd op statistiek, worden deze antwoorden omgezet in schalen. Bij overtuigende games, bijvoorbeeld, kan de attitudeschaal meten hoe sterk de attitude zelf is, maar ook of deze positief/negatief is.
- Het is gemakkelijk voor respondenten om mee te doen. Een online vragenlijst kan plaats en tijd onafhankelijk ingevuld worden. Een papieren vragenlijst wordt vaak op plekken afgenomen waar de respondent toch al is, zoals op school of op het werk.
- Grote hoeveelheden vragenlijsten (vooral op papier) zijn tijdrovend om te verwerken. Alle data moet in de computer ingevoerd worden.
- Bij online vragenlijsten is het onzeker wie de vragenlijst invult. Iedereen kan zich voordoen als iemand anders. Er is dus geen controle of de respondent inderdaad tot de bedoelde doelgroep behoort. Het is wellicht ook moeilijker of tijdrovender om specifieke doelgroepen te vinden benaderen. Sociale media kunnen hier wellicht een rol in spelen.
Casus 1: games met een politieke boodschap
Via een online vragenlijst zijn respondenten gevraagd om hun favoriete game te kiezen uit de volgende vier opties: Darfur is Dying, Airport security, McDonald's game en September 12th. Als pre-test werden respondenten gevraagd naar hun voorkennis over het onderwerp. Daarna speelden de respondenten de game. Als ze klaar waren, kregen ze een vragenlijst (post-test) om de onmiddelijke impact van de game te meten. Het resultaat was een kleine toename in kennis. Een neveneffect was dat veel spelers geïnspireerd waren om over het onderwerp te praten met anderen (social facilitation).
Casus 2: Poverty is not a game
De serious game Poverty is not a game is ontwikkeld door de Europese Unie met als doel bestrijding van armoede en sociale exclusie. De game heeft als doel om bewustwording op te roepen en complexe mechanismes die ten grondslag liggen aan armoede onder jongeren ter discussie te roepen.
Het onderzoek had ook een pre-test, post-test ontwerp. Respondenten werden direct na het spelen van de game bevraagd en nogmaals drie maanden later. Direct na het spelen van de game had een groot aantal spelers de intentie om lid te worden van een interessegroep op dit gebied. Maar na drie maanden bleek dat nauwelijks iemand dit daadwerkelijk had gedaan.
Een ander opvallend resultaat was dat een derde van de respondenten na drie maanden meer politiek geïnteresseerd was in deze thema's dan direct na het spelen van de game. Het blijkt dat ook hier social facilitation een rol speelde bij het ontwikkelen van deze interesses. Deze specifieke groep respondenten bleek meer dan anderen over het onderwerp te hebben gesproken met personen in hun naaste omgeving.
Hoewel deze resultaten interessant zijn, en wellicht representatief, is niet uit te sluiten dat externe factoren invloed hebben gehad. In elk geval op de nameting drie maanden later. Zoals bijvoorbeeld actuele politieke ontwikkelingen in Europa rondom de thematiek van de game.
Experimenteel onderzoek
Bij experimenteel onderzoek is er naast de experimentele groep respondenten altijd een controlegroep. Experimenteel onderzoek kan worden toegepast in een laboratorium en bij een vragenlijstonderzoek.
In een laboratorium kunnen veel verschillende aspecten van een serious game gemeten worden. Het eerste belangrijke aspect is dat een laboratorium een gecontroleerde omgeving is. Dat houdt in dat respondenten uitgenodigd worden om te komen gamen. Ze spelen een vooraf vastgestelde tijd, bijvoorbeeld 15 tot 45 minuten. Er is geen afleiding en spelers zijn niet tegelijkertijd actief op bijvoorbeeld Facebook of Youtube, noch luisteren ze andere muziek.
Het tweede aspect is dat een laboratorium ook mogelijkheden geeft tot manipulatie. Het is mogelijk om een gevarieerde systematiek te creëren (de zogenaamde onafhankelijke variabele) om het effect op de afhankelijke variabele te meten. Een voorbeeld: welk van de overtuigingseigenschappen van het model van De La Hera zet je in tijdens het spelen? Je kunt twee (of meer) versies van de serious game maken, beiden met één specifieke overtuigingseigenschap. De afhankelijke variabele is in dit geval de mate van attitudeverandering die optreedt direct na het spelen van de serious game. Op deze manier is het bijvoorbeeld mogelijk om te meten of narratieve overtuiging een sterker effect heeft dan procedurele overtuiging. Uiteraard is ook hierbij een pre-test en een post-test nodig.
Een derde aspect van laboratoriumonderzoek is dat er een controlegroep respondenten is. Respondenten worden willekeurig toegewezen aan de experimentele of controlegroep op het moment dat ze het laboratorium binnenkomen. Terwijl de experimentele groep de serious game speelt, doet de controlegroep iets heel anders.
Casus: Birthday Party
In een recent experimenteel onderzoek van Kathrin Gerling (2014) is gekeken hoe het spelen van een serious game over lichamelijke beperkingen invloed had op de attitude jegens gehandicapten. Daarvoor gebruikten ze de game Birthday Party. In het experimentele ontwerp lag de focus op de game-interface. Eén groep speelde met een gewone controller, de andere groep speelde in een speciaal ontworpen rolstoelcontroller.
Het resultaat toont aan dat de bewustwording voor uitdagingen die rolstoelgebruikers ervaren significant hoger was bij de groep die gebruik maakte van de rolstoelcontroller ten opzichte van de groep die de reguliere gamecontroller gebruikte.
Welke methode kies je nu?
Op dit moment is er nog weinig ervaring met experimenteel onderzoek in laboratoria, maar het is al vaker toegepast bij vragenlijstonderzoek. De oorzaak hiervan is wellicht puur praktisch van aard. Het is waarschijnlijk makkelijker om respondenten te vinden die een online vragenlijst willen invullen in plaats van helemaal naar een laboratorium moeten komen. Het is voor onderzoekers continu een afweging welke methode ze willen toepassen. In een laboratorium is zuiverder, maar ook duurder. Middels een vragenlijst is een grotere groep respondenten te bereiken, maar er is een grote kans op externe beïnvloeding.
Hieronder staan vier casussen waarbij experimenteel onderzoek middels een vragenlijst is toegepast.
Casus 1: Darfur is Dying
De serious game Darfur is Dying is een populair voorbeeld. In 2010 onderzochten Peng, Lee en Heeter de impact van de serious game. Uit hun resultaten bleek dat spelers een grotere bereidheid hadden om te helpen met de situatie in Darfur dan controlegroepen die alleen een tekst hadden gelezen of een videobeelden van de game hadden gezien. Met name de interactie die de serious game biedt was van invloed op de resultaten, meer dan de graphics en gebruikte muziek. Het lijkt er dus op dat procedurele retoriek meer overtuigingskracht had dan de signs elementen.
Casus 2: SPENT
Ruggiero (2014, 2015) onderzoek de impact die de serious game SPENT (http://playspent.org) heeft op de attitude over daklozen. Direct na het spelen van de game was er geen meetbaar verschil tussen de experimentele groep en de controlegroep. Echter, drie weken later, had de experimentele groep een positievere attitude over daklozen dan de controlegroep. Dit heet in onderzoekstermen een sleeper effect.
Casus 3: My Cotton Picking Life
De Erasmus Universiteit heeft de serious game My Cotton Picking Life onderzocht. De experimentele groep speelde de game. De controlegroep bekeek een video over het onderwerp. Het bleek dat er een significant groter effect was qua impact op de experimentele groep. Hoewel het een zeer laagdrempelige en eenvoudige serious game is, heeft dit blijkbaar toch het wenselijke effect.
Casus 4: ABCDEsim
In 2015 onderzocht Dankbaar de impact van de simulatie ABCDEsim op jonge artsen bij de eerstehulp. De experimentele groep speelde de simulatie, terwijl de controlegroep studeerde door middel van een tekstboek of e-learningmodule.
De simulatie zorgde voor een grotere motivatie bij de respondenten en zij studeerden hierdoor veel meer dan de controlegroepen. Een vergelijking tussen de e-learningmodule en de simulatie qua pure vaardigheid was gelijk, maar de simulatiegroep had een grotere motivatie om de vaardigheden te oefenen.
Naar aanleiding van dit onderzoek bestaat de complete training van jonge artsen uit drie onderdelen:
- E-learningmodule;
- ABCDEsim;
- Face-to-face training met een expert.
Conclusie
Deze vijfde week ging vooral over twee verschillende typen onderzoek naar de impact van serious games. Ik was zelf al bekend met deze onderzoeksvormen, maar vond het wel interessant om te leren hoe ze dit concreet toepassen bij serious games. Leuk ook om te zien dat er specifieke meetbare resultaten zijn, waarmee de kracht van serious games ingebed kunnen worden binnen een rijke leeromgeving!
Volgende week is alweer de laatste week van deze MOOC. Ik ben benieuwd hoe ze het afronden.
Geen opmerkingen:
Een reactie posten