Project
Focus op afbeeldingen in toetsitems
Het verzamelen, interpreteren en produceren van informatie met multimedia (tekst gecombineerd met afbeeldingen) is een belangrijke vaardigheid die studenten zich eigen moeten maken.
Onderdeel van:
Wat houdt het project in?
Vooral in het natuurwetenschappelijk onderwijs, zoals Biologie - de context van dit onderzoek - spelen afbeeldingen en diagrammen een steeds belangrijkere rol. Het gegeven dat leerlingen en studenten meer leren van de combinatie van tekst en afbeeldingen dan van enkel afbeeldingen of enkel tekst, noemen we het multimedia-effect. Waar veel onderzoek zich richt op het multimedia-effect bij leren, is er relatief weinig bekend over de effecten van multimediagebruik in toetsen..
Een meta-analyse (Hu et al., 2021) laat eenoverallpositief effect zien op de prestatie van studenten (response accuracy). Echter, de resultaten van individuele empirische onderzoeken lopen onderling sterk uiteen. Zo wordt er positieve (Lindner, 2020; Lindner et al., 2017), neutrale (Dewolf et al., 2014), maar ook negatieve effecten (Lin et al., 2013) beschreven in de literatuur. De invloed van multimedia in toetsitemslijkt onder meer beïnvloed te worden door de functionaliteit van de afbeelding in een toetsitem en type onderwijs (primair-, voortgezet- en hoger onderwijs) (Schewior & Lindner, 2024). Diepgaand onderzoek naar het multimedia-effect in de toetsitems kan de validiteit en effectiviteit van toetsen verhogen. Eenwithin-group,design waarbij alleen de functionaliteit van de afbeelding wordt onderzocht en andere moderators zo goed mogelijk gelijk worden gehouden, ontbreekt tot op heden.
Dit project richt zich op bovenstaande hiaten in de onderzoekdata om zo toe te werken naar richtlijnen voor de itemconstructeurs bij multimediagebruik in toetsitems, aangezien die nu nog ontbreken (Kirschner et al., 2017). Hiervoor is een experimenteel onderzoek in de context van Biologie in zowel het hoger-, als het voortgezet onderwijs opgezet. Er wordt daarbij gevarieerd met de functionaliteit van afbeeldingen in de toetsitems. De effecten ten aanzien van prestaties, tijdsinvestering en cognitieve belasting worden gemeten met digitale toetsen. Kwantitatieve gegevens worden aangevuld met kwalitatieve analyse van oogbewegingen van deelnemers via eye-tracking. De eerste resultaten zijn uitgewerkt in een publicatie in 2024 (Arts et al., 2024). In dit onderzoek is de meerwaarde van analyse van het multimedia effect op item niveau zichtbaar gemaakt, iets wat nog weinig gedaan is. Bovendien laat het zien dat het coherence principe wat beschreven is voor het multimedia effect (Mayer, 2021), ook relevant is voor multimedia toetsing. Momenteel wordt er gewerkt aan een vervolg publicatie waarbij eye-tracking data die verzameld zijn bij multimedia toetsing centraal staan.
Het project sluit aan bij onderzoekslijn Onderzoekslijn 3:Informatie-gedreven leren en toetsing voor onderwijskwaliteitvan het lectoraat Technology Enhanced Learning and Assessment (TELA), waarin wordt onderzocht hoe informatie ingezet kan worden om de toets- en onderwijskwaliteit verbeterd kan worden. In dit onderzoek ligt de nadruk op het verkennen van verwerkingsprocessen van afbeeldingen in toetsvragen om zo te komen tot ontwerprichtlijnen. Centraal daarbij staat het vraagstuk op welke wijze multimedia gebruik een bijdrage kan leveren aan validiteit van uitspraken die gedaan worden op basis van toetsresultaten.
Door inzicht te bieden in effecten van afbeeldingen die verschillend zijn in functionaliteit en in de wijze waarop studenten deze informatie verwerken wordt gewerkt aan kwaliteit van toetsing. Door het onderzoek uit te breiden naar het voortgezet onderwijs wordt hierbij niet alleen naar de hbo-context gekeken, maar ook naar implicaties voor het werkveld.
Arts, J., Emons, W., Dirkx, K., Joosten-ten Brinke, D., & Jarodzka, H. (2024). Exploring the multimedia effect in testing: the role of coherence and item-level analysis. Frontiers in Education,
Dewolf, T., Van Dooren, W., Ev Cimen, E., & Verschaffel, L. (2014). The Impact of Illustrations and Warnings on Solving Mathematical Word Problems Realistically. The Journal of Experimental Education, 82(1), 103-120. https://doi.org/10.1080/00220973.2012.745468
Hu, L., Chen, G., Li, P., & Huang, J. (2021). Multimedia effect in problem solving: A meta-analysis. In (Vol. 33, pp. 1717-1747): Springer.
Kirschner, P. A., Park, B., Malone, S., & Jarodzka, H. (2017). Toward a cognitive theory of multimedia assessment (CTMMA). Learning, design, and technology: An international compendium of theory, research, practice, and policy, 1-23.
Lin, Y.-H., Wilson, M., & Cheng, C.-L. (2013). An investigation of the nature of the influences of item stem and option representation on student responses to a mathematics test. European Journal of Psychology of Education, 28(4), 1141-1161. https://doi.org/10.1007/s10212-012-0159-9
Lindner, M. A. (2020). Representational and decorative pictures in science and mathematics tests: Do they make a difference? Learning and Instruction, 68, 101345. https://doi.org/https://doi.org/10.1016/j.learninstruc.2020.101345
Lindner, M. A., Lüdtke, O., Grund, S., & Köller, O. (2017). The merits of representational pictures in educational assessment: Evidence for cognitive and motivational effects in a time-on-task analysis. Contemporary Educational Psychology, 51, 482-492.
Mayer, R. E. (2021). Multimedia Learning 3rd edition. Cambridge University Press.
Schewior, L., & Lindner, M. A. (2024). Revisiting Picture Functions in Multimedia Testing: A Systematic Narrative Review and Taxonomy Extension. Educational Psychology Review, 36(2), 49. https://doi.org/10.1007/s10648-024-09883-0
Contact
