ChatGPT tackelt propedeuse Fontys HBO-ICT
De opkomst van generatieve artificiële intelligentie (AI) houdt het onderwijs, en misschien nog wel meer het ICT-onderwijs, bezig. De transformatieve kracht van AI dwingt docenten om anders te gaan kijken naar het beoordelen van studentenwerk, met name portfolio's en beargumentering. Docenten Ruud Huijts en Koen Suilen besloten te toetsen of AI de propedeuse kan halen bij HBO-ICT.
ChatGPT geslaagd
“Is het mogelijk om met alleen door AI gegeneerde beroepsproducten het eerste jaar HBO-ICT te halen” vroegen ICT-docenten Ruud Huijts en Koen Suilen zich af. Nadat ze zich een aantal uur hadden opgesloten in een vergaderruimte moesten ze concluderen dat dit inderdaad het geval was. Als ze de met behulp van ChatGPT 3.5 gegeneerde software en documentatie beoordeelden op basis van de leeruitkomsten die voor de eerste twee semesters waren geformuleerd konden ze niet anders dan de AI diens propedeuse HBO-ICT toe te kennen.
Large Language Model
Om dit uit te voeren, werd een ChatGPT als Large Language Model (LLM) gebruikt. Een LLM is een type kunstmatige intelligentie, wat deep learning en neurale netwerken en grote datasets gebruikt om nieuwe content te begrijpen, samen te vatten, te genereren en te voorspellen. Ze gaven het LLM als input de letterlijke tekst van de opdracht zoals deze ook voor de studenten was opgesteld, met als enige toevoeging de programmeertaal waarin de AI de code moest genereren (C# in dit geval, of R of Python). Koen onderstreept wel het belang van goede instructie als essentieel in dit onderzoek. Het resultaat zou bij een eerstejaars student gezien worden als uitmuntend.
Is het verontrustend nieuws dat ChatGPT de propedeusefase tackelt? Ruud en Koen denken van niet, het betekent wel dat de rol van een docent verandert. De lessen die beiden getrokken hebben uit dit experiment zijn de volgende:
- Het belangrijker is dan ooit om een betekenisvol gesprek met de studenten aan te gaan over de beslissingen die ze nemen bij het ontwerpen van hun code, de afwegingen die ze maken bij techniekkeuzes & documentatie en feedback te geven op de kwaliteit van de oplossing. Blindstaren en beoordelen op het eindproduct heeft dus weinig zin, want dit kan kinderlijk eenvoudig, worden gegenereerd door een LLM.
- Valideren van output is cruciaal: door goede instructies te geven en goed te kunnen valideren kan de output van een LLM effectief worden ingezet. Ook hier is dialoogvorming, feedback en toetsen op proces de sleutel.
- Een betekenisvolle (innovatieve) context is nodig in het leerproces om studenten uit te dagen en te laten leren, want juist op dat gebied is een mens ‘handiger’ dan machine.
- We mogen qua output en kwaliteit wellicht ook hogere eisen gaan stellen als je op deze manier producten kan genereren en aanvullen.
Meer weten over het experiment? Neem dan vooral contact op met Koen Suilen en/of Ruud Huijts. Ze vertellen je er graag meer over.
Auteur: Ruben Steins