Slimme apparaten onderwijzen je op basis van jouw emoties

In het kader van het Europese Horizon 2020 innovatieproject MaTHiSiS leerden onderzoekers machines hoe ze jou dingen moeten leren door te leren van het letten op jou terwijl je leert. Wacht, ging dat te snel? Sorry – het is niet makkelijk om in te schatten hoe iemand het beste dingen oppikt. Dat is moeilijk voor eens mens, laat staan voor een machine.

We proberen het nog een keer, met wat makkelijkere stof. Rijpe tomaten hebben een rode kleur.
Dus, hoe voel je je? Misschien vond je het leuk om iets nieuws te leren. Wellicht was je beledigd omdat je al wist dat tomaten rood zijn, of ervoer je een van de vele andere mogelijke emoties toen je dit feit onder ogen kreeg.

Maar ik vind leren stóm

Wat als je computer, je tablet of zelfs een robot herkende hoe je je voelde, terwijl je leerde over de kleur van tomaten? En wat als het dat soort informatie zou gebruiken om de best mogelijke leerervaring voor jou te bepalen? Het klinkt misschien als science fiction, maar een dergelijk idee lag aan de basis van het Horizon 2020 innovatieproject ‘MaTHiSiS’. Het project werd recent afgerond na drie jaar werk van 18 verschillende onderzoekspartners verspreid over de Europese Unie.

Rood is meer dan alleen de kleur van rijpe tomaten: MaTHiSiS draait hier op een zogenaamde TurtleBot, die de onderzoeker door de kamer volgt. De onderzoeker kreeg de opdracht om het vijf rode objecten te laten zien. Ondertussen houdt MaTHiSiS in de gaten of de onderzoeker betrokken blijft en of de opdracht hem goed afgaat.

 “We wilden een manier van leren bouwen die de leerervaring optimaliseert aan de hand van de gevoelens en prestaties van elke individuele leerling. We keken daarvoor naar alle mogelijke signalen: iemands gezichtsuitdrukking, lichaamshouding, manier van spreken, of de opdrachten goed gemaakt worden… MaTHiSiS moest bovendien op zo veel mogelijk soorten apparaten werken, van klassieke computers tot aan robots”, zegt Dr. Stelios Asteriadis, associate professor bij het Department of Data Science and Knowledge Engineering (DKE).

“Onze taak was om al die verschillende signalen te combineren, en om de geautomatiseerde herkenning van gezichtsuitdrukkingen op te zetten. We maakten het ook mogelijk om met kunstmatige intelligentie simpele handelingen te koppelen aan emoties. Tegelijkertijd zorgden we dat al die gegevens konden worden gebruikt om de leerervaring zo goed mogelijk te maken.”

We wilden een manier van leren bouwen die de leerervaring optimaliseert aan de hand van de gevoelens en prestaties van elke individuele leerling.  

Dr. Stelios Asteriadis

MaTHiSiS Turtlebot

Gevoelens bij het leren: nou en?

Iemand die negatieve emoties ervaart, zoals stress of frustratie, leert moeilijker. Mensen die opgaan in de stof en zich betrokken voelen, presteren juist beter. Verschillende signalen – denk bijvoorbeeld aan iemands gezichtsuitdrukking, stemintonatie of lichaamshouding – verraden hoe iemand zich voelt. Het algoritme achter MaTHiSiS analyseert al deze signalen en past de leerstof erop aan, zodat de leerling optimaal kan presteren.

Bij het maken van een dergelijke leermethode komt uiteraard veel meer kijken dan technische kennis van algoritmes en kunstmatige intelligentie. Daarom waren bijvoorbeeld ook pedagogen en psychologen onderdeel van het team achter MaTHiSiS.

Maar ik heb er vandaag écht geen zin in

Het herkennen van emoties is in de dagelijkse praktijk lastiger dan het lijkt. “Vergeet niet dat verschillende mensen hun emoties op verschillende manieren uiten. Zelfs als het om dezelfde persoon gaat, kan het van dag tot dag verschillen. De ene dag laat ik mijn emoties op een bepaalde manier zien, maar de volgende dag ben ik chagrijnig en komt het er anders uit. Voor een machine is dat een heel lastig probleem.”

Vergeet niet dat verschillende mensen hun emoties op verschillende manieren uiten.  

Een vroege versie van de kunstmatige intelligentie achter MaTHiSiS laat zien welke emoties het oppikt op basis de gezichtsuitdrukkingen van onderzoekers. Het algoritme analyseert de gezichtsuitdrukkingen ter plekke vanaf webcambeelden.

“Eén van de technieken die we hebben toegepast om dit probleem op te lossen is zogenaamde transfer learning.” In dit geval leerde het algoritme eerst emoties herkennen door patronen te vinden in algemeen beschikbare, reeds bestaande gegevens van een gemiddelde groep mensen. Het leerde bijvoorbeeld hoe blije mensen er doorgaans uitzien en hoe boze mensen meestal kijken. “Tijdens de interactie tussen MaTHiSiS en de leerlingen verfijnden we het algoritme vervolgens verder. Het einddoel is een algoritme dat jóuw gevoelens analyseert en je vervolgens aanbiedt wat jíj, op dit moment, nodig hebt.”

Maar ik weet dit allemaal al!

Een tweede uitdaging schuilt in het feit dat mensen de hele dag door leren. “Tegenwoordig zijn we omringd door social media en allerlei soorten apparaten. We leren de hele tijd, zelfs wanneer we ons er niet bewust van zijn.” Dingen leren die je al weet is niet motiverend, en door al die informele leermomenten verschilt de hoeveelheid voorkennis enorm. Ook dit pleit voor een gepersonaliseerde aanpak.

“Stel, je wil wiskunde onderwijzen”, zegt Dr. Asteriadis. “Je moet iemand dan leren optellen, delen, vermenigvuldigen enzovoort.” Door deze concepten in een vaste volgorde te onderwijzen, riskeer je verveling bij leerlingen die bepaalde dingen al kunnen. Het MaTHiSiS-team koos daarom voor een non-lineaire manier van leren. “We deelden het lesmateriaal op in kleine brokken, zodat het algoritme makkelijk van het ene naar het andere concept kan overspringen. Het algoritme bepaalt de uiteindelijke lesstof op basis van je emoties en je prestaties. Onze groep in Maastricht was ook verantwoordelijk voor het inbouwen van dat aanpassingsvermogen.”

Maar… Wacht, dit werkt best goed

MaTHiSiS werd uitgebreid getest in vijf Europese landen, waarbij speciale aandacht uitging naar leerlingen met een beperking. “De resultaten waren erg bemoedigend. We hebben onder andere de motivatie van leerlingen vergeleken met de emoties die het algoritme aflas, en vonden een correlatie.” Het algoritme kan, simpel gezegd, inderdaad op basis van emoties afleiden of iemand betrokken is bij de lesstof. “Pedagogen hebben ook leerprestaties vergeleken met en zonder MaTHiSiS, en met en zonder emotieherkenning. We onderzoeken nu de mogelijkheden om het systeem te verfijnen, hergebruiken en testen in andere omgevingen.”

MaTHiSiS Team

Het UM-team betrokken bij MaTHiSiS. Van links naar rechts: Esam Ghaleb (promovendus), Matteo Amestoy (onderzoeksassistent), Stelios Asteriadis (associate professor), Enrique Hortal (postdoc) en Christos Athanasiadis (promovendus).

MaTHiSiS zelf bleek ook een leerervaring voor Dr. Asteriadis en zijn team. “Toen het project begon wisten we dat leren gebaseerd is op emotie, en dat positieve emoties helpen bij het leren. Maar de pedagogische theorieën daarover? Die hebben we niet van dichtbij ervaren tot we de betrokken psychologen en pedagogen ontmoetten. We moeten vanaf het begin nauw met ze samenwerken, omdat dat heel vruchtbaar bleek. Dat is zeker iets dat we onszelf in de toekomst op zullen leggen.”

MaTHiSiS werd gefinancierd door een Horizon 2020 onderzoekssubsidie van de Europese Unie. Voor meer informatie: http://mathisis-project.eu/

Lees ook