Trefwoorden: affectief computergebruik, machineleren, audiovisuele emotieherkenning, oppervlakkig en diep metrisch leren, aandachtsmechanismen

"Bimodal Emotion Recognition Through Audio-Visual Cues"

Emoties spelen een cruciale rol in mens-mens communicatie met een complex sociopsychologisch karakter, waardoor emotieherkenning een uitdagende taak is. Dit proefschrift bestudeert emotieherkenning aan de hand van audiovisuele signalen in videoclips, gebruikmakend van gezichtsuitdrukkingen en spraaksignalen die tot de meest prominente emotionele expressiekanalen behoren. Voorgesteld worden nieuwe computationele methoden om de complementaire informatie van audiovisuele signalen vast te leggen voor verbeterde emotieherkenning. Het onderzoek in deze dissertatie toont aan hoe emotieherkenning afhangt van emotieannotatie, de waargenomen modaliteiten, robuuste datarepresentaties van modaliteiten, en computationele modellering. Het presenteert progressieve fusietechnieken voor audiovisuele representaties die essentieel zijn om de prestaties te verbeteren. Verder richten de methoden zich op het benutten van de temporele dynamiek van audiovisuele signalen en het detecteren van informatieve tijdsegmenten van beide modaliteiten. Het proefschrift presenteert meta-analysestudies en uitgebreide evaluaties voor multimodale en temporele emotieherkenning.

Klik hier voor het volledige proefschrift.

Klik hier voor de live stream.