PROMOTIONSPREIS DES UNIVERSITÄTSBUNDES 2020

Teena Hassan

Dissertation: Towards Robust and Interpretable Practical Applications of Automatic Mental State Analysis Using a Dynamic and Hybrid Facial Action Estimation Approach

Mimik ist einer der wichtigsten Kanäle, über die Menschen nonverbale Signale vermitteln. Affektive Computersysteme analysieren in der Regel menschlichen Gesichtsausdrücke, um die mentalen Zustände von Menschen zu erkennen. Dies kann sowohl die Mensch-Maschine-Interaktion verbessern als auch die Entwicklung von Assistenzsystemen zur Verbesserung der Lebensqualität von Menschen ermöglichen. In der Psychologie wird das Facial Action Coding System (FACS) verwendet, um Gesichtsausdrücke objektiv auf Basis von Gesichtsmuskelbewegungen – die als Action Units (AUs) bezeichnet werden – zu beschreiben. Die Semantik der Gesichtsausdrücke wird dann mithilfe von AUs und deren Veränderungen erforscht. Forschende im Bereich des maschinellen Sehens haben mehrere Ansätze entwickelt, um AUs und ihre Intensitäten automatisch anhand von Gesichtsbildern oder Videos zu erkennen. Eine Gruppe von Ansätzen konzentriert sich auf den Einsatz datengetriebener Methoden des maschinellen Lernens. Sie erbringen in der Regel gute Vorhersageleistung, aber sie leisten nicht genug in Bezug auf die Interpretierbarkeit der gelernten Modelle. Eine andere Gruppe von Ansätzen konzentriert sich auf die Verwendung von veränderbaren Gesichtsmodellen, die AUs in Bezug auf Gesichtsformveränderungen beschreiben und demzufolge interpretierbar sind.

Diese Doktorarbeit untersucht, ob eine Kombination beider Kategorien von Ansätzen dabei helfen könnte, interpretierbare Systeme mit guter Vorhersageleistung zu bauen. Datengetriebene Modelle des maschinellen Lernens und ein veränderbares Gesichtsformmodell wurden in ein probabilistisches Framework zur Zustandsschätzung integriert, um kontinuierliche Intensitäten von 22 verschiedenen AUs zu schätzen. Um die Robustheit und Praxistauglichkeit des Frameworks zu verstärken, wurden Funktionen entwickelt, die die verschiedenen Herausforderungen bei der automatischen Erkennung der AUs bewältigen. Die vorgeschlagene Methode ermöglicht eine feinkörnige Analyse der Gesichtsausdrücke.  Zusätzlich zur Schätzung der AU-Intensitäten wurde in dieser Doktorarbeit auch die Anwendbarkeit der geschätzten AU-Intensitäten für die automatische Analyse von mentalen Zuständen wie Schmerz und Ablenkung untersucht. Die Ergebnisse dieser Dissertation zeigen, dass mehr interdisziplinäre Forschung erforderlich ist, um die Herausforderungen auf dem Gebiet der automatischen Analyse der mentalen Zustände anzugehen.

Teena Hassan wurde 1984 in Kochi, Indien, geboren und erwarb dort 2006 ihren Bachelor in Informatik und Ingenieurwissenschaften. Anschließend war sie bis 2011 als Softwareingenieurin im Bereich Tele- und Datenkommunikation tätig. Von 2011 bis 2014 absolvierte sie an der Hochschule Bonn-Rhein-Sieg ihr Masterstudium im Fach Autonome Systeme. Darauffolgend war sie bis 2018 als Wissenschaftliche Mitarbeiterin am Fraunhofer Institut für Integrierte Schaltungen IIS in Erlangen beschäftigt. Seit 2018 arbeitet sie an der Universität Bielefeld als Wissenschaftliche Mitarbeiterin und forscht im Bereich soziale Mensch-Roboter-Interaktion. Von 2015 bis 2020 promovierte sie als externe Doktorandin an der Universität Bamberg in der Fakultät Wirtschaftsinformatik und Angewandte Informatik.