Emotionen sind neben der propositionalen Information ein Hauptbestandteil der menschlichen Interaktion. Im Gegensatz zu Methoden der Informationsextraktion, die sich auf Fakten und Beziehungen konzentrieren, wurde der Emotionsanalyse vergleichsweise wenig Aufmerksamkeit geschenkt und sie ist komputationell noch nicht gut verstanden. Zwei populäre Teilaufgaben der Emotionsanalyse bei der Verarbeitung natürlicher Sprache sind die Emotionskategorisierung und die Erkennung von Emotionsstimuli. Bei der Emotionskategorisierung wird der Text in vordefinierte Kategorien eingeteilt, z.B. Freude, Traurigkeit, Angst, Wut, Ekel und Überraschung. Bei der Stimuluserkennung müssen Textsegmente identifiziert werden, die beschreiben, was passiert ist, dass eine assoziierte Emotion verursacht hat. Zum Beispiel wird der Text "Ich bin so glücklich, dass meine Mutter mich besuchen wird" mit Freude assoziiert und der Teil "meine Mutter mich besuchen wird" beschreibt den Stimulus. Neben der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) wurde das Visual Computing auch zur Kategorisierung von Emotionen eingesetzt, z.B. zur Interpretation von Gesichtsausdrücken von Emotionen, zur Abschätzung der Wirkung künstlerischer Werke auf eine Person oder zur Bewertung dargestellter Ereignisse oder Gegenstände. Für die Stimuluserkennung wurde ein ähnliches Gegenstück zum NLP gefunden, bei dem relevante Regionen in Bildern erkannt wurden. Es gibt jedoch keine Arbeiten auf dem Gebiet der visuellen Datenverarbeitung, die ganze Szenen (mit Beziehungen zwischen dargestellten Objekten und Orten) für die Erkennung von Emotionsreizen zusammensetzen; insbesondere sind sie nicht durch Emotionstheorien (wie es für NLP getan wurde) informiert. In dem Projekt wird der Stand der Forschung in mehreren Richtungen vorangetrieben: (1) Wir werden Appraisaltheoriebasierte Interpretationen von Bildern aus sozialen Medien hinsichtlich ihrer emotionalen Konnotation und ihres Reizes entwickeln. (2) werden wir diese Forschung mit unseren früheren Arbeiten zur Emotionskategorisierung und Stimuluserkennung im Text kombinieren, um multimodale Ansätze zu entwickeln. (3) werden wir dies sowohl aus der Perspektive der Autorin eines Social-Media-Beitrags (welche Emotion drückt sie aus?) als auch aus der Perspektive der beabsichtigten oder wahrscheinlichen Emotion eines Lesers (welche Emotion möchte eine Autorin hervorrufen, welche Emotion könnte ein Leser empfinden?) tun. Wir werden daher einen Beitrag zur Entwicklung von Verfahren zur multimodalen Emotionsanalyse leisten, welche die Sicherheit verbessern werden, dass relevante Emotions-bezogen Informationen von komputationellen Verfahren nicht übersehen wird. Weiterhin werden wir Forschungsfragen darüber beantworten, wie Nutzer von Social Media ihre Emotionen kommunizieren, was ihre Wahl der Modalitäten beeinflusst und wie die Beziehung zwischen den Modalitäten ist.

Das Projekt startet im Mai 2024 und wird von der Deutschen Forschungsgemeinschaft (DFG) finanziert. Carina Silberer von der Universität Stuttgart ist eine Mitverantwortliche Person.