Ringvorlesung: Warum müssen sich LLMs Sorgen machen?

Warum müssen sich LLMs Sorgen machen?

Vorlesungssprache: Englisch

Die Achillesferse der Forschung im Bereich der natürlichen Sprachverarbeitung war lange Zeit Rauschen in Datensätzen, insbesondere ungenaues Labelling. Obwohl es einen Paradigmenwechsel von kleinen Expertenmodellen, die auf gelabelten Datensätzen trainiert werden, zu großen Sprachmodellen (LLMs) gegeben hat, die auf weitgehend unmarkierten Daten trainiert werden und eine Vielzahl von Aufgaben lösen können, bleiben die Probleme der Überschätzung und Verzerrungen bestehen. In diesem Vortrag werde ich einige Methoden zur Unsicherheitsabschätzung in aufgabenorientierten Dialogen vorstellen und diese zur automatischen Korrektur der Beschriftungen in den zugrunde liegenden Datensätzen nutzen. Ich werde Hypothesen aufstellen, wie dies die Tür zur Lösung verwandter Probleme in LLMs öffnen könnte.

Über Prof. Dr. Milica Gašić:

Milica Gašić ist Professorin der Gruppe Dialogsystems and Machine Learning an der Heinrich-Heine-Universität Düsseldorf. Ihre Forschung konzentriert sich auf grundlegende Fragen der Dialogmodellierung zwischen Mensch und Computer und liegt im Schnittpunkt von natürlicher Sprachverarbeitung und maschinellem Lernen. Vor ihrer jetzigen Position war sie Dozentin für Spoken Dialogue Systems am Department of Engineering der Universität Cambridge, wo sie die Dialogue Systems Group leitete. Zuvor war sie Research Associate und Senior Research Associate in der gleichen Gruppe und Research Fellow am Murray Edwards College. Sie schloss ihre Promotion unter der Leitung von Professor Steve Young ab. Das Thema ihrer Dissertation war Statistical Dialogue Modelling, für die sie einen EPSRC PhD Plus Award erhielt. Sie hat einen MPhil-Abschluss in Computer Speech, Text and Internet Technology von der University of Cambridge und ein Diplom (BSc. equivalent) in Mathematik und Informatik von der Universität Belgrad. Sie ist Mitglied der ACL, Mitglied von ELLIS und Seniormitglied von IEEE sowie Mitglied des internationalen wissenschaftlichen Beirats des DFKI.