Ruprecht-Karls-Universität Heidelberg
Institut für Computerlinguistik

Bilder vom Neuenheimer Feld, Heidelberg und der Universität Heidelberg

Evaluation von NLP-Systemen

Kursbeschreibung

Studiengang Modulkürzel Leistungs-
bewertung
BA-2010[100%|75%] CS-CL 6 LP
BA-2010[50%] BS-CL 6 LP
BA-2010[25%] BS-AC, BS-FL 4 LP
Dozenten/-innen Jakob Schuster
Veranstaltungsart Proseminar
Sprache Deutsch
Erster Termin 16.10.2024
Zeit und Ort Mittwochs, 13:15-14:45, INF 329 / SR 26
Commitment-Frist tbd.

Teilnahmevoraussetzungen

  • Programmieren I und Einführung in die Computerlinguistik oder ähnliche Einführungsveranstaltungen
  • Hilfreich: Mathematische Grundlagen der Computerlinguistik

Leistungsnachweis

  • Aktive Teilnahme
  • Seminarvortrag
  • Ein zweiter Vortrag oder Implementationsprojekt

Inhalt

Die großen Fortschritte der letzten Jahre im Bereich NLP sind zu einem großen Teil auf die Verfügbarkeit groß angelegter Evaluationsdaten und den dazugehörigen Metriken zurückzuführen. Diese ermöglichen idealerweise einen objektiven Vergleich verschiedener Systeme, helfen bei der Quantifizierung von Fortschritt und bieten Orientierung für zukünftige Forschung. Da diese Benchmarks jedoch in immer kürzeren Zeiträumen übertroffen werden, liegt es nahe, dass diese Bewertungspraktiken mit der Entwicklung von NLP-Systemen nicht mehr mithalten können.
In diesem Seminar werden wir das Problem der Evaluierung in NLP aus einer breiten Perspektive untersuchen.


Themen des Seminars sind u.a.

  • Automatische Evaluationsmetriken
  • Protokolle für manuelle Bewertungen von Outputqualität
  • Erhebung geeigneter Evaluationsdaten
  • Fallstricke und bewährte Praktiken in der Evaluation von Ergebnissen
  • LLM-basierte Evaluation
  • LLM Benchmarking

Literatur

Wird zu Beginn des Semesters bekannt gegeben.

» weitere Kursmaterialien

zum Seitenanfang