Evaluation von NLP-Systemen
Kursbeschreibung
Studiengang | Modulkürzel | Leistungs- bewertung |
---|---|---|
BA-2010[100%|75%] | CS-CL | 6 LP |
BA-2010[50%] | BS-CL | 6 LP |
BA-2010[25%] | BS-AC, BS-FL | 4 LP |
Dozenten/-innen | Jakob Schuster |
Veranstaltungsart |
|
Sprache | Deutsch |
Erster Termin | 16.10.2024 |
Zeit und Ort | Mittwochs, 13:15-14:45, INF 329 / SR 26 |
Commitment-Frist | tbd. |
Teilnahmevoraussetzungen
Leistungsnachweis
- Aktive Teilnahme
- Seminarvortrag
- Ein zweiter Vortrag oder Implementationsprojekt
Inhalt
Die großen Fortschritte der letzten Jahre im Bereich NLP sind zu einem großen Teil auf die Verfügbarkeit groß angelegter Evaluationsdaten und den dazugehörigen Metriken zurückzuführen. Diese ermöglichen idealerweise einen objektiven Vergleich verschiedener Systeme, helfen bei der Quantifizierung von Fortschritt und bieten Orientierung für zukünftige Forschung. Da diese Benchmarks jedoch in immer kürzeren Zeiträumen übertroffen werden, liegt es nahe, dass diese Bewertungspraktiken mit der Entwicklung von NLP-Systemen nicht mehr mithalten können. Themen des Seminars sind u.a.
In diesem Seminar werden wir das Problem der Evaluierung in NLP aus einer breiten Perspektive untersuchen.
Literatur