Statistical Learning Theory
Kursbeschreibung
Studiengang | Modulkürzel | Leistungs- bewertung |
---|---|---|
BA-2010 | AS-CL | 8 LP |
NBA | AS-CL | 8 LP |
Master | SS-CL, SS-TAC | 8 LP |
Magister | - | - |
Dozenten/-innen | Stefan Riezler |
Veranstaltungsart | Hauptseminar |
Erster Termin | 24.04.2012 |
Zeit und Ort | Di, 16:15–17:45, INF 325 / SR 7 (SR) |
Teilnahmevoraussetzungen
Grundbegriffe von Statistik und Machine Learning aus einschlägigen Veranstaltungen, z.B. aus Statistical Methods for Computational Linguistics.
Inhalt
"Statistical Learning Theory" (SLT) beschäftigt sich mit Fragestellungen, die allen Machine Learning Systemen zugrundeliegen bzw. zu deren Entwicklung geführt haben: Wie kann von begrenzten Datenmengen so gelernt werden, dass nicht nur das Rauschen der Trainingsdaten modelliert wird ("overfitting"), sondern auf ungesehenen Testdaten gute Voraussagen gemacht werden können ("generalization performance")? Zentrale Konzepte der SLT sind "generalization bounds", also Abschätzungen des Fehlers auf Testdaten, die von der Kapazität der Machine Learning Systeme und von der Verfügbarkeit von Trainingsdaten abhängen. Ziel des Hauptseminars ist das Kennenlernen dieser mathematischen Werkzeuge, besonders in Hinblick auf konkrete Anwendungen zur "model selection". Wir werden folgende Kapazitätskonzepte kennenlernen:
- Vapnik-Chervonenkis (VC) Dimension
- Rademacher Penalization
- Cross-Validation
- Bootstrap Penalization
- Resampling Penalization