Erweiterte Suche | Seiten im Überblick

Statistical Learning Theory

Kursbeschreibung

Dozenten/-innen	Stefan Riezler
Veranstaltungsart	Hauptseminar
Erster Termin	24.04.2012
Zeit und Ort	Di, 16:15–17:45, INF 325 / SR 7 (SR)

Teilnahmevoraussetzungen

Grundbegriffe von Statistik und Machine Learning aus einschlägigen Veranstaltungen, z.B. aus Statistical Methods for Computational Linguistics.

Inhalt

"Statistical Learning Theory" (SLT) beschäftigt sich mit Fragestellungen, die allen Machine Learning Systemen zugrundeliegen bzw. zu deren Entwicklung geführt haben: Wie kann von begrenzten Datenmengen so gelernt werden, dass nicht nur das Rauschen der Trainingsdaten modelliert wird ("overfitting"), sondern auf ungesehenen Testdaten gute Voraussagen gemacht werden können ("generalization performance")? Zentrale Konzepte der SLT sind "generalization bounds", also Abschätzungen des Fehlers auf Testdaten, die von der Kapazität der Machine Learning Systeme und von der Verfügbarkeit von Trainingsdaten abhängen. Ziel des Hauptseminars ist das Kennenlernen dieser mathematischen Werkzeuge, besonders in Hinblick auf konkrete Anwendungen zur "model selection". Wir werden folgende Kapazitätskonzepte kennenlernen:

• Vapnik-Chervonenkis (VC) Dimension
• Rademacher Penalization
• Cross-Validation
• Bootstrap Penalization
• Resampling Penalization

Kursübersicht

Seminarplan

Datum	Sitzung	Referent
24.04.	Overview	Riezler
01.05.	Holiday
08.05.	Consistency and Generalization: Sections 1-3 of Luxburg and Schölkopf (2008). Statistical Learning Theory: Models, Concepts, Results.	Ulzhan Kadirbayeva
15.05.	Capacity Concepts and Generalization Bounds: Sections 4-5 of Luxburg and Schölkopf (2008). Statistical Learning Theory: Models, Concepts, Results.	Manuel Dewald
22.05.	VC Dimension: Sections 1, 2, 6 of Burges (1998). A Tutorial on Support Vector Machines for Pattern Recognition.	Sariya Karimova
29.05.	Rademacher Complexity I: Zhu et al. (2009). Human Rademacher Complexity.	Matthias Hummel
05.06.	Rademacher Complexity II: Kääriäinen et al. (2004). Selective Rademacher Penalization and Reduced Error Pruning of Decision Trees.	Angela Schneider
12.06.	Bootstrap & Cross-validation I: Chapter 7 of Hastie et al. (2008). The Elements of Statistical Learning.	Thorsten Beier
19.06.	Bootstrap & Cross-validation II: Isaksson et al. (2008). Cross-validation and bootstrapping are unreliable in small sample classification.	Thomas Bögel
26.06.	Permutation testing I: Chapter 15 of Efron and Tibshirani (1994). An Introduction to the Bootstrap.	Christoph Mayer
03.07.	Permutation testing II: Ojala & Garriga (2010). Permutation Tests for Studying Classifier Performance.	Hiko Schamoni
10.07.	ACL conference
17.07.	Permutation testing III: Jensen (1991). Knowledge Discovery Through Induction with Randomization Testing.	Annika Berger
24.07.	Permutation testing IV: Radivojac et al. (2004). Feature Selection Filters Based on the Permutation Test.	Danny Rehl

» weitere Kursmaterialien