Erweiterte Suche | Seiten im Überblick

Deep Learning

Kursbeschreibung

Dozenten/-innen	Stefan Riezler
Veranstaltungsart	Hauptseminar
Erster Termin	23.10.2014
Zeit und Ort	Do, 14:15–15:45, INF 346 / SR 10 (SR)
Commitment-Frist	18.01.2015

Teilnahmevoraussetzungen

Grundlagen der Wahrscheinlichkeitstheorie und Linearen Algebra, z.B. aus Mathematischem Grundkurs; Erfolgreicher Abschluss des Kurses Statistical Methods for Computational Linguistics.

Leistungsnachweis

• Aktive und regelmässige Teilnahme sowie wöchentliches vorbereitendes Lesen der Papiere
• Referat inklusive Vorbereitung von Diskussionsfragen
• Implementierungsprojekt/Hausarbeit

Inhalt

Die Veranstaltung befasst sich mit Methoden des "Deep Learning", auch bekannt als "Representation Learning" oder "Feature Learning". Anstelle Feature-Repräsentationen von Daten manuell zu erstellen, ist die zentrale Idee dieses Ansatzes, abstrakte und hierarchisch aufgebaute Repräsentationen automatisch zu lernen. Die Veranstaltung stellt Methoden vor, solche Repräsentationen zu erlernen, und vergleicht diese anhand computerlinguistischer Anwendungen.

Mögliche Themenbereiche sind:

• Verteilte und tiefe Repräsentationen
• Single-layer Netzwerke
• Multi-layer Netzwerke
• Überwachtes und unüberwachtes Lernen für tiefe Netzwerke
• Vergleich zu verwandten Methoden
• Implementierung
• Anwendungen

Links

• deeplearning.net
• Stanford DL class
• Upcoming textbook

Kursübersicht

Seminarplan

Meeting	Material	Referent
23.10.	Introduction	Riezler
30.10.	Anderson and Hinton (1981). Models of Information Processing in the Brain. Michael Jordan (2014) "Let’s not impose artificial constraints based on cartoon models of topics in science that we don’t yet understand."	Jani Takhsha
6.11.	Collobert and Bengio (2004). Links between Perceptrons, MLPs and SVMs.	Tobias Graf
13.11.	Erhan et al. (2010). Why Does Unsupervised Pre-training Help Deep Learning?	Thomas Haider
20.11.	Le Roux and Bengio (2007). Representational Power of Restricted Boltzmann Machines and Deep Belief Networks.	Julian Hitschler
27.11.	Saxe et al. (2010). On Random Weights and Unsupervised Feature Learning.	Artem Sokolov
11.12.	Devlin et al. (2014). Fast and Robust Neural Network Joint Models for Statistical Machine Translation.	reading group
18.12.	Bengio et al. (2003). A Neural Probabilistic Language Model.	Amin Kiem
8.1.	Collobert et al. (2011). Natural Language Processing (Almost) from scratch.	Julia Kreutzer
15.1.	Socher et al. (2011). Dynamic pooling and unfolding recursive autoencoders for paraphrase detection.	Dennis Ulmer
22.1.	Srivastava et al. (2013). Modeling Documents with a Deep Boltzmann Machine. Wu et al. (2014). Deep Semantic Embedding.	Juri Opitz
29.1.	Bahdanau et al. (2014). Neural Machine Translation by Jointly Learning to Align and Translate.	Patrick Simianer
5.2.	Sundermeyer et al. (2014). Translation Modeling with Bidirectional Recurrent Neural Networks.	Hiko Schamoni