Erweiterte Suche | Seiten im Überblick

Neural Networks: Architectures and Applications for NLP

Kursbeschreibung

Dozenten/-innen	Julia Kreutzer, Julian Hitschler
Veranstaltungsart	Vorlesung/Übung
Erster Termin	25.10.2016
Zeit und Ort	Di, 14:15–15:45, INF 325 / SR 24 (SR)
	Do, 09:15–10:45, INF 346 / SR 10 (SR)
Commitment-Frist	tbd.

Teilnahmevoraussetzungen

• Mathematische Grundlagen der CL
• Programmieren I
• Statistical Methods for CL

Leistungsnachweis

• wöchentliche Übungen im Vorlesungsteil
• Referat oder Implementierungsprojekt im Seminarteil (nur als HS)
• wöchentliche Fragen zur Literatur im Seminarteil

Inhalt

Das Seminar ist in zwei Teile gegliedert: Im ersten Teil (Vorlesungsteil) werden grundlegende Techniken und Architekturen des maschinellen Lernens mit Neuronalen Netzen vorgestellt. In den begleitenden Übungen werden diese Grundlagen mit verschiedenen Frameworks für Deep Learning umgesetzt. Der zweite Teil (Seminarteil) besteht aus Referaten und Diskussionen zu komplexeren Modellen für spezifische Anwendungen in der Computerlinguistik. Dabei stehen folgende Fragestellungen im Vordergrund:

• Was sind Neuronale Netze? Und was ist Deep Learning
• Wodurch begründet sich der Erfolg dieser Modelle?
• Welche Architekturen eignen sich für welche Aufgaben?
• Welche Herausforderungen ergeben sich mit der Verarbeitung von natürlicher Sprache

Ziel des Seminars ist es, ein praxisorientiertes Verständnis der Prinzipien und grundlegenden Architekturen zu vermitteln, sodass die Studierenden danach fähig sind, eigenständig Modelle mit Neuronalen Netzen für NLP-Anwendungen zu implementieren.

Kursübersicht

Seminarplan

Datum	Sitzung	Materialien
25.10	Einführung, Organisation, MLP	Orga, Session01
27.10.	Übung	Orga/Implementierungsprojekte
01.11.	FEIERTAG
03.11.	Übung	Übung 1
08.11.	Aktivierungsfunktionen, Gradient Descent, Backpropagation, Computation Graph	Session02
10.11.	Übung	Übung 2 Trainingsdaten Testdaten
15.11.	Metaparameter, How to train your NN, NLP from Scratch	Session03
17.11.	Übung	Übung 3
22.11.	Word Embeddings, Convolutional Neural Networks	Session04
24.11.	Übung
29.11.	Recurrent Neural Networks, LSTMs, GRUs	Session05
01.12.	Übung	Übung 4 Wevi-Online Goldberg und Levy, 2014 Mikolov et al., 2014 Levy und Goldberg, 2014
06.12.	KONFERENZ
08.12.	Übung
13.12.	Encoder-Decoder, Neural Machine Translation	Session06
15.12.	Übung
20.12.	NN mit Struktur Tai et al. (2015): Improved Semantic Representations from Tree-Structured Long Short-Term Memory Networks Socher et al. (2011): Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection	Lutz Büch: Folien Lauritz Brandt: Folien
22.12.	Projekte
10.01.	CNN Marasović & Frank (2016): Multilingual Modal Sense Classification using a Convolutional Neural Network Saxe et al. (2011): On Random Weights and Unsupervised Feature Learning	Ana Marasović: Folien Artem Sokolov: Folien
12.01.	Projekte
17.01.	Natural Language Understanding Zhang et al. (2015): Character-level Convolutional Networks for Text Classification Sordoni et al. (2015): A Neural Network Approach to Context-⁠Sensitive Generation of Conversational Responses	Dorothea Hoff: Folien Angelika Kirilin: Folien
19.01.	Projekte
24.01.	Erweiterungen für RNNs Graves (2016): Adaptive Computation Time for Recurrent Neural Networks	Jayson Salazar: Folien
26.01.	Projekte
31.01.	Erweiterungen für Seq2Seq I Luong & Manning (2016): Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models	Catarina Cramer: Folien
02.02.	Projekte
07.02.	Erweiterungen für Seq2Seq II Gu et al. (2016): Incorporating Copying Mechanism in Sequence-to-Sequence Learning	Juri Opitz: Folien
09.02.	Projekte

Literatur

• Goldberg, Yoav: "A Primer on Neural Network Models for Natural Language Processing."
• Cho, Kyunghyun: "Natural Language Understanding with Distributed Representation",
• Stanford Course CS224d (Richard Socher): "Deep Learning for Natural Language Processing",