Neural Networks: Architectures and Applications for NLP
Kursbeschreibung
| Studiengang | Modulkürzel | Leistungs- bewertung |
|---|---|---|
| BA-2010[100%|75%] | CS-CL | 6 LP |
| BA-2010[50%] | BS-CL | 6 LP |
| BA-2010[25%] | BS-CL | 4 LP |
| BA-2010 | AS-CL | 8 LP |
| Master | SS-CL, SS-TAC | 8LP |
| Dozenten/-innen | Julia Kreutzer |
| Veranstaltungsart | PS/HS |
| Erster Termin | 24.10.2017 |
| Zeit und Ort | Di, 14:15–15:45, INF 327 / SR 2 (SR) |
| Commitment-Frist | 28.01.18 |
Teilnahmevoraussetzungen
- Mathematische Grundlagen der CL
- Programmieren I (Python)
- Statistical Methods for CL oder vergleichbare Grundlagen in Maschinellem Lernen
Leistungsnachweis
- Regelmäßige Teilnahme
- Bearbeitung von Übungsblättern
Inhalt
In der Vorlesung werden grundlegende Techniken und Architekturen des maschinellen Lernens mit Neuronalen Netzen vorgestellt. Es wird außerdem ein Framework für Deep Learning vorgestellt und in Übungsaufgaben zur Implementierung verschiedener Modelle verwendet.
Es stehen folgende Fragestellungen im Vordergrund:
Was sind Neuronale Netze? Und was ist Deep Learning?
Wie kann man Neuronale Netze implementieren und trainieren?
Wodurch begründet sich der Erfolg dieser Modelle?
Welche Architekturen eignen sich für welche Aufgaben?
Welche Herausforderungen ergeben sich mit der Verarbeitung von natürlicher Sprache?
Ziel des Seminars ist es, ein praxisorientiertes Verständnis der Prinzipien und grundlegenden Architekturen zu vermitteln, sodass die Studierenden danach fähig sind, eigenständig Modelle mit Neuronalen Netzen für NLP-Anwendungen zu implementieren. Die Benotung erfolgt auf der Grundlage der Übungsaufgaben, für deren Bearbeitung jeweils mehrere Wochen zu Verfügung stehen.
Kursübersicht
Seminarplan
| Datum | Sitzung | Materialien |
| 24.10.17 | Einführung, Orga | Orga, Session01 |
| 31.10.17 | FEIERTAG | Übung1 (Update: 09.11.), Anleitung |
| 07.11.17 | Gradient Descent, Backprop, Computation Graphs | Session02 (Update; 16.1.18), Notebook Demo |
| 14.11.17 | Hyperparameter, Tuning | Session03, TF Intro Notebook (Update 21.11.) |
| 21.11.17 | NLP from Scratch, Word Embeddings | Session04, Übung2 (Update 12.12.) |
| 27.11.17 00:01 | Abgabefrist Übung1 | |
| 28.11.17 | Convolutional Neural Networks | Session05, more TF |
| 05.12.17 | Tensorboard, Recursive NN, Besprechung Übung1 | Tensorboard, Tree Recursive Networks (Stanford) |
| 12.12.17 | Recurrent Neural Networks | TF naive RNN, Session06 |
| 18.12.17 00:01 | Abgabefrist Übung2 | |
| 19.12.17 | Character-RNNs for Text Generation | Übung: Xmas CharRNN (Update: 8.1.18), Session07 (Anleitung zur Übung), Übung3 |
| 09.01.18 | Vanishing RNN Gradienst, LSTM, GRU | Session08 (Update 9.1.18) |
| 16.01.18 | Encoder-Decoder, Neural Machine Translation (1) | Session09 (Update 16.1.18) |
| 23.01.18 | Attention, Neural Machine Translation (2), Machine Reading | Session10 |
| 28.01.18 | Commitmentfrist | |
| 30.01.18 | Multitask Learning | Session11 |
| 05.02.18 00:01 | Abgabefrist Übung3 | |
| 06.02.18 | Hackathon | Session12, Kaggle: Toxic Comment Classification |
Wiki
WikiseiteLiteratur
- Goldberg, Yoav: "A Primer on Neural Network Models for Natural Language Processing." [pdf]
- Cho, Kyunghyun: "Natural Language Understanding with Distributed Representation" [pdf]
- Stanford Course CS224d (Richard Socher): "Deep Learning for Natural Language Processing" [syllabus], [videos]
