Ruprecht-Karls-Universität Heidelberg
Bilder vom Neuenheimer Feld, Heidelberg und der Universität Heidelberg

Neural Networks: Architectures and Applications for NLP

Kursbeschreibung

Studiengang Modulkürzel Leistungs-
bewertung
BA-2010[100%|75%] CS-CL 6 LP
BA-2010[50%] BS-CL 6 LP
BA-2010[25%] BS-CL 4 LP
BA-2010 AS-CL 8 LP
Master SS-CL, SS-TAC 8LP
Dozenten/-innen Julia Kreutzer
Veranstaltungsart PS/HS
Erster Termin 24.10.2017
Zeit und Ort Di, 14:1515:45, INF 327 / SR 2 (SR)
Commitment-Frist tbd.

Teilnahmevoraussetzungen

  • Mathematische Grundlagen der CL
  • Programmieren I (Python)
  • Statistical Methods for CL oder vergleichbare Grundlagen in Maschinellem Lernen

Leistungsnachweis

  • Regelmäßige Teilnahme
  • Bearbeitung von Übungsblättern

Inhalt

In der Vorlesung werden grundlegende Techniken und Architekturen des maschinellen Lernens mit Neuronalen Netzen vorgestellt. Es wird außerdem ein Framework für Deep Learning vorgestellt und in Übungsaufgaben zur Implementierung verschiedener Modelle verwendet.

Es stehen folgende Fragestellungen im Vordergrund:

Was sind Neuronale Netze? Und was ist Deep Learning?
Wie kann man Neuronale Netze implementieren und trainieren?
Wodurch begründet sich der Erfolg dieser Modelle?
Welche Architekturen eignen sich für welche Aufgaben?
Welche Herausforderungen ergeben sich mit der Verarbeitung von natürlicher Sprache?

Ziel des Seminars ist es, ein praxisorientiertes Verständnis der Prinzipien und grundlegenden Architekturen zu vermitteln, sodass die Studierenden danach fähig sind, eigenständig Modelle mit Neuronalen Netzen für NLP-Anwendungen zu implementieren. Die Benotung erfolgt auf der Grundlage der Übungsaufgaben, für deren Bearbeitung jeweils mehrere Wochen zu Verfügung stehen.

Kursübersicht

Seminarplan

Datum Sitzung Materialien

Literatur

  • Goldberg, Yoav: "A Primer on Neural Network Models for Natural Language Processing."
  • Cho, Kyunghyun: "Natural Language Understanding with Distributed Representation"
  • Stanford Course CS224d (Richard Socher): "Deep Learning for Natural Language Processing"

» weitere Kursmaterialien

zum Seitenanfang