Bilder vom Neuenheimer Feld, Heidelberg und der Universität Heidelberg

Lehrveranstaltungen
heiCO
Ressourcen	Fachschaft
Studien-FAQ	Technik-FAQ

Embeddings

Kursbeschreibung

Studiengang	Modulkürzel	Leistungs- bewertung
BA-2010[100%\|75%]	CS-CL	6 LP
BA-2010[50%]	BS-CL	6 LP
BA-2010[25%]	BS-AC, BS-FL	4 LP

Dozenten/-innen	Ines Rehbein, Katja Markert
Veranstaltungsart	Vorlesung / Übung
Sprache	Deutsch
Erster Termin	23.04.2019
Zeit und Ort	Dienstag, 11:15-12:45, INF 329 / SR 26 Donnerstag, 11:15-12:45, INF 329 / SR 26
Commitment-Frist	tbd.

Teilnahmevoraussetzungen

Einführung in die Computerlinguistik
Programmieren I

Leistungsnachweis

Modalitäten des Scheinerwerbs

Aktive Teilnahme (Lektüre, Kurzreferate/Diskussionsbeiträge)
Bearbeitung von Übungsaufgaben (theoretische sowie Programmieraufgaben)
Klausur

Inhalt

Repräsentationen von Wörtern oder anderen lingustischen Einheiten (Buchstaben, Phrasen, etc.) sind ein nicht wegzudenkender Bestandteil in vielen NLP-Anwendungen. Sie sind nicht nur die einzgen Features in neuralen End-to-end-Systemen, sondern werden auch in vielen "vintage" Machine-Learning-Systemen eingesetzt (z.B. zur Textklassifikation mit SVMs etc.).

Im Kurs werden wir uns mit verschiedene Arten neuraler Embeddings beschäftigen, aber auch mit den sogenannten zähl-basierten Repräsentationen, die auf der Frequenz von Kookkurenzen in großen Korpora basieren.

Grundlagenthemen, die wir behandeln, sind

Grundlagen lineare Algebra
zähl-basierte BOW-Techniken und Matrix-Faktorisierung (TF-IDF, SVD/LSA/PCA)
neurale und andere Embeddings (Skipgram und BOW, Glove, Fasttext, Flair)
Evaluation von Embeddings, Probleme, Bias

Weiterführende Themen werden aus den folgenden Bereichen unter Berücksichtigung des Interesses der Teilnehmenden ausgewählt:

Variationen von Skipgram
Multilingual Embeddings
Multimodal Embeddings
Multisense Embeddings
Character embeddings, phrase-based embeddings, compositionality

Die Veranstaltung ist kein Deep-Learning-Kurs und ersetzt nicht die Veranstaltung "Neural Networks: Architectures and Applications for NLP".

Kursübersicht

Seminarplan

Datum

Sitzung

Materialien

Literatur

Meist frei erhältlich und wird zu Semesterbeginn bekanntgegeben.