Embeddings - Materialübersicht
Zugriffsbeschränkte Kursseite
Im Laufe des Semesters werden auf dieser Seite Kursmaterialien zur Verfügung gestellt.Kursübersicht
Seminarplan
| Datum | Sitzung | Materialien |
| 23.4. | Einführung/Organisation (Markert, Rehbein) | Folien Orga Folien Intro |
| 25.4. | Kollokationen, Assoziationen 1. Ordnung (Rehbein) | Folien (update 29.4.) |
| 30.4. | Informationstheorie (Markert) | Folien (Update 2.5) Readme Jupyter Julia Kreutzers Demo Notebook Übung I Notebook Lösung Übung I Abgabe Übung I 20.5 (!). |
| 2.5. | Hintergrund Lineare Algebra (Vektoren), sparse embeddings (Markert) | Folien (update 6.5) |
| 7.5. | Hintergrund lineare Algebra, Evaluation (Markert) | Folien |
| 9.5 (Pool) | Erste Übung (Kollokationen, sparse matrices) | Abgabe Vortragspräferenzen |
| 14.5 | Ergebnisse von sparse embeddings, Hintergrund zu Matrixfaktorisierung (Markert) | Folien I Folien II |
| 16.5 | Matrixfaktorisierung für dichte embeddings(Markert) | Folien Matrizen Abgabe Übung I jetzt am Montag 20.5 (!) |
| 21.5 | Matrixfaktorisierung für dichte embeddings (Markert) | Folien SVD (Update 11.6 !!!!) Übung II Lösung Übung II |
| 23.5 (Pool). | Zweite Übung (Matrixfaktorisierung) | |
| 28.5 | Neurale embeddings, word2vec (Rehbein) | Folien word2vec I |
| 30.5 | Feiertag | |
| 4.6 | Neurale Embeddings II (Rehbein) | Folien word2vec II Abgabe Übung II |
| 6.6 | SGNS, Glove, Evaluation (Rehbein) | Folien SGNS, GloVe Orga: Kurzvorträge |
| 11.6 | Erweiterungen (Rehbein) | Folien Evaluation Übung III Notebook Lösung Übung III |
| 13.6 (Pool) | Dritte Übung (neurale embeddings) | |
| 18.6 | Erweiterungen, Uncovering linguistic information (Rehbein) | Folien SkipGram-Erweiterungen (Update 24.6.) Folien Uncovering information |
| 20.6. | Feiertag | Abgabe Übung III, Ausgabe Übung IV (Tippfehler in Aufgabe 3.4 verbessert, 27.6.) Loesung Uebung IV |
| 25.6. | Subword embeddings, paragraph vectors (Rehbein) | Folien Subword and paragraph embeddings |
| 27.6. | Kompositionelle Embeddings (Rehbein, Studierende) | Wu et al. 2018 (Ivanov, Weber) Folien; Pagliardini et al. 2018 (Reuter, Schmidt) Folien |
| 2.7. | Multimodale Embeddings, Anwendungen (Markert, Studierende) | Bruni et al. 2012 (Zeiler, Hausner); Kiela & Bottou 2014 (Daub, Haubenreisser) Folien Übung IV Abgabe |
| 4.7.(Pool) | Vierte Übung (Klausurvorbereitung) | |
| 9.7. | Multimodale Embeddings, Multisense Embeddings (Markert, Rehbein, Studierende) | Glavas et al. 2017 (von Hassell, Ruland) Folien Huang et al. 2012 and Li & Jurafsky 2015 (Nguyen, Mell) Folien |
| 11.7. | Multilinguale Embeddings (Rehbein, Studierende) | Luong et al. 2015 (Logvinenko) Folien Mikolov et al. 2013 (Mai, Hartmann) Folien |
| 16.7. | Bias (Markert, Studierende | Park et al. 2018 (Denzel, Huang); Folien Garg et al. 2018 (Rebmann, Mingyang) Folien |
| 18.7. | Bias (Markert, Studierende) | Zhao et al. 2018 (Pirapakaran, Kaiser) |
| 23.7. | Wiederholung, QA, Klausurvorbereitung | Folien Quiz |
| 25.7. | entfällt | |
| 26.7. 9-12, INF 327, SR20 | Klausur (geplant 90 Minuten, Extrazeit nur damit nicht gehetzt). Formelsammlung (für nicht schon vorgegebene Fragen) wird zur Verfügung gestellt. |
Literatur & Fragen
| Datum | Vortragende | Papier | Fragen beantworten (wer) | Fragen & Emailadressen |
|---|---|---|---|---|
| 27.6. | Ivanov, Weber | Wu et al. 2018 | Logvinenko, von Hassell, Denzel, Mell | Fragen |
| 27.6. | Reuter, Schmidt | Pagliardini et al. 2018 | Daub, Rebmann, Huang | Fragen |
| 02.7. | Zeiler, Hausner | Bruni et al. 2012 | Kaiser, Mai, Nguyen, Hartmann | Fragen |
| 02.7. | Daub, Haubenreisser | Kiela and Botto 2014 | Mell, Ruland, Pirapakaran | Fragen |
| 09.7. | von Hassell, Ruland | Glavas et al. 2017 | Ivanov, Zeiler, Reuter, Daub | Fragen |
| 09.7. | Nguyen, Mell | Huang et al. 2012/ (Li & Jurafsky 2015)* | Mingyang, Denzel, Schmidt | Fragen |
| 11.7. | Logvinenko | Luong et al. 2015 | Weber, Haubenreisser, Kaiser, Pirapakaran | Fragen |
| 11.7. | Mai, Hartmann | Mikolov et al. 2013 | Rebmann, Huang, Hausner | Fragen |
| 16.7. | Denzel, Huang | Park et al. 2018 | Ivanov, Weber, Schmidt, Nguyen | Fragen |
| 16.7. | Rebmann, Mingyang | Garg et al. 2018 | Zeiler, Haubenreisser, Reuter, Hartmann | Fragen |
| 18.7. | Pirapakaran, Kaiser | Zhao et al. 2018 | von Hassell, Mai, Hausner, Ruland | Fragen |
* Fragen nur zu Huang et al. 2012 (nicht zu Li & Jurafsky 2015)
