Einführung in die Optimierung für Computerlinguisten
Kursbeschreibung
| Dozenten/-innen | Sascha Fendrich |
| Veranstaltungsart | Vorlesung |
| Zeit und Ort | Mi, 16:15 - 17:45, INF 325 / SR 24 (SR) |
| Studiengang | ABA, NBA, Magister |
| Modul-Kürzel | ABA: A13; NBA: CS-CL, BS-CL |
| Leistungsbewertung | ABA: 4 LP NBA: 6 LP |
Teilnahmevoraussetzungen
Kenntnis der mathematischen Grundlagen, die in den folgenden Veranstaltungen vermittelt werden:
- Formale Grundlagen
- Mathematischer Vorkurs
- Einführung in die statistische Sprachverarbeitung
- Einführung in die Logik
Keine Voranmeldung notwendig
Leistungsnachweis
regelmäßige Teilnahme, je nach Teilnehmerzahl Klausur oder mündliche Prüfung
Inhalt
Die (mathematische) Optimierung beschäftigt sich mit dem Problem, die optimalen Parameter eines Systems zu finden, indem eine das System beschreibende Zielfunktion maximiert bzw. minimiert wird. In diesem Kurs wollen wir ein grundlegendes Verständnis für Optimierungsverfahren entwickeln, um deren Einsetzbarkeit in der Computerlinguistik (z.B. mittels maschineller Lernverfahren, wie Support-Vektor-Maschinen, die auf Optimierungsmethoden beruhen) besser einschätzen zu können. Dabei werden wir uns auf die sogenannte konvexe Optimierung konzentrieren, für die es effiziente Lösungsverfahren gibt.
Kursübersicht
Seminarplan
| Datum | Sitzung | Stichpunkte |
| 21.04. | 1. Orga, Einführung, Konvexe Mengen | Intro*, Convsets+ |
| 28.04. | 2. Konvexe Mengen (Forts.), verallgemeinerte Ungleichungen | |
| 05.05. | 3. Konvexe Funktionen | Convfuncs |
| 12.05. | 4. Übung | |
| 19.05. | 5. Konvexe Funktionen (Forts.) | |
| 26.05. | 6. Konvexe Optimierung | Convopt |
| 02.06. | 7. Dualität | |
| 09.06. | 8. Zusammenfassung; Anwendungen: Approximation | |
| 16.06. | 9. Anwendungen: Statistisches Schätzen, Geometrische Probleme, SVMs | SVMs (Buch, Folien) |
| 23.06. | 10. Anwendungen: SVMs (Forts.); Algorithmen: Abstiegsverfahren | |
| 30.06. | 11. Algorithmen: Newton-Verfahren; Übung | Aufgabe (bis 7.7.) |
| 07.07. | 12. Integer Linear Programming, Diskussion | Example |
| 14.07. | 13. Diskussion, Ausblick, Fragen? | |
28.07. | 14. mündliche Prüfung im Besprechungsraum: INF325, Raum 107 | Themenliste+ |
* Korrektur (Tippfehler o.ä.) + Update
Literatur
- Stephen Boyd and Lieven Vandenberghe: Convex Optimization. Cambridge University Press, 2004.
- Steven Abney: Semisupervised Learning for Computational Linguistics. Chapman & Hall, 2008.
- Manfred Klenner: Grammatical Role Labeling with Integer Linear Programming, 2006.
- Taro Watanabe, Jun Suzuki, Hajime Tsukada, Hideki Isozaki: Online Large-Margin Training for Statistical Machine Translation, ACL 2007.
- Percy Liang, Alexandre Buchard-Côté, Dan Klein, Den Taskar: An End-to-End Discriminative Approach to Machine Translation, ACL 2006.
