Spoken Language Translation
Kursbeschreibung
| Studiengang | Modulkürzel | Leistungs- bewertung |
|---|---|---|
| BA-2010 | AS-CL | 8 LP |
| NBA | AS-CL | 8 LP |
| Master | SS-CL, SS-TAC | 8 LP |
| Magister | - | - |
| Dozenten/-innen | Laura Jehl |
| Veranstaltungsart | Hauptseminar |
| Erster Termin | 22.10.2014 |
| Zeit und Ort | Mi, 16:15–17:45, INF 325 / SR 23 (SR) |
| Commitment-Frist | 18.01.2015 |
Teilnahmevoraussetzungen
Grundlagen der Wahrscheinlichkeitstheorie und Linearen Algebra, z.B. aus Mathematischem Grundkurs; Erfolgreicher Abschluss des Kurses Statistical Methods for Computational Linguistics.
Leistungsnachweis
- Aktive und regelmässige Teilnahme sowie wöchentliches vorbereitendes Lesen der Papiere
- Referat inklusive Vorbereitung von Diskussionsfragen
- Implementierungsprojekt oder Hausarbeit - **NEU** Erwartungshorizont für mehr Information
Inhalt
Spoken Language Translation (SLT) ist eine der schwierigsten Aufgaben für maschinelle Übersetzung (MT): Anstatt klar abgegrenzter Sätze in bereinigter Sprache, wie im Standardszenario der Übersetzung von schriftlichen Nachrichtentexten, hat SLT zum Ziel, gesprochene Sprache zu übersetzen. Diese kann sich strukturell stark von geschriebener Sprache unterscheiden, etwa durch Phänomene wie Interjektionen oder Verzögerungslaute, Wiederholungen und Korrekturen (englisch "disfluencies"). Zusätzliche Schwierigkeiten entstehen durch Fehler bei der automatischen Spracherkennung (ASR), die dem Übersetzungsschritt vorangeht. Nach einer kurzen Einführung in die automatische Spracherkennung und maschinelle Übersetzung sollen neueste Lösungsansätze zu spezifischen Problemen der SLT besprochen werden.
Mögliche Themenbereiche sind:
- Automatisches Pre-Processing von ASR Output für SLT
- Entdeckung und Beseitigung von disfluencies
- Anpassung von Übersetzungssystemen für SLT
- Gemeinsame Optimierung von ASR und SLT
- Post-Editing von SLT Output
- Datensets und konkrete Anwendungen
Kursübersicht
Seminarplan
| Datum | Sitzung | Materialien | ReferentIn |
| 22.10.2014 | Intro | fragebogen.txt Slides 1 |
|
| 29.10.2014 | SMT Recap: Wort- und phrasenbasierte MT, log-lineares Modell, diskriminatives Training, Language Models, Evaluation | koehn "statistical machine translation", kap. 4,5,7,8,9, Folien |
LJ |
| 5.11.2014 | Speech Processing Intro 1: Grundlagen der Phonetik, akustische Modelle, | Jurafsky and Martin "Speech and Language Processing", Second Edition, Kap. 7, Folien |
LJ |
| 12.11.2014 | Speech Processing Intro 2: Noisy Channel Model, Systemarchitektur, Gaussian HMMs | Jurafsky and Martin "Speech and Language Processing", Second Edition (2009), Kap. 9 Holmes and Holmes "Speech Synthesis and Recognition", Second Edition (2001), Kap. 9 und Kap. 10 Folien |
LJ |
| 19.11.2014 | Properties of spoken language and difficulties for speech recognition | Shriberg, Elizabeth. Spontaneous Speech: How People Really Talk and Why Engineers Should Care. Interspeech 2005.
Link Goldwater et al. Which words are hard to recognize? Prosodic, lexical, and disfluency factors that increase speech recognition error rates. Speech Communication, vol. 52, 2010. Link Folien |
Eppinger |
| 26.11.2014 | Speech Translation Resources | Cettolo et al. WIT3: Web Inventory of Transcribed and Translated Talks. EAMT 2012.
Link Kikui et al. Comparative study on corpora for speech translation. Audio, Speech, and Language Processing 14.5 (2006). Link Folien |
Fritz |
| 3.12.2014 | Text normalisation for SLT | Matusov et al. Automatic sentence segmentation and punctuation prediction for spoken language translation. IWSLT 2006.
Link Peitz et al. Modeling punctuation prediction as machine translation. IWSLT 2011. Link |
Burst |
| 10.12.2014 | Praxissession | Aufgaben | LJ |
| 17.12.2014 | Coupling ASR and SMT 1 - N-best lists | Zhang et al. A Unified Approach in Speech-to-Speech Translation: Integrating Features of Speech recognition and Machine Translation. CoLing 2004.
Link Quan et al. Integrated n-best re-ranking for spoken language translation. Interspeech 2005. Link Folien |
Hitschler |
| 7.1.2015 | Coupling ASR and SMT 2 - Lattice and confusion network decoding | Bertoldi et al. Speech translation by confusion network decoding. ICASSP 2007.
Link Zhang et al. A decoding algorithm for word lattice translation in speech translation. IWSLT 2005. Link Ergänzende Literatur: |
Reading Group |
| 14.1.2015 | Simulating ASR errors in the translation system | Tsvetkov et al. Augmenting Translation Models with Simulated Acoustic Confusions for Improved Spoken Language Translation. EACL 2014.
Link Aue et al. MSR-FBK IWSLT 2013 SLT System Description. IWSLT 2013 Link Folien |
Mänz |
| 21.1.2014 | Praxissession II | Aufgaben (aktualisiert) | LJ |
| 28.1.2015 | Error-aware SLT/ Speech-to-speech translation | Prasad et al. Active error detection and resolution for speech-to-speech translation. IWSLT 2012.
Link Hashimoto et al. Impacts of machine translation and speech synthesis on speech-to-speech translation. Speech Communication 54.7 (2012) Link |
Gorzitze |
| 5.2.2015 | Real-world systems | Cho et al. A Real-World System for Simultaneous Translation of German Lectures. Interspeech 2013.
Link Bach et al. The CMU TransTac 2007 Eyes-free and Hands-free Two-way Speech-to-Speech Translation System. IWSLT 2007. Link |
Takhsha |
Literatur
Eine Liste möglicher Referatsthemen wird in der ersten Seminarsitzung bekannt gegeben.
