Semantic Parsing
Kursbeschreibung
| Studiengang | Modulkürzel | Leistungs- bewertung |
|---|---|---|
| BA-2010 | AS-FL | 8 LP |
| Master | SS-CL, SS-FAL | 8 LP |
| Dozent | Kurt Eberle |
| Veranstaltungsart | |
| Sprache | Deutsch |
| Erster Termin | 19.10.2020 |
| Letzter Termin | 23.10.2020 |
| Zeit und Ort | Täglich, 09:15-14:30, ??? |
| Commitment-Frist | tbd. |
Teilnahmevoraussetzungen
Einführung in die Computerlinguistik. Kenntnisse in Logik
Leistungsnachweis
Modalitäten des Scheinerwerbs: Präsentation oder Klausur am Ende des Seminars
Inhalt
'Semantic Parsing' beschreibt die Aufgabe, sprachlichen Aussagen verschiedener Art in strukturierter Weise semantische Repräsentationen zuzuweisen. Klassifiziert werden kann diese Aufgabe nach der Art der Äußerung und dem Zweck der Repräsentation, nach der Tiefe der semantischen Auswertung und nach der verwendeten Abbildungsmethode und dem Typus der Repräsentation.
Am Anfang des Seminars steht ein Überblick über Formalismen die häufig bei der semantischen Repräsentation verwendet werden, u.a. mit Frame Semantics, Prädikatenlogik, 'Lambda Dependency-Based Semantics', und Diskursrepräsentationsstrukturen und deren charakteristischen und distinktiven Merkmalen. Von hier aus wenden wir uns dem Parsing-Prozess zu mit diversen Arten und Graden flacher und tiefer semantischer Analyse von (statistischem) Semantic Slot Filling bis zu detaillierten Repräsentationen aus syntaktischen Analysen entsprechend dem Montague'schen Kompositionsprinzip, mit regel-basierten und statistischen Methoden. Anwendungsfelder sind Erkennung und Repräsentation von 'Moves', Intentionen und Slot-Inhalten in Mensch-Maschine Dialogen, 'konventionelle' Diskursanalyse und automatische Programmgenerierung aus natürlichsprachlichen Beschreibungen.
Kursübersicht
Seminarplan
| Montag | Folien | ||
| 9.15 | Einführung | Seminarüberblick | Intro |
| 11.00 | 'Tiefe Analysen' | Der Ausgangspunkt: Montague-Grammatik http://www.coli.uni-saarland.de/courses/underspecification-06/slides/01-mg.pdf |
PL |
| 13.00 | DRT und regel-basierte Implementierung tiefer Analysen | DRT | |
| Dienstag | |||
| 9.15 | 'Flache Analysen' | Preference Semantics (Wilks Fass 1992) | PrefSem |
| 11.00 | Frame Semantics (Barsalou 1992), (Fillmore Baker 2001) (Löbner 2014) |
LearnComp | |
| 13.00 | Lerne flache Repräsentationen: Alexa, LUIS (Kumar et al 2018), (Williams 2015a), (Williams 2015b) |
Alexa | |
| Mittwoch | |||
| 9.15 | 'Tiefere' Analysen lernen | λ-DCS, DCS (Liang 2013), (Liang et al. 2011) (DCS) | |
| 11.00 | Bringing machine learning and compositional semantics together (Liang Potts 2014, Liang 2016) |
||
| 13.00 | Generell | Semantic Parsing as Machine Translation (Andreas et al 2013) |
MT |
| Donnerstag | |||
| 9.15 | Use Hybrid Trees | Multilingual Semantic Parsing: Parsing Multiple Languages into Semantic Representations (Jie, Lu 2014) |
MultiLing |
| 11.00 | Learn PCG | Learning to Map Sentences to Logical Form: Structured Classification with Probabilistic Categorial Grammars (Zettlemoyer, Collins 2012) |
PCGs |
| 13.00 | Learn Rep with NN | Data Recombination for Neural Semantic Parsing (Jia Liang 2016) |
DataReComb |
| Freitag | |||
| 9.15 | Learn Rep with NN | Improving Semantic Parsing for Task Oriented Dialog (Einolghozati et al 2018) |
TODtrees |
| 11.00 | Anwendungen: Code-Generierung | A Syntactic Neural Model for General-Purpose Code Generation (Yin, Neubig 2017) |
ASTCodeGen |
| 13.00 | Abstract Syntax Networks for Code Generation and Semantic Parsing (Rabinovich et al 2017) Schlussdiskussion |
||
Literatur
| Formalisms | Montague Grammar |
|
Montague 1974 |
Formal philosophy: selected papers of Richard Montague (including 'EFL' and 'PTQ') |
| English as a Formal Language | |
|
The proper treatment of Quantification in Ordinary English |
|
|
Janssen 2017 |
Montague Semantics, https://plato.stanford.edu/archives/spr2017/entries/montague-semantics |
| Preference Semantics | |
|
Wilks Fass 1992 |
The Preference Semantics Family |
| Frame Semantics | |
| Fillmore Baker 2001 | Frame Semantics for Text Understanding |
| Barsalou 1992 | Frames, concepts, and conceptual fields |
|
Löbner 2014 |
Evidence for Frames from Human Language |
|
FOL |
|
| Blackburn, Bos 2005
Chap 1 |
Representation and Inference for Natural Language (The pdf is the older 1997 version, please use the current, more extended version (2005), which is not freely available however) |
| Bird et al 2007 | Natural Language Processing with Python |
|
DRT |
|
| Kamp H. 1981 | A theory of truth and semantic representation |
| Kamp H., Reyle U. 1993 | From Discourse to Logic |
| Kamp et al 2011 | Discourse Representation Theory |
| Geurts, Beaver, Maier 2007, 2011 |
Discourse Representation Theory Stanford Encyclopedia of Philosophy https://plato.stanford.edu/entries/discourse-representation-theory/ |
|
λ-DCS, DCS |
|
| Liang et al 2011 |
Learning Dependency-Based Compositional Semantics |
| Liang 2013 | Lambda dependency-based compositional semantics |
|
Natural Logics |
|
| MacCartney, Manning 2009 | An extended model of natural logic |
|
Moss 2009 |
Natural logic and semantics |
| Robot controller languages | |
|
Matuszek et al. 2012 |
Learning to parse natural language commands to a robot control system |
| DB query languages | |
| Zelle, Mooney 1996 |
Learning to parse database queries using inductive logic programming |
| Language Models | |
| Bert | (Devlin et al. 2018) |
| Elmo | https://allennlp.org/elmo |
| GPT-3 |
https://arxiv.org/pdf/2005.14165.pdf
https://news.developer.nvidia.com/openai-presents-gpt-3-a-175-billion-parameters-language-model/ |
| Parsing | |
| (Deep) | |
| Liang Potts 2014 |
Bringing machine learning and compositional semantics together |
| Liang 2016 |
Learning executable semantic parsers for natural language understanding |
| Zettlemoyer, Collins 2012 |
Learning to Map Sentences to Logical Form: Structured Classification with Probabilistic Categorial Grammars |
| Andreas et al 2013 | Semantic Parsing as Machine Translation |
| Berant et al 2013 |
Semantic Parsing on Freebase from Question-Answer Pairs |
| Jia Liang 2016 | Data Recombination for Neural Semantic Parsing |
| (Shallow) | |
| Simard et al 2014 |
Enabling non-experts to build models interactively for large-scale lopsided problems https://arxiv.org/abs/1409.4814 |
| Kumar et al 2018 |
Just ASK:Building an Architecture for Extensible Self-Service Spoken Language Understanding |
| Williams et al 2015a |
Rapidly scaling dialog systems with interactive learning |
| Williams et al 2015b |
Fast and easy language understanding for dialog systems with Microsoft Language Understanding Intelligent Service (LUIS) |
| Williams et al 2017 |
Hybrid code networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning |
| Dialog | |
| Mesnil et al 2013 |
Representations used on the ATIS dataset: slot filling task Investigation of recurrent-neural network architectures and learning methods for spoken language understanding |
| Williams et al 2016 |
Representations in the Dialog State Tracking Challenge The dialog state tracking challenge series: A review. |
| Gupta et al 2018 |
Semantic Parsing for Task Oriented Dialog using Hierarchical Representations |
| Einolghozati et al 2018 |
Improving Semantic Parsing for Task Oriented Dialog |
| Code Generation | |
| Rabinovich et al 2017 |
Abstract Syntax Networks for Code Generation and Semantic Parsing |
| Yin, Neubig 2017 |
A Syntactic Neural Model for General-Purpose Code Generation |
| Resources | |
| Freebase
Google 2013 |
https://developers.google.com/freebase/ |
| Knowledge Graph
Google 2015 |
https://developers.google.com/knowledge-graph/ |
