Ruprecht-Karls-Universität Heidelberg
Institut für Computerlinguistik

Bilder vom Neuenheimer Feld, Heidelberg und der Universität Heidelberg

Semantic Parsing

Kursbeschreibung

Studiengang Modulkürzel Leistungs-
bewertung
BA-2010AS-FL8 LP
MasterSS-CL, SS-FAL8 LP
Dozent Kurt Eberle
Veranstaltungsart Hauptseminar
Sprache Deutsch
Erster Termin 19.10.2020
Letzter Termin 23.10.2020
Zeit und Ort Täglich, 09:15-14:30, ???
Commitment-Frist tbd.

Teilnahmevoraussetzungen

Einführung in die Computerlinguistik. Kenntnisse in Logik

Leistungsnachweis

Modalitäten des Scheinerwerbs: Präsentation oder Klausur am Ende des Seminars

Inhalt

'Semantic Parsing' beschreibt die Aufgabe, sprachlichen Aussagen verschiedener Art in strukturierter Weise semantische Repräsentationen zuzuweisen. Klassifiziert werden kann diese Aufgabe nach der Art der Äußerung und dem Zweck der Repräsentation, nach der Tiefe der semantischen Auswertung und nach der verwendeten Abbildungsmethode und dem Typus der Repräsentation.

Am Anfang des Seminars steht ein Überblick über Formalismen die häufig bei der semantischen Repräsentation verwendet werden, u.a. mit Frame Semantics, Prädikatenlogik, 'Lambda Dependency-Based Semantics', und Diskursrepräsentationsstrukturen und deren charakteristischen und distinktiven Merkmalen. Von hier aus wenden wir uns dem Parsing-Prozess zu mit diversen Arten und Graden flacher und tiefer semantischer Analyse von (statistischem) Semantic Slot Filling bis zu detaillierten Repräsentationen aus syntaktischen Analysen entsprechend dem Montague'schen Kompositionsprinzip, mit regel-basierten und statistischen Methoden. Anwendungsfelder sind Erkennung und Repräsentation von 'Moves', Intentionen und Slot-Inhalten in Mensch-Maschine Dialogen, 'konventionelle' Diskursanalyse und automatische Programmgenerierung aus natürlichsprachlichen Beschreibungen.

Kursübersicht

Seminarplan

Montag Folien
9.15 Einführung Seminarüberblick Intro
11.00 'Tiefe Analysen' Der Ausgangspunkt: Montague-Grammatik

http://www.coli.uni-saarland.de/courses/underspecification-06/slides/01-mg.pdf

PL
13.00 DRT und regel-basierte Implementierung tiefer Analysen DRT
Dienstag
9.15 'Flache Analysen' Preference Semantics (Wilks Fass 1992) PrefSem
11.00

Frame Semantics (Barsalou 1992), (Fillmore Baker 2001) (Löbner 2014)

LearnComp
13.00 Lerne flache Repräsentationen: Alexa, LUIS

(Kumar et al 2018), (Williams 2015a), (Williams 2015b)

Alexa
Mittwoch
9.15 'Tiefere' Analysen lernen λ-DCS, DCS (Liang 2013), (Liang et al. 2011) (DCS) DCS
11.00

Bringing machine learning and compositional semantics together (Liang Potts 2014, Liang 2016)

LearnComp Beispiel

13.00 Generell

Semantic Parsing as Machine Translation (Andreas et al 2013)

Donnerstag
9.15 Use Hybrid Trees

Multilingual Semantic Parsing: Parsing Multiple Languages into Semantic Representations (Jie, Lu 2014)

11.00 Learn PCG

Learning to Map Sentences to Logical Form: Structured Classification with Probabilistic Categorial Grammars (Zettlemoyer, Collins 2012)

13.00 Learn Rep with NN

Data Recombination for Neural Semantic Parsing (Jia Liang 2016)

Freitag
9.15 Learn Rep with NN

Improving Semantic Parsing for Task Oriented Dialog (Einolghozati et al 2018)

11.00 Anwendungen: Code-Generierung

A Syntactic Neural Model for General-Purpose Code Generation (Yin, Neubig 2017)

13.00

Abstract Syntax Networks for Code Generation and Semantic Parsing (Rabinovich et al 2017)

Schlussdiskussion

Literatur

Formalisms Montague Grammar

Montague 1974

Formal philosophy: selected papers of Richard Montague (including 'EFL' and 'PTQ')
English as a Formal Language

The proper treatment of Quantification in Ordinary English

Janssen 2017

Montague Semantics, https://plato.stanford.edu/archives/spr2017/entries/montague-semantics
Preference Semantics

Wilks Fass 1992

The Preference Semantics Family
Frame Semantics
Fillmore Baker 2001 Frame Semantics for Text Understanding
Barsalou 1992 Frames, concepts, and conceptual fields

Löbner 2014

Evidence for Frames from Human Language

FOL

Blackburn, Bos 2005

Chap 1

Representation and Inference for Natural Language

(The pdf is the older 1997 version, please use the current, more extended version (2005), which is not freely available however)

Bird et al 2007 Natural Language Processing with Python

DRT

Kamp H. 1981 A theory of truth and semantic representation
Kamp H., Reyle U. 1993 From Discourse to Logic
Kamp et al 2011 Discourse Representation Theory
Geurts, Beaver, Maier 2007, 2011

Discourse Representation Theory

Stanford Encyclopedia of Philosophy

https://plato.stanford.edu/entries/discourse-representation-theory/

λ-DCS, DCS

Liang et al 2011

Learning Dependency-Based Compositional Semantics

Liang 2013 Lambda dependency-based compositional semantics

Natural Logics

MacCartney, Manning 2009 An extended model of natural logic

Moss 2009

Natural logic and semantics
Robot controller languages

Matuszek et al. 2012

Learning to parse natural language commands to a robot control system

DB query languages
Zelle, Mooney 1996

Learning to parse database queries using inductive

logic programming

Language Models
Bert (Devlin et al. 2018)
Elmo https://allennlp.org/elmo
GPT-3 https://arxiv.org/pdf/2005.14165.pdf

https://news.developer.nvidia.com/openai-presents-gpt-3-a-175-billion-parameters-language-model/

Parsing
(Deep)
Liang Potts 2014

Bringing machine learning and compositional semantics together

Liang 2016

Learning executable semantic parsers for natural language understanding

Zettlemoyer, Collins 2012

Learning to Map Sentences to Logical Form: Structured Classification with Probabilistic Categorial Grammars

Andreas et al 2013 Semantic Parsing as Machine Translation
Berant et al 2013

Semantic Parsing on Freebase from Question-Answer Pairs

Jia Liang 2016 Data Recombination for Neural Semantic Parsing
(Shallow)
Simard et al 2014

Enabling non-experts to build models interactively for large-scale lopsided problems https://arxiv.org/abs/1409.4814

Kumar et al 2018

Just ASK:Building an Architecture for Extensible Self-Service Spoken Language Understanding

Williams et al 2015a

Rapidly scaling dialog systems with interactive learning

Williams et al 2015b

Fast and easy language understanding for dialog systems with Microsoft Language Understanding Intelligent Service (LUIS)

Williams et al 2017

Hybrid code networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning

Dialog
Mesnil et al 2013

Representations used on the ATIS dataset: slot filling task

Investigation of recurrent-neural network architectures and learning methods for spoken language understanding

Williams et al 2016

Representations in the Dialog State Tracking Challenge

The dialog state tracking challenge series: A review.

Gupta et al 2018

Semantic Parsing for Task Oriented Dialog using Hierarchical Representations

Einolghozati et al 2018

Improving Semantic Parsing for Task Oriented Dialog

Code Generation
Rabinovich et al 2017

Abstract Syntax Networks for Code Generation and Semantic Parsing

Yin, Neubig 2017

A Syntactic Neural Model for General-Purpose Code Generation

Resources
Freebase

Google 2013

https://developers.google.com/freebase/

https://en.wikipedia.org/wiki/Freebase

Knowledge Graph

Google 2015

https://developers.google.com/knowledge-graph/

» weitere Kursmaterialien

zum Seitenanfang