Ruprecht-Karls-Universität Heidelberg
Institut für Computerlinguistik

Bilder vom Neuenheimer Feld, Heidelberg und der Universität Heidelberg

Ableitung von Information aus Texten – Textual Entailment

Kursbeschreibung

Studiengang Modulkürzel Leistungs-
bewertung
BA-2010AS-FL8 LP
MasterSS-CL, SS-FAL8 LP
Dozent Kurt Eberle
Veranstaltungsart Hauptseminar
Sprache Deutsch
Erster Termin 02.08.2021
Letzter Termin 06.08.2021
Zeit und Ort Täglich, 9:15-14:30, tba
Commitment-Frist tbd.

Teilnahmevoraussetzungen

Einführung in die Computerlinguistik. Kenntnisse in Logik

Leistungsnachweis

Modalitäten des Scheinerwerbs: Präsentation oder Klausur am Ende des Seminars

Inhalt

Wann folgt ein Text aus einem anderen? In traditioneller formaler Semantik wird das mithilfe semantischer Repräsentationen überprüft: Es werden die Repräsentationen der beiden Texte berechnet, typischerweise im Rahmen einer Montague-grammatischen Modellierung, und dann überprüft, ob die Repräsentation des zweiten Textes formal-logisch aus der des ersten folgt.

Es ist keine neue Erkenntnis, dass Aussagen die Menschen typischerweise aus Texten ableiten oft über das hinausgehen was logische Inferenz liefern kann. Formal-semantisch ist versucht worden, solche Phänomene mit u.a. Abduktion und verschiedenen Default-Logiken zu modellieren.

Seit immer mehr Phänomene in der Computerlinguistik erfolgreich mit Machine Learning (ML) -Ansätzen modelliert werden können, gibt es aber auch entsprechende Verfahren für solche inhaltlichen Ableitungen. In diesem Sinne bedeutet 'Textual Entailment', das menschliche Ableitungsverhalten aus Daten die aus Paaren von (kurzen) Texten und noch kürzeren, daraus ableitbaren oder gerade nicht ableitbaren Aussagen (Hypothesen) bestehen zu lernen.

In dem Seminar wollen wir einen Blick darauf werfen, in welcher Weise semantische Informationen aus Texten abgeleitet und aufeinander bezogen werden können, wobei traditionelle Regel-basierte Verfahren moderneren Daten-getriebenen Verfahren gegenübergestellt werden.

Ausgangspunkt ist eine kurze Wiederholung verschiedener Arten tiefer und flacher Textrepräsentationen und ein Überblick entsprechender Inferenzphänomene. Dann betrachten wir kontrastiv die Erzeugung von semantischen Repräsentationen mit formalen versus ML-Mitteln. Der Hauptteil des Seminars widmet sich danach einer Reihe von Entailment-Ansätzen mit und ohne Repräsentationen, wobei das Gewicht auf neueren ML-basierten Ansätzen liegt.

Das Ziel ist, einen guten Überblick über neuere Arbeiten zum Thema zu gewinnen, auf der Grundlage eines guten formalen Verständnisses der Phänomene.

Kursübersicht

Seminarplan

Montag Folien
9.15 Einführung Seminarüberblick, Motivation:

Ableitungen aus Texten mit und ohne Repräsentationen,

Pascal Development Testsuite (Dagan,Glickman, Magnini 2006)

Intro
11.00 Inferenzarten Entailment , Conventional \& Conversational Implicature und die Pascal Development Suite

(Zaenen, Karttunen, Crouch 2005)

Inferenz
13.00 Sem. Repräsentationen Tief & flach: Prädikatenlogik vs 'Light-weight semantics'

(Blackburn Bos 2003) vs (Monz de Rijke 2001)

PL/LWS
Dienstag
9.15 Sem. Konstruktion Regel-basiert und ML:

Bringing machine learning and compositional semantics together (Liang Potts 2014, Liang 2016)

LiangPotts

Reichelt

11.00 Corpora Text-Meaning Corpora, Text-Hypothese Corpora Corps

Irion

TE-Systeme
13.00 Strings/Regeln Natural Logic (MacCartney Manning 2008a, 2008b) Simedrea
Mittwoch
9.15 Strings/Stat. Lernen mit Fea-Reps (MacCartney et al. 2006) Udaka
11.00 Neuronale Netze Baumbasierte CNNs für Text T und Hypothese H (Mou et al. 2016) Nguyen
13.00 LSTNs für T und H (Wang, Jiang 2016) Li
Donnerstag
9.15 nur alignierte Teile von T + H(Parikh et al. 2016 Filthaut
11.00 tree-LSTNs für T + H (Chen et al. 2017)
13.00 biLSTN für T + H + Anno (Nangia et al. 2017) Bugert
Freitag
9.15 Varianten Unterschiedliche Ingredienzien (Storks, Gao, Chai 2020)
11.00 Parsen in Graph-Strukturen (Lien, Kouylekov 2015)
13.00

Probleme

Zusammenfassung

Diskursrelationen (Mirkin, Dagan, Padó 2010) Riemenschneider

Literatur

(Übersicht zur Orientierung. Im Seminar wird natürlich nur ein eher kleiner Teil daraus besprochen)

1) Phänomene und Repräsentation
Blackburn, Bos 2003 Computational Semantics. Theoria 18(1): 27-45
Condoravdi, Crouch et al. 2003 Entailment, intensionality and text understanding
de Marneffe, Rafferty, Manning 2008 Finding contradictions in text
Sánchez Valencia 1991 Studies on Natural Logic and Categorial Grammar. Ph.D. thesis, Univ. of Amsterdam
Fyodorov, Winter, Francez 2000 A natural logic inference system
Lakoff 1970 Linguistics and Natural Logic
MacCartney Manning 2008a Natural Logic for Textual Inference
MacCartney Manning 2008b Modeling semantic Containment and Exclusion in Natural Language Inference
MacCartney Manning 2009 An extended model of natural logic
Mronz C., de Rijke 2001 Light-Weight Entailment Checking for Computational Semantics
Pinkal M., 2007 Seminar on Entailment
Zaenen, Karttunen, Crouch 2005 Local Textual Inference: Can it be Defined or Circumscribed? in: ACL 2005
2) Semantic Parsing
Conneau, A et al. 2017 Supervised learning of universal sentence representations from natural language inference data
Liang Potts 2014 Bringing machine learning and compositional semantics together
Liang 2016 Learning executable semantic parsers for natural language understanding
Zettlemoyer, Collins 2012 Learning to Map Sentences to Logical Form: Structured Classification with Probabilistic Categorial Grammars
3) Corpora, (Parallel) Meaning Banks
https://aclweb.org/aclwiki/Textual_Entailment_Resource_Pool
Abzianidze et al. 2017 The Parallel Meaning Bank: Towards a Multilingual Corpus of Translations Annotated with Compositional Meaning Representations
Banarescu et al. 2013 Abstract Meaning Representation for sembanking
Bentivogli et al. 2010 Building Textual Entailment Specialized Data Sets
Bos et al. 2017 The Groningen Meaning Bank
Bowman, Angeli, Potts, Manning, 2015 A large annotated corpus for learning natural language inference
Cooper et al. 1996 THE FRACAS TEXTUAL INFERENCE PROBLEM SET
Williams et al. 2018 A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference
4) Textual Entailment
Androutsopoulos, Malakasiotis 2010 A Survey of Paraphrasing and Textual Entailment Methods
Bentivogli et al. 2009 The fifth Pascal recognizing Textual Entailment Challenge
Bos , Markert. 2005 Recognising textual entailment with logical inference in: HLT/EMNLP 2005
Bos, Markert 2006 Combining Shallow and Deep NLP Methods for Recognizing Textual Entailment
Bowman, Gauthier, Rastogi, Gupta, Manning, Potts 2016 A fast unified model for parsing and sentence understanding
Burchardt A Modeling Textual Entailment with Role-Semantic Information
Cabrio Magnini 2010 Towards Qualitative Entailment of Textual Entailment Systems
Cabrio, Magnini 2009 Defining specialized entailment engines using natural logic relations. in Vetulani: Human Language Technology
Chambers et al. 2007 Learning Alignments and Leveraging Natural Logic
Chen, Zhu, Ling, Wei, Jiang, Inkpen 2017 Enhanced LSTM for natural language inference
Dagan, Glickman 2004 Probabilistic Textual Entailment: Generic Applied Modeling of Language Variability
Dagan, Dolan et al. 2009 Recognizing Textual Entailment: Rational, evaluation and approaches
Dagan, Glickman, Magnini 2006 The PASCAL recognising textual entailment challenge. In MLCW pp 177-190
de Salvo Braz et al. 2005 An Inference Model for Semantic Entailment in Natural Language
Kouylekov Magnini 2005 Tree-Edit Distance for Textual Entailment
Lien, Kouylekov 2015 Semantic Parsing for Textual Entailment
MacCartney 2009 Natural language inference
MacCartney et al. 2006 Learning to recognize features of valid textual entailments
Marelli et al. 2014 SemEval-2014 Task 1: Evaluation of compositional distributional semantic models on full sentences through semantic relatedness and textual entailment
Mirkin, Dagan, Padó 2010 Assessing the Role of Discourse References in Entailment Inference
Monz 1999 Contextual Inference in Computational Semantics
Mou, Men, Li, Xu, Zhang, Yan,Jin. 2016 Natural language inference by tree-based convolution and heuristic matching
Nangia, Williams, Lazaridou, Bowman 2017 The RepEval 2017 Shared Task: Multi-genre natural language inference with sentence representations. repeval01
Nairn et al. 2006 Computing Relative Polarity for Textual Entailment
Pazienza, Pennacchiotti, Zanzotto 2005 Learning Textual Entailment on a Distance Feature Space in : MLWC pp 240-260
Parikh, Täckström, Das Uszkoreit 2016 A decomposable attention model for natural language inference
Pérez, Alfonseca 2005 Using Bleu-like Algorithms for the Automatic Recognition of Entailment in: MLCW, p 191 et seq.
Quiñonero-Candela, Dagan et al 2005 Machine Learning Challenges:

Evaluating Predictive Uncertainty, Visual Object Classification and Recognizing Textual Entailment

First PASCAL Machine Learning Challenges Workshop, MLCW 2005(MLCW)

Storks,Gao, Chai 2020 Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches

https://arxiv.org/pdf/1904.01172.pdf

Szpektor et al. 2007 Instance-based Evaluation of Entailment Rule Acquisition
TE References 2017 ACLWeb list of references
Vanderwende, Dolan 2005 What Syntax Can Contribute in the Entailment Task in: MLWC p 205 et seq.
Wang , Jiang 2016 Learning natural language inference with LSTM

» weitere Kursmaterialien

zum Seitenanfang