Generating and Interpreting Referring Expressions in Context Dustin - - PowerPoint PPT Presentation

Generating ¡and ¡Interpreting ¡Referring ¡Expressions ¡in ¡Context

Dustin ¡Smith

The ¡three ¡readers ¡

Henry ¡ Lieberman Agustín Rayo Marvin Minsky

Types ¡of ¡Referring ¡Expressions

classification from [Cruse 2011]

• 4. ¡Descrip+ons ¡(NPs): ¡ ¡(a) ¡definite
• 1. ¡Proper ¡Names ¡ ¡(Frank, ¡Boston)
• 2. ¡Pronouns ¡(Frank ¡visited ¡boston ¡and ¡he ¡enjoyed ¡it)
• 3. ¡Deic+cs ¡(here, ¡tomorrow, ¡I, ¡now)

Types ¡of ¡Referring ¡Expressions

I’d ¡like ¡the ¡tuna

classification from [Cruse 2011]

• 4. ¡Descrip+ons ¡(NPs): ¡ ¡(a) ¡definite
• 1. ¡Proper ¡Names ¡ ¡(Frank, ¡Boston)
• 2. ¡Pronouns ¡(Frank ¡visited ¡boston ¡and ¡he ¡enjoyed ¡it)
• 3. ¡Deic+cs ¡(here, ¡tomorrow, ¡I, ¡now)

Types ¡of ¡Referring ¡Expressions

I’d ¡like ¡a ¡tuna

• 1. ¡Proper ¡Names ¡ ¡(Frank, ¡Boston)
• 2. ¡Pronouns ¡(Frank ¡visited ¡boston ¡and ¡he ¡enjoyed ¡it)

classification from [Cruse 2011]

• 3. ¡Deic+cs ¡(here, ¡tomorrow, ¡I, ¡now)
• 4. ¡Descrip+ons ¡(NPs): ¡ ¡(a) ¡definite, ¡(b) ¡indefinite

Types ¡of ¡Referring ¡Expressions

I ¡usually ¡like ¡tuna

classification from [Cruse 2011]

• 4. ¡Descrip+ons ¡(NPs): ¡ ¡(a) ¡definite, ¡(b) ¡indefinite, ¡(c) ¡generic
• 1. ¡Proper ¡Names ¡ ¡(Frank, ¡Boston)
• 2. ¡Pronouns ¡(Frank ¡visited ¡boston ¡and ¡he ¡enjoyed ¡it)
• 3. ¡Deic+cs ¡(here, ¡tomorrow, ¡I, ¡now)

Types ¡of ¡Referring ¡Expressions

I’d ¡like ¡the ¡Albacore ¡tuna

classification from [Cruse 2011]

• 4. ¡Descrip+ons ¡(NPs): ¡ ¡(a) ¡definite, ¡(b) ¡indefinite, ¡(c) ¡generic
• 1. ¡Proper ¡Names ¡ ¡(Frank, ¡Boston)
• 2. ¡Pronouns ¡(Frank ¡visited ¡boston ¡and ¡he ¡enjoyed ¡it)
• 3. ¡Deic+cs ¡(here, ¡tomorrow, ¡I, ¡now)

Types ¡of ¡Referring ¡Expressions

I’d ¡like ¡the ¡Albacore ¡tuna

classification from [Cruse 2011]

• 4. ¡Descrip+ons ¡(NPs): ¡ ¡(a) ¡definite, ¡(b) ¡indefinite, ¡(c) ¡generic
• 1. ¡Proper ¡Names ¡ ¡(Frank, ¡Boston)
• 2. ¡Pronouns ¡(Frank ¡visited ¡boston ¡and ¡he ¡enjoyed ¡it)
• 3. ¡Deic+cs ¡(here, ¡tomorrow, ¡I, ¡now)

Ambiguity: financial/river/blood/sperm bank

Ambiguity: financial/river/blood/sperm bank Widening: does financial banks include ATMs?

Ambiguity: financial/river/blood/sperm bank Widening: does financial banks include ATMs? “the”: User believes a single such referent exists

Ambiguity: financial/river/blood/sperm bank Vagueness: how “new” is a new bank? Widening: does financial banks include ATMs? “the”: User believes a single such referent exists

“new”: The description “the bank” alone would have included 1+ older banks. Ambiguity: financial/river/blood/sperm bank Vagueness: how “new” is a new bank? Widening: does financial banks include ATMs? “the”: User believes a single such referent exists

Context-­‑dependent ¡Meanings

example from [Rayo 2007]

Go ¡to ¡the ¡blue ¡house

Context-­‑dependent ¡Meanings

example from [Rayo 2007]

Go ¡to ¡the ¡blue ¡house

+ “the blue ones”

Context Set Referring Expression Interpretation

Context-­‑dependence ¡

Context-­‑dependent ¡issues ¡in ¡Interpreta+on:

• ­‑ ¡ambiguity ¡(phonological, ¡lexical, ¡scope, ¡structural)
• ­‑ ¡compound ¡nominals
• ­‑ ¡ellipsis
• ­‑ ¡figuraBve ¡language ¡(metaphor, ¡metonymy,hyperbole, ¡...)
• ­‑ ¡implicit ¡assumpBons ¡(presupposiBons)
• ­‑ ¡implicit ¡expected ¡inferences ¡(implicatures)
• ­‑ ¡irony
• ­‑ ¡mistakes ¡in ¡spelling ¡or ¡grammar
• ­‑ ¡unspecific ¡descripBons
• ­‑ ¡vagueness

?

“the ¡blue ¡ones”

[Sperber ¡& ¡Wilson, ¡2012]

+ “the blue ones”

Context Set Referring Expression Interpretation

Context-­‑dependence ¡

Context-­‑dependent ¡issues ¡in ¡Interpreta+on:

• ­‑ ¡ambiguity ¡(phonological, ¡lexical, ¡scope, ¡structural)
• ­‑ ¡compound ¡nominals
• ­‑ ¡ellipsis
• ­‑ ¡figuraBve ¡language ¡(metaphor, ¡metonymy,hyperbole, ¡...)
• ­‑ ¡implicit ¡assumpBons ¡(presupposiBons)
• ­‑ ¡implicit ¡expected ¡inferences ¡(implicatures)
• ­‑ ¡irony
• ­‑ ¡mistakes ¡in ¡spelling ¡or ¡grammar
• ­‑ ¡unspecific ¡descripBons
• ­‑ ¡vagueness

?

[Sperber ¡& ¡Wilson, ¡2012]

“the ¡blue ¡ones”

[Tanenhaus, Spivey-Knowlton, Eberhard, & Sedivy, 1995]

Incremental ¡Interpretation

• 1. ¡ ¡Maintain ¡a ¡working ¡hypothesis ¡and ¡revise ¡if ¡necessary

Let’s ¡go ¡fish ¡by ¡the ¡bank ¡

[Tanenhaus, Spivey-Knowlton, Eberhard, & Sedivy, 1995]

Incremental ¡Interpretation

• 1. ¡ ¡Maintain ¡a ¡working ¡hypothesis ¡and ¡revise ¡if ¡necessary

Let’s ¡go ¡fish ¡by ¡the ¡bank ¡ ¡of ¡America

[Tanenhaus, Spivey-Knowlton, Eberhard, & Sedivy, 1995]

Incremental ¡Interpretation

• 1. ¡ ¡Maintain ¡a ¡working ¡hypothesis ¡and ¡revise ¡if ¡necessary

Let’s ¡go ¡fish ¡by ¡the ¡bank ¡ ¡of ¡America Let’s ¡go ¡watch ¡a ¡short ¡movie

[Tanenhaus, Spivey-Knowlton, Eberhard, & Sedivy, 1995]

Incremental ¡Interpretation

• 1. ¡ ¡Maintain ¡a ¡working ¡hypothesis ¡and ¡revise ¡if ¡necessary

Let’s ¡go ¡fish ¡by ¡the ¡bank ¡ ¡by ¡Ken ¡Burns ¡of ¡America Let’s ¡go ¡watch ¡a ¡short ¡movie

• 2. ¡ ¡Disambiguate ¡as ¡soon ¡as ¡evidence ¡is ¡available.

[Tanenhaus, Spivey-Knowlton, Eberhard, & Sedivy, 1995]

Incremental ¡Interpretation

• 1. ¡ ¡Maintain ¡a ¡working ¡hypothesis ¡and ¡revise ¡if ¡necessary

Let’s ¡go ¡fish ¡by ¡the ¡bank ¡ “put ¡the ¡[blue ¡triangle ¡on ¡the ¡tray] ¡on ¡the ¡box” ¡ ¡by ¡Ken ¡Burns ¡of ¡America Let’s ¡go ¡watch ¡a ¡short ¡movie

• 2. ¡ ¡Disambiguate ¡as ¡soon ¡as ¡evidence ¡is ¡available.

[Tanenhaus, Spivey-Knowlton, Eberhard, & Sedivy, 1995]

Incremental ¡Interpretation

• 1. ¡ ¡Maintain ¡a ¡working ¡hypothesis ¡and ¡revise ¡if ¡necessary

Let’s ¡go ¡fish ¡by ¡the ¡bank ¡ “put ¡the ¡[blue ¡triangle ¡on ¡the ¡tray] ¡on ¡the ¡box” ¡

• 3. ¡ ¡Use ¡presence ¡of ¡contrasBve ¡modifiers ¡immediately

“put ¡the ¡tall ¡-­‑-­‑” ¡by ¡Ken ¡Burns ¡of ¡America Let’s ¡go ¡watch ¡a ¡short ¡movie

Involving ¡Speaker ¡and ¡Hearer

Genera+on: ¡given ¡an ¡intended ¡meaning, ¡produce ¡a ¡referring ¡ expression ¡that ¡will ¡allow ¡a ¡human ¡listener ¡to ¡derive ¡it Interpreta+on: ¡Given ¡a ¡human ¡speaker’s ¡referring ¡expression, ¡ infer ¡her ¡intended ¡meaning

I’d ¡like ¡the ¡Albacore ¡tuna Okay

Involving ¡Speaker ¡and ¡Hearer

Genera+on: ¡given ¡an ¡intended ¡meaning, ¡produce ¡a ¡referring ¡ expression ¡that ¡will ¡allow ¡a ¡human ¡listener ¡to ¡derive ¡it Interpreta+on: ¡Given ¡a ¡human ¡speaker’s ¡referring ¡expression, ¡ infer ¡her ¡intended ¡meaning

I’d ¡like ¡the ¡Albacore ¡tuna Okay I’d ¡like ¡tuna

Involving ¡Speaker ¡and ¡Hearer

Genera+on: ¡given ¡an ¡intended ¡meaning, ¡produce ¡a ¡referring ¡ expression ¡that ¡will ¡allow ¡a ¡human ¡listener ¡to ¡derive ¡it Interpreta+on: ¡Given ¡a ¡human ¡speaker’s ¡referring ¡expression, ¡ infer ¡her ¡intended ¡meaning

I’d ¡like ¡the ¡Albacore ¡tuna Okay I’d ¡like ¡tuna I’d ¡like ¡the ¡tuna ¡burger

/122

Related ¡Work

• 1. Generating ¡referring ¡expressions ¡using ¡planning ¡ ¡

Appelt ¡1985; ¡Stone ¡& ¡Doran, ¡1997; ¡ ¡Koller ¡& ¡Stone ¡2007; ¡Koller ¡& ¡Petrick ¡ 2011 1. Modeling ¡vague ¡and ¡gradable ¡adjectives ¡ ¡Lassiter ¡2011; ¡Klein ¡1990; ¡ Bartsch ¡& ¡Vennermann ¡1976; ¡Zadeh ¡1975; 2. Modeling ¡both ¡generation ¡and ¡interpretation ¡Winograd ¡1976; ¡Appelt ¡ 1986; ¡ ¡Heeman ¡& ¡Hirst ¡1995

• 2. Interpretation ¡models ¡that ¡use ¡“Theory ¡of ¡Mind” ¡

reasoning ¡about ¡generation. ¡Benotti ¡and ¡Traum ¡2009; ¡ ¡Bergen ¡

et ¡al ¡2012; ¡ ¡Goodman ¡& ¡Stuhlmüller ¡2013; ¡ ¡Vogel ¡et ¡al ¡2013 23

What’s ¡missing? ¡ ¡Computational ¡models ¡of ¡interpretation ¡and ¡ generation ¡that ¡are ¡fast, ¡incremental, ¡non-­‑deterministic, ¡and ¡ address ¡context-­‑dependencies.

/122 24

Presentation ¡Overview

I. A ¡computational ¡model ¡for ¡Automatically ¡Interpreting ¡& ¡ Generating ¡Referring ¡Expressions ¡(AIGRE)

1. Generation ¡as ¡belief-­‑state ¡planning, ¡Interpretation ¡as ¡plan-­‑recognition

• fast
• incremental
• non-­‑deterministic

2. Handles ¡context-­‑dependent ¡word ¡meanings ¡for ¡a ¡fragment ¡of ¡English ¡NPs 3. Evaluation ¡on ¡Mechanical ¡Turk ¡Data

• II. IntegraBon ¡of ¡both ¡processes ¡to ¡model ¡the ¡hearer’s ¡about ¡

speakers’ ¡decisions

Context-­‑dependent ¡Meanings

¡the ¡blue ¡house

Context-­‑dependent ¡Meanings

¡the ¡blue ¡house

Context-­‑dependent ¡Meanings

¡the ¡blue ¡house

. . . ∴ ¬blue1

Context-­‑dependent ¡Meanings

¡the ¡blue ¡house

. . . ∴ ¬blue1

x = x1349A3

NLU/NLG ¡Pipelines

NLU/NLG ¡Pipelines

The ¡“Lexical ¡Approach”

[Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011]

Meaning Representation Meaning Representation All linguistic encoding decisions All linguistic decoding decisions Referring Expression Generation Interpretation Context

The ¡“Lexical ¡Approach”

Meaning Representation Meaning Representation All linguistic encoding decisions All linguistic decoding decisions Referring Expression Generation Interpretation Context

[Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011]

Given ¡varying ¡initial ¡conditions

The ¡“Lexical ¡Approach”

Meaning Representation Meaning Representation All linguistic encoding decisions All linguistic decoding decisions Referring Expression Generation Interpretation Context

[Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011]

Given ¡varying ¡initial ¡conditions Choose ¡content, ¡words, ¡and ¡arrange ¡ them ¡in ¡order

The ¡“Lexical ¡Approach”

Meaning Representation Meaning Representation All linguistic encoding decisions All linguistic decoding decisions Referring Expression Generation Interpretation Context

[Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011]

Given ¡varying ¡initial ¡conditions Stop ¡when ¡ ¡ communication ¡goal ¡is ¡met Choose ¡content, ¡words, ¡and ¡arrange ¡ them ¡in ¡order

Generation ¡→ ¡Planning

lexical ¡entries encoded ¡meaning

the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ Both ¡as ¡(1) ¡an ¡intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡(denotaMon)

goal

meaning ¡that ¡idenMfies ¡targets change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints

ac+ons

change ¡the ¡state

state

representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡problem ¡or ¡environment

goal

desired ¡state(s)

• ne2

Generation ¡→ ¡Planning

lexical ¡entries encoded ¡meaning

the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ Both ¡as ¡(1) ¡an ¡intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡(denotaMon)

goal

meaning ¡that ¡idenMfies ¡targets change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints

ac+ons

change ¡the ¡state

state

representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡problem ¡or ¡environment

goal

desired ¡state(s)

the cost: 0.01 1 size:7 2 size:7

Generation ¡→ ¡Planning

lexical ¡entries encoded ¡meaning

the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ Both ¡as ¡(1) ¡an ¡intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡(denotaMon)

goal

meaning ¡that ¡idenMfies ¡targets change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints

ac+ons

change ¡the ¡state

state

representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡problem ¡or ¡environment

goal

desired ¡state(s)

state ac+on state

70, ∞)

• ne2

cost: 2.55 3 size:1 6 size:1

Generation ¡→ ¡Planning

lexical ¡entries encoded ¡meaning

the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ Both ¡as ¡(1) ¡an ¡intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡(denotaMon)

goal

meaning ¡that ¡idenMfies ¡targets change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints

ac+ons

change ¡the ¡state

state

representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡problem ¡or ¡environment

goal

desired ¡state(s)

state ac+on goal ¡state

C1 C2 C3

/122

The ¡CIRCLES ¡referential ¡domain

34

C1 C2 C3

• ne2

/122

The ¡CIRCLES ¡referential ¡domain

35

C1 C2 C3

• ne2

/122 36

“the ¡big ¡one”

R=3

C1 C2 C3

/122 37

“the ¡green ¡circles”

C1 C2 C3

“a ¡green ¡circle”

“a ¡green ¡circle”

“a ¡green ¡circle”

“any ¡two ¡circles”

Representing ¡Referents

Belief ¡states ¡represent ¡an ¡intensional ¡descrip.on ¡of ¡the ¡ reference ¡domain. ¡ ¡This ¡is ¡a ¡conBnuum ¡between ¡a ¡category ¡of ¡ enBBes ¡and ¡a ¡single ¡enBty ¡in ¡the ¡referenBal ¡domain.

symbolic ¡

c1 c2 c3

visual ¡ aNribute-­‑value ¡

Representing ¡Referents

Belief ¡states ¡represent ¡an ¡intensional ¡descrip.on ¡of ¡the ¡ reference ¡domain. ¡ ¡This ¡is ¡a ¡conBnuum ¡between ¡a ¡category ¡of ¡ enBBes ¡and ¡a ¡single ¡enBty ¡in ¡the ¡referenBal ¡domain.

symbolic ¡

c1 c2 c3

Representing ¡Belief ¡States

• Contradiction

[Sussman & Radul 2009] Download at http://eventteam.github.io/beliefs/

Belief ¡contain ¡aNributes ¡defined ¡by ¡data ¡structures ¡called ¡cells: ¡

Representing ¡Belief ¡States

• Contradiction

[Sussman & Radul 2009] Download at http://eventteam.github.io/beliefs/

Belief ¡contain ¡aNributes ¡defined ¡by ¡data ¡structures ¡called ¡cells: ¡

Representing ¡Belief ¡States

Belief ¡contain ¡aNributes ¡defined ¡by ¡data ¡structures ¡called ¡cells: ¡ The ¡same ¡extension ¡does ¡not ¡imply ¡the ¡same ¡intension.

≠

• Contradiction

⊨ ¡{C1, ¡C2}

Download at http://eventteam.github.io/beliefs/

[Sussman & Radul 2009]

A ¡belief ¡state ¡about ¡CIRCLES

intension extension ¡(denotation)

Representing ¡Properties

intension extension ¡(denotation)

intension extension ¡(denotation)

Representing ¡Singular

intension extension ¡(denotation)

Representing ¡Singular

restricts ¡size ¡of ¡target ¡set

Representing ¡Plurals

intension

extension ¡(denotation)

Representing ¡“any”

intension

extension ¡(denotation)

Representing ¡“any”

intension

extension ¡(denotation)

restricts ¡size ¡of ¡difference ¡ between ¡target ¡set ¡and ¡largest ¡set

Representing ¡“the”

intension

extension ¡(denotation)

Representing ¡“the”

intension

extension ¡(denotation)

Representing ¡“the”

intension

extension ¡(denotation)

Representing ¡“the”

intension

extension ¡(denotation)

Determiner ¡meanings

This ¡simple ¡representation ¡captures ¡a ¡wide ¡range ¡of ¡articles ¡(the, ¡ a) ¡and ¡quantifier ¡meanings ¡(without ¡scope).

/122 53

Presentation ¡Overview

I. A ¡computational ¡model ¡for ¡Automatically ¡Interpreting ¡& ¡ Generating ¡Referring ¡Expressions ¡(AIGRE)

1. Generation ¡as ¡belief-­‑state ¡planning, ¡Interpretation ¡as ¡plan-­‑recognition

• fast
• incremental
• non-­‑deterministic

2. Handles ¡context-­‑dependent ¡word ¡meanings ¡for ¡a ¡fragment ¡of ¡English ¡NPs

• unspeci1ic ¡meanings
• quanti1iers
• ambiguity
• vagueness
• ellipsis

3. Evaluation ¡on ¡Turk ¡Data

• II. IntegraBon ¡of ¡both ¡processes ¡to ¡model ¡the ¡hearer’s ¡about ¡

speakers’ ¡decisions

C1 C2 C3

• ne2

/122 54

“the ¡big ¡one”

/122

KINDLES ¡referential ¡domain

55

K1 K2 K3 K4 K5

/122 56

K1 K2 K3 K4 K5

“the ¡big ¡one”

Lexical ¡Ambiguity

The ¡same ¡lexical ¡item ¡can ¡generate ¡mulBple ¡outcomes ¡due ¡to ¡ two ¡types ¡of ¡lexical ¡ambiguity:

Polysemy

Homonymy 1 1 2 4 2 3 big light ¡(weight) light ¡(color)

K5 K1 K2 K3 K4 K6

• s

• ne2

• ne2

• ne2

/122 58

“the ¡big ¡one”

• s

• ne2

• ne2

• ne2

/122 59

“the ¡big ¡one”

• s

• ne2

• ne2

• ne2

/122 60

“the ¡big ¡one”

• s

• ne2

• ne2

• ne2

/122 61

“the ¡big ¡one”

• s

• ne2

• ne2

• ne2

/122 62

“the ¡big ¡one”

Vagueness

• 1. Insufficient ¡informaBon ¡for ¡the ¡communicaBonal ¡goal. ¡
• 2. Existence ¡of ¡borderline ¡cases.

• verweight?

heap? red?

[van ¡Deemter, ¡2010]

K1 K2 K3 K4 K5

Vagueness

ParBBon ¡on ¡all ¡possible ¡standards ¡of ¡comparison ¡for ¡the ¡context ¡

• set. ¡ ¡With ¡5 ¡disBnct ¡PRICE ¡values, ¡“expensive” ¡could ¡have ¡5 ¡

meanings:

std ¡≥ ¡$379 std ¡≥ ¡$199 std ¡≥ ¡$149 std ¡≥ ¡$99

2 3 4 5 6 std ¡≥ ¡$79 1 expensive

/122 65

“the ¡big ¡ones”

• ne2

“the ¡second”

Ellipsis:

• ne2

“the ¡second”

Ellipsis:

• ne2

“the ¡second”

Ellipsis:

• ne2

“the ¡second”

Ellipsis:

/122 68

Presentation ¡Overview

I. A ¡computational ¡model ¡for ¡Automatically ¡Interpreting ¡& ¡ Generating ¡Referring ¡Expressions ¡(AIGRE)

1. Generation ¡as ¡belief-­‑state ¡planning, ¡Interpretation ¡as ¡plan-­‑recognition

• fast
• incremental
• non-­‑deterministic

2. Handles ¡context-­‑dependent ¡word ¡meanings ¡for ¡a ¡fragment ¡of ¡English ¡NPs

• unspeci1ic ¡meanings
• quanti1iers
• ambiguity
• vagueness
• ellipsis

3. Evaluation ¡on ¡Turk ¡Data

• Collecting ¡Data
• Generation ¡Coverage
• Interpretation ¡Coverage
• II. IntegraBon ¡of ¡both ¡processes ¡to ¡model ¡the ¡hearer’s ¡about ¡

speakers’ ¡decisions

/122

Collecting ¡Data

Created ¡web ¡interface ¡for ¡authoring ¡experiments

69

/122 70

Dataset ¡Details

Full ¡AIGRE ¡Generation ¡Output

/122

Evaluating ¡Generation ¡

72

{c1} {c2} {c3} {c1, c2} {c1, c3} {c2, c3} {c1, c2, c3}

0.0 0.2 0.4 0.6 0.8 1.0

Referring Expression Quality in CIRCLES domain for 15 Best-first Stochastic Hillclimbing Stochastic Hillclimbing with backtracking

/122

Generation ¡Quality

73

Scales ¡well ¡with ¡Lexicon ¡Size

Generation ¡scales ¡linearly ¡with ¡lexicon ¡size

Lexicon Size versus Search Time A* Best-first Stochastic Hillclimbing

Comparison of Search Methods for REG A* Search Best-first Search Stochastic Hillclimbing with Backtracking Stochastic Hillclimbing with 0.50 Backtracking

Scales ¡well ¡with ¡Task ¡Complexity

(p,d)-­‑task: ¡ ¡Given ¡p ¡properties ¡are ¡required ¡to ¡ distinguish ¡the ¡target ¡from ¡d ¡distractors.

[Koller ¡& ¡Petrick ¡2010]

/122 76

Evaluating ¡Interpretation

How ¡many ¡of ¡the ¡referring ¡expressions ¡could ¡AIGRE ¡ interpret ¡successfully?

/122

Preprocessing ¡Steps

• 1. Removed ¡REs ¡contributed ¡only ¡from ¡one ¡person
• 2. Added ¡actions/lexical ¡entries ¡for ¡many ¡missing ¡

words, ¡but ¡crucially, ¡did ¡not ¡extend ¡the ¡lexical ¡ semantics

• 3. Removed ¡entries ¡that ¡had ¡words ¡outside ¡of ¡lexicon.
• 4. Because ¡AIGRE ¡only ¡interprets ¡NPs ¡with ¡prenominal ¡

modifiers, ¡all ¡complex ¡NP ¡of ¡the ¡list-­‑form: ¡“X, ¡Y, ¡and ¡ Z” ¡were ¡interpreted ¡separately ¡as ¡their ¡parts ¡and ¡their ¡ denotation ¡was ¡the ¡union ¡of ¡the ¡three ¡ interpretations.

77

/122

Interpretation ¡Results

Very ¡good ¡coverage ¡on ¡CIRCLES, ¡not ¡as ¡good ¡on ¡

• KINDLES. ¡

78

/122

Ablation ¡Analysis ¡/ ¡Semantic ¡Tagging

79

Which ¡types ¡of ¡words ¡were ¡most ¡common? ¡ ¡Gradable ¡

• adjectives. ¡

/122

Gradable ¡adjectives

80

Like ¡AIGRE, ¡humans ¡tended ¡to ¡use ¡the ¡most ¡restrictive ¡ sense ¡of ¡a ¡graded ¡meaning.

/122

Extending ¡Vagueness

For ¡coarser ¡groupings, ¡a ¡tolerance ¡parameter ¡can ¡be ¡used

std ¡≥ ¡$379 std ¡≥ ¡$199 std ¡≥ ¡$149 std ¡≥ ¡$99 2 3 4 5 6 std ¡≥ ¡$79

τ= ¡0

std ¡≥ ¡$379 std ¡≥ ¡$199 1 2 3 expensive

τ= ¡50

1 expensive

/122

Underspecification ¡(65%)

82

97 ¡errors ¡total ¡(26 ¡REs) ¡stemmed ¡from ¡two ¡descriptions:

the ¡kindle ¡touch the ¡kindle

K1 K2 K3 K4 K5

/122 83

the ¡kindle ¡touch the ¡kindle

K1 K2 K3 K4 K5

Underspecification ¡(65%)

97 ¡errors ¡total ¡(26 ¡REs) ¡stemmed ¡from ¡two ¡descriptions:

/122 84

the ¡kindle ¡touch the ¡kindle

K1 K2 K3 K4 K5

Underspecification ¡(65%)

97 ¡errors ¡total ¡(26 ¡REs) ¡stemmed ¡from ¡two ¡descriptions:

/122 85

Presentation ¡Overview

I. A ¡computational ¡model ¡for ¡Automatically ¡Interpreting ¡& ¡ Generating ¡Referring ¡Expressions ¡(AIGRE)

1. Generation ¡as ¡belief-­‑state ¡planning, ¡Interpretation ¡as ¡plan-­‑recognition

• fast
• incremental
• non-­‑deterministic

2. Handles ¡context-­‑dependent ¡word ¡meanings ¡for ¡a ¡fragment ¡of ¡English ¡NPs

• unspeci1ic ¡meanings
• quanti1iers
• ambiguity
• vagueness
• ellipsis

3. Evaluation ¡on ¡Turk ¡Data

• Collecting ¡Data
• Generation ¡Coverage
• Interpretation ¡Coverage
• II. IntegraBon ¡of ¡both ¡processes ¡to ¡model ¡the ¡hearer’s ¡about ¡

speakers’ ¡decisions

/122 86

Which ¡goal ¡is ¡the ¡robot ¡after?

/122 87

Which ¡goal ¡is ¡the ¡robot ¡after?

• c
• s

/122 88

A ¡cost-­‑difference ¡approach

¡[Ramírez ¡& ¡Geffner ¡2009,2010]

• c
• s

/122 89

A ¡cost-­‑difference ¡approach

¡[Ramírez ¡& ¡Geffner ¡2009,2010]

• c
• s

/122 90

A ¡cost-­‑difference ¡approach

¡[Ramírez ¡& ¡Geffner ¡2009,2010]

¡∆(G1) ¡ ¡= ¡plan-­‑cost(a1, ¡a2, ¡a3) ¡-­‑ ¡plan-­‑cost(a5, ¡)

/122 91

A ¡cost-­‑difference ¡approach

¡∆(G1) ¡ ¡= ¡plan-­‑cost(a1, ¡a2, ¡a3) ¡-­‑ ¡plan-­‑cost(a5, ¡)

¡[Ramírez ¡& ¡Geffner ¡2009,2010]

/122 92

A ¡cost-­‑difference ¡approach

¡∆(G1) ¡ ¡= ¡plan-­‑cost(a1, ¡a2, ¡a3) ¡-­‑ ¡plan-­‑cost(a5,) ¡∆(G2) ¡ ¡= ¡plan-­‑cost(a1, ¡a2, ¡a4) ¡-­‑ ¡plan-­‑cost(a6 ¡)

¡[Ramírez ¡& ¡Geffner ¡2009,2010]

/122 93

A ¡cost-­‑difference ¡approach

¡∆(G1) ¡ ¡= ¡plan-­‑cost(a1, ¡a2, ¡a3) ¡-­‑ ¡plan-­‑cost(a5,) ¡∆(G2) ¡ ¡= ¡plan-­‑cost(a1, ¡a2, ¡a4) ¡-­‑ ¡plan-­‑cost(a6 ¡)

Pick ¡ Minimum

¡[Ramírez ¡& ¡Geffner ¡2009,2010]

/122 94

A ¡cost-­‑difference ¡approach

¡∆(G1) ¡ ¡= ¡plan-­‑cost(a1, ¡a2, ¡a3) ¡-­‑ ¡plan-­‑cost(a5,) ¡∆(G2) ¡ ¡= ¡plan-­‑cost(a1, ¡a2, ¡a4) ¡-­‑ ¡plan-­‑cost(a6 ¡)

Pick ¡ Minimum

¡[Ramírez ¡& ¡Geffner ¡2009,2010]

Where ¡does ¡this ¡ theory ¡of ¡ alternative ¡actions ¡ come ¡from?

Summary

• 1. ¡ ¡Ideas ¡from ¡belief-­‑state ¡planning ¡can ¡be ¡used ¡effecBvely ¡to ¡

achieve ¡fast, ¡incremental, ¡non-­‑determinisBc ¡generaBon ¡and ¡ interpreta.on ¡of ¡referring ¡expressions.

Summary

• 1. ¡ ¡Ideas ¡from ¡belief-­‑state ¡planning ¡can ¡be ¡used ¡effecBvely ¡to ¡

achieve ¡fast, ¡incremental, ¡non-­‑determinisBc ¡generaBon ¡and ¡ interpreta.on ¡of ¡referring ¡expressions.

• 2. ¡ ¡By ¡generaBng ¡the ¡search ¡space ¡such ¡that ¡the ¡most ¡likely ¡

meanings ¡occur ¡first, ¡an ¡early-­‑commit ¡search ¡leads ¡to ¡simple ¡ soluBons ¡for ¡vagueness ¡and ¡ambiguity.

Summary

• 1. ¡ ¡Ideas ¡from ¡belief-­‑state ¡planning ¡can ¡be ¡used ¡effecBvely ¡to ¡

achieve ¡fast, ¡incremental, ¡non-­‑determinisBc ¡generaBon ¡and ¡ interpreta.on ¡of ¡referring ¡expressions.

• 2. ¡ ¡By ¡generaBng ¡the ¡search ¡space ¡such ¡that ¡the ¡most ¡likely ¡

meanings ¡occur ¡first, ¡an ¡early-­‑commit ¡search ¡leads ¡to ¡simple ¡ soluBons ¡for ¡vagueness ¡and ¡ambiguity.

• 3. ¡ ¡NLG ¡plays ¡an ¡important ¡role ¡in ¡NLU! ¡ ¡Both ¡should ¡be ¡

modeled ¡in ¡tandem: ¡they ¡both ¡offer ¡constraints ¡on ¡the ¡other’s ¡ problem.

/122

Thanks ¡to

1. Advisors: ¡ ¡Henry ¡Lieberman, ¡Marvin ¡Minsky, ¡Augustin ¡Rayo, ¡ ¡Pattie ¡Maes 2. Colleagues: ¡ ¡Karthik ¡Dinakar, ¡Christopher ¡Fry, ¡Bo ¡Morgan, ¡The ¡ Commonsense ¡Group ¡(Catherine, ¡Rob, ¡Jason, ¡Ken) 3. UROPS: ¡ ¡Yin ¡Fu ¡Chan, ¡Nicolas ¡Bravo, ¡Tom ¡Roberts, ¡Erin ¡King, ¡Gleb ¡ Kuznetsov, ¡ 4. Support: ¡MIT ¡Media ¡Lab, ¡and ¡its ¡sponsors. ¡ ¡ 5. Friends ¡& ¡Family! 98

AIGRE

Scaling ¡up ¡the ¡Lexicon

G (search graph): 1 t h e 2 aback 3 a b s u r d 4 22K z

• n

k e d . . .

Scaling ¡up ¡the ¡Lexicon

G (search graph): 1 t h e 2 aback 3 a b s u r d 4 22K z

• n

k e d . . .

Approaches ¡to ¡filtering ¡Ac+ons: ¡ ¡1. ¡Use ¡language ¡model ¡ ¡ ¡ ¡ ¡ ¡s.ll ¡100Ks ¡to ¡consider ¡ ¡2. ¡Use ¡lexical-­‑semanBc ¡informaBon ¡ ¡ ¡(1) ¡sort ¡by ¡lexical ¡frequency ¡ ¡ ¡(2) ¡sort ¡by ¡content ¡frequency ¡ ¡ ¡ ¡(3) ¡remove ¡no-­‑ops

• 3. ¡Separate ¡out ¡effect ¡generaBon
• 4. ¡Commit ¡early! ¡

¡ ¡local ¡search ¡/ ¡hill ¡climbing

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: [] partial:{} 1

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: action: big/JJG effects: [] partial:{} 1

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: action: big/JJG partial:{} [] 1

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: action: big/JJG [(big/JJG, e1(), 0.8)] partial:{} 1

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: action: big/JJG partial: 1 {} effects: [(big/JJG, e1(), 0.8)]

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: action: big/JJG [(big/JJG, e1(), 0.8), (big/JJG, e2(), 1.6)] partial:{} 1

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: action: big/JJG [(big/JJG, e1(), 0.8), (big/JJG, e2(), 1.6)] partial: 1 {}

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: action: big/JJG [(big/JJG, e1(), 0.8), (big/JJG, e2(), 1.6), (big/JJG, e3(), 3.2)] 1 partial:{}

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: action: big/JJG [(big/JJG, e1(), 0.8), (big/JJG, e2(), 1.6), (big/JJG, e3(), 3.2)] 1 partial:{}

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: action: big/JJG [(big/JJG, e1(), 0.8), (big/JJG, e2(), 1.6), (big/JJG, e3(), 3.2)] 1 partial:{}

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: [(big/JJG, e1(), 0.8), (big/JJG, e2(), 1.6), (big/JJG, e3(), 3.2), (cheap/JJG, e1(), 0.2), (cheap/JJG, e2(), 0.8), (dangerous/JJG, e1(), 0.8), (efficient/JJG, e1(), 0.2), (fast/JJG, e1(), 3.0), (good/JJG, e1(), 0.1), (horrible/JJG, e1(), 0.3)] 1 partial:{}

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: [(big/JJG, e1(), 0.1228), (big/JJG, e2(), 0.0011), (big/JJG, e3(), 0.0000083), (cheap/JJG, e1(), 0.10111), (cheap/JJG, e2(), 0.0082), (dangerous/JJG, e1(), 0.01820), (efficient/JJG, e1(), 0.00013), (fast/JJG, e1(), 0.20823), (good/JJG, e1(), 0.039168), (horrible/JJG, e1(), 0.002323)] 1 partial:{}

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: [(big/JJG, e1(), 0.1228), (big/JJG, e2(), 0.0011), (big/JJG, e3(), 0.0000083), (cheap/JJG, e1(), 0.10111), (cheap/JJG, e2(), 0.0082), (dangerous/JJG, e1(), 0.01820), (efficient/JJG, e1(), 0.00013), (fast/JJG, e1(), 0.20823), (good/JJG, e1(), 0.039168), (horrible/JJG, e1(), 0.002323)] partial:{} 1

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects: [(big/JJG, e1(), 0.1228), (big/JJG, e2(), 0.0011), (big/JJG, e3(), 0.0000083), (cheap/JJG, e1(), 0.10111), (cheap/JJG, e2(), 0.0082), (dangerous/JJG, e1(), 0.01820), (efficient/JJG, e1(), 0.00013), (fast/JJG, e1(), 0.20823), (good/JJG, e1(), 0.039168), (horrible/JJG, e1(), 0.002323)] partial:{} 1

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects:[(big/JJG, e1(), 0.1228), ...] (fast/JJG, e1(), 0.20823) effect: 1 partial:{}

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects:[(big/JJG, e1(), 0.1228), ...] (fast/JJG, e1(), 0.20823) effect: 1 partial:{} child_node: 3

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects:[(big/JJG, e1(), 0.1228), ...] (fast/JJG, e1(), 0.20823) effect: 1 partial:{} child_node: act_cost: 3 3

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 Priority: Node: effects:[(big/JJG, e1(), 0.1228), ...] (fast/JJG, e1(), 0.20823) effect: 1 partial:{} child_node: act_cost: 3 3 child_h: 0.8

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 effects:[(big/JJG, e1(), 0.1228), ...] (fast/JJG, e1(), 0.20823), effect: 1 partial:{} child_node: act_cost: 3 3 child_h: 0.8 Priority: 0.8 Node: 3

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 effects:[(big/JJG, e1(), 0.1228), ...] (fast/JJG, e1(), 0.20823), effect: 1 partial:{} child_node: act_cost: 3 3 child_h: 0.8 3 f a s t 3 Priority: 0.8 Node: 3

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 effects:[(big/JJG, e1(), 0.1228), ...] (fast/JJG, e1(), 0.20823), effect: 1 partial:{} child_node: act_cost: 3 3 child_h: 0.8 3 f a s t 3 Priority: 0.8 Node: 3

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 effects:[(big/JJG, e1(), 0.1228), ...] (fast/JJG, e1(), 0.20823), effect: 1 partial: child_node: act_cost: 3 3 child_h: 0.8 3 f a s t 3 Priority: 0.8 Node: 3 { } 2

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 1.0 2 effects:[(big/JJG, e1(), 0.1228), ...] (fast/JJG, e1(), 0.20823), effect: 1 partial: child_node: act_cost: 3 3 child_h: 0.8 3 f a s t 3 Priority: 0.8 Node: 3 { } 2

AIGRE’s ¡Approach

G (search graph): 1 t h e 2 fringe: closed: { } 1 h: node: 0.8 3

1 partial: 3 f a s t 3 { } 2 Priority: Node:

Future ¡Work, ¡Learning ¡h()

How ¡do ¡we ¡esMmate ¡distances ¡to ¡the ¡goal? With ¡features ¡and ¡examples, ¡heuris+c ¡ func+ons ¡can ¡be ¡learned:

|b0| =

min(|R|−clow,thigh,|R|)

X

k=tlow

✓|R| k ◆

R = {r 2 referent domain : r | = b0.target ^ r 6| = b0.distractor}

/122

Computing ¡Size ¡w/o ¡Enumeration

125

|b0| =

min(|R|−clow,thigh,|R|)

X

k=tlow

✓|R| k ◆

R = {r 2 referent domain : r | = b0.target ^ r 6| = b0.distractor}

/122

Computing ¡Size ¡w/o ¡Enumeration

no ¡closed ¡form ¡solution, ¡but ¡ways ¡ to ¡simplify ¡computation 125

Belief-space ≠ State-space

User: ¡“How ¡many ¡files ¡are ¡in ¡/usr/foo ¡?” Computer: ¡ ¡“Let ¡me ¡check....”

cd /usr/foo

[Weld Golden 1996]

l s | w c rm -f /usr/foo

1 3 2

AIGRE’s ¡actions ¡only ¡affect ¡belief ¡space, ¡and ¡there ¡are ¡no ¡ negative/delete ¡effects. ¡They ¡reduce ¡uncertainty ¡about ¡the ¡ state ¡space; ¡information ¡monotonically ¡increases.

[for state-space REG planning, see Koller’s SCRISP]

/122

Lexical ¡Units ¡are ¡Actions

• range = CrispAdjective('orange', 'color', ['yellow', 'red'])

127

/122

Lexical ¡Units ¡are ¡Actions

• range = CrispAdjective('orange', 'color', ['yellow', 'red'])

128

/122

Lexical ¡Units ¡are ¡Actions

• range = CrispAdjective('orange', 'color', ['yellow', 'red'])

Granularities

• f ¡Meaning

128

/122

Lexical ¡Units ¡are ¡Actions

• range = CrispAdjective('orange', 'color', ['yellow', 'red'])

Granularities

• f ¡Meaning

Gradable ¡ Adjectives

128

/122

Lexical ¡Units ¡are ¡Actions

• range = CrispAdjective('orange', 'color', ['yellow', 'red'])

Granularities

• f ¡Meaning

Gradable ¡ Adjectives Polysemy

128