Easy Victories and Uphill Ba4les in Coreference Resolu9on - - PowerPoint PPT Presentation

Easy ¡Victories ¡and ¡Uphill ¡Ba4les ¡in ¡ Coreference ¡Resolu9on

Greg ¡Durre4 ¡and ¡Dan ¡Klein

UC ¡Berkeley

Aspects ¡of ¡Coreference

Aspects ¡of ¡Coreference

Binding ¡theory ¡(Chomsky, ¡1981)

John1 asked him2 ... S VP

Aspects ¡of ¡Coreference

Binding ¡theory ¡(Chomsky, ¡1981) Pronoun ¡agreement ¡(Hobbs, ¡1977)

John1 ¡talked ¡to ¡Jane2. ¡ ¡She2 ¡asked... MALE FEMALE FEMALE John1 asked him2 ... S VP

Aspects ¡of ¡Coreference

Binding ¡theory ¡(Chomsky, ¡1981) Pronoun ¡agreement ¡(Hobbs, ¡1977) Centering ¡(Grosz ¡et ¡al., ¡1995)

John1 ¡talked ¡to ¡Bill2. ¡ ¡He1 ¡asked... John1 ¡talked ¡to ¡Jane2. ¡ ¡She2 ¡asked... SUBJ.

• OBJ. SUBJ.

MALE FEMALE FEMALE John1 asked him2 ... S VP

Aspects ¡of ¡Coreference

Binding ¡theory ¡(Chomsky, ¡1981) Pronoun ¡agreement ¡(Hobbs, ¡1977) Centering ¡(Grosz ¡et ¡al., ¡1995) Seman9c ¡compa9bility

John1 ¡talked ¡to ¡Bill2. ¡ ¡He1 ¡asked... John1 ¡talked ¡to ¡Jane2. ¡ ¡She2 ¡asked... SUBJ.

• OBJ. SUBJ.

MALE FEMALE FEMALE John1 asked him2 ... S VP The ¡president1 ¡... ¡The ¡leader1

Aspects ¡of ¡Coreference

Binding ¡theory ¡(Chomsky, ¡1981) Pronoun ¡agreement ¡(Hobbs, ¡1977) Centering ¡(Grosz ¡et ¡al., ¡1995) Seman9c ¡compa9bility

John1 ¡talked ¡to ¡Bill2. ¡ ¡He1 ¡asked... John1 ¡talked ¡to ¡Jane2. ¡ ¡She2 ¡asked... SUBJ.

• OBJ. SUBJ.

MALE FEMALE FEMALE John1 asked him2 ... S VP The ¡president1 ¡... ¡The ¡leader1

Definiteness

The ¡president A ¡president

Definiteness: ¡Classical

Soon ¡et ¡al. ¡(2001), ¡Ng ¡et ¡al. ¡(2002), ¡etc.

Definiteness: ¡Classical

The ¡president

Soon ¡et ¡al. ¡(2001), ¡Ng ¡et ¡al. ¡(2002), ¡etc.

Definiteness: ¡Classical

if (startsWith(“the”)) DEFINITE else if (startsWith(“a”)) INDEFINITE else NO_ART

The ¡president

Soon ¡et ¡al. ¡(2001), ¡Ng ¡et ¡al. ¡(2002), ¡etc.

Definiteness: ¡Classical

if (startsWith(“the”)) DEFINITE else if (startsWith(“a”)) INDEFINITE else NO_ART

The ¡president

Soon ¡et ¡al. ¡(2001), ¡Ng ¡et ¡al. ¡(2002), ¡etc.

DEFINITE INDEFINITE NO_ART

Definiteness: ¡Data-­‑Driven

The ¡president

Definiteness: ¡Data-­‑Driven

The ¡president

The

Definiteness: ¡Data-­‑Driven

The ¡president

The a some

...

all no more that these those his their its U.S. Israeli Barack John new an this

Approaches

Classical ¡approach

Approaches

Classical ¡approach

¡Learning ¡with ¡heuris9c ¡features

Soon ¡et ¡al. ¡(2001), ¡inter ¡alia

{

Approaches

Classical ¡approach

¡Learning ¡with ¡heuris9c ¡features ¡Rule-­‑based

Soon ¡et ¡al. ¡(2001), ¡inter ¡alia Haghighi ¡and ¡Klein ¡(2009), ¡ Lee ¡et ¡al. ¡(2011)

{ {

Approaches

Classical ¡approach

¡Learning ¡with ¡heuris9c ¡features ¡Rule-­‑based

Mixed ¡approach

¡Add ¡data-­‑driven ¡features ¡on ¡ ¡ ¡ ¡a ¡few ¡axes

Soon ¡et ¡al. ¡(2001), ¡inter ¡alia Haghighi ¡and ¡Klein ¡(2009), ¡ Lee ¡et ¡al. ¡(2011)

{ {

{

Bengtson ¡and ¡Roth ¡(2008), Rahman ¡and ¡Ng ¡(2011), Björkelund ¡and ¡Nugues ¡(2011)

Approaches

Classical ¡approach

¡Learning ¡with ¡heuris9c ¡features ¡Rule-­‑based

Mixed ¡approach Data-­‑driven ¡approach ¡(this ¡work)

¡Add ¡data-­‑driven ¡features ¡on ¡ ¡ ¡ ¡a ¡few ¡axes ¡>400,000 ¡comprehensive, ¡uniform ¡features

Soon ¡et ¡al. ¡(2001), ¡inter ¡alia Haghighi ¡and ¡Klein ¡(2009), ¡ Lee ¡et ¡al. ¡(2011)

{ {

{

Bengtson ¡and ¡Roth ¡(2008), Rahman ¡and ¡Ng ¡(2011), Björkelund ¡and ¡Nugues ¡(2011)

Men9on-­‑Ranking ¡Architecture

Denis ¡and ¡Baldridge ¡(2008), ¡Durre4 ¡et ¡al. ¡(2013)

Men9on-­‑Ranking ¡Architecture

[Voters]1 ¡agree ¡when ¡[they]1 ¡are ¡given ¡[a ¡chance]2 ¡to ¡decide ¡if ¡[they]1 ¡... ¡

Denis ¡and ¡Baldridge ¡(2008), ¡Durre4 ¡et ¡al. ¡(2013)

Men9on-­‑Ranking ¡Architecture

[Voters]1 ¡agree ¡when ¡[they]1 ¡are ¡given ¡[a ¡chance]2 ¡to ¡decide ¡if ¡[they]1 ¡... ¡

New

Denis ¡and ¡Baldridge ¡(2008), ¡Durre4 ¡et ¡al. ¡(2013)

A1

1 New

Men9on-­‑Ranking ¡Architecture

[Voters]1 ¡agree ¡when ¡[they]1 ¡are ¡given ¡[a ¡chance]2 ¡to ¡decide ¡if ¡[they]1 ¡... ¡

New

Denis ¡and ¡Baldridge ¡(2008), ¡Durre4 ¡et ¡al. ¡(2013)

A1 A2

1 New

Men9on-­‑Ranking ¡Architecture

[Voters]1 ¡agree ¡when ¡[they]1 ¡are ¡given ¡[a ¡chance]2 ¡to ¡decide ¡if ¡[they]1 ¡... ¡

1 2 New New

Denis ¡and ¡Baldridge ¡(2008), ¡Durre4 ¡et ¡al. ¡(2013)

A1 A2 A3

1 2 New 1 New

Men9on-­‑Ranking ¡Architecture

[Voters]1 ¡agree ¡when ¡[they]1 ¡are ¡given ¡[a ¡chance]2 ¡to ¡decide ¡if ¡[they]1 ¡... ¡

1 2 New New 3

Denis ¡and ¡Baldridge ¡(2008), ¡Durre4 ¡et ¡al. ¡(2013)

A1 A2 A3 A4

1 2 New 1 New

Men9on-­‑Ranking ¡Architecture

[Voters]1 ¡agree ¡when ¡[they]1 ¡are ¡given ¡[a ¡chance]2 ¡to ¡decide ¡if ¡[they]1 ¡... ¡

1 2 New New 3

Denis ¡and ¡Baldridge ¡(2008), ¡Durre4 ¡et ¡al. ¡(2013)

A1 A2 A3 A4

Pr(Ai = a|x) ∝ exp(w>f(i, a, x))

1 2 New 1 New

Men9on-­‑Ranking ¡Architecture

[Voters]1 ¡agree ¡when ¡[they]1 ¡are ¡given ¡[a ¡chance]2 ¡to ¡decide ¡if ¡[they]1 ¡... ¡

1 2 New New 3

Denis ¡and ¡Baldridge ¡(2008), ¡Durre4 ¡et ¡al. ¡(2013)

[Voters-­‑they] [NOM-­‑PRONOUN]

...

A1 A2 A3 A4

Pr(Ai = a|x) ∝ exp(w>f(i, a, x))

1 2 New 1 New

Men9on-­‑Ranking ¡Architecture

[Voters]1 ¡agree ¡when ¡[they]1 ¡are ¡given ¡[a ¡chance]2 ¡to ¡decide ¡if ¡[they]1 ¡... ¡

1 2 New New 3

Denis ¡and ¡Baldridge ¡(2008), ¡Durre4 ¡et ¡al. ¡(2013)

[1STWORD=a] [LENGTH=2]

...

[Voters-­‑they] [NOM-­‑PRONOUN]

...

A1 A2 A3 A4

Pr(Ai = a|x) ∝ exp(w>f(i, a, x))

BASIC ¡Features

New

BASIC ¡Features

[Voters]1 ¡agree ¡when ¡[they]1 ¡... ¡

New

BASIC ¡Features

[Voters]1 ¡agree ¡when ¡[they]1 ¡... ¡

Type

New

BASIC ¡Features

[Voters]1 ¡agree ¡when ¡[they]1 ¡... ¡

Type Types Sentence ¡distance ¡(+ ¡types) Men9on ¡distance ¡ ¡(+ ¡types) Head ¡match

40 45 50 55

44.6 BASIC

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

BASIC ¡Features

Definiteness

Soon ¡et ¡al. ¡(2001), ¡Ng ¡et ¡al. ¡(2002), ¡etc.

Definiteness

New

The ¡president

Soon ¡et ¡al. ¡(2001), ¡Ng ¡et ¡al. ¡(2002), ¡etc.

Definiteness

[DEFINITE] New

The ¡president

Soon ¡et ¡al. ¡(2001), ¡Ng ¡et ¡al. ¡(2002), ¡etc.

Definiteness

[1STWORD=The] New

The ¡president

40 45 50 55

44.6

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Definiteness

BASIC

40 45 50 55

47.0 44.6

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Definiteness

DEFINITENESS BASIC

FIRST ¡WORD

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Definiteness

BASIC

40 45 50 55

49.7 44.6

47.0 47.7 48.1 48.5 49.7 50.9 47.0 DEFINITENESS

Definiteness

47.0 47.7 48.1 48.5 49.7 50.9

“the, ¡a, ¡an”

47.0 DEFINITENESS FIRST ¡WORD:

Definiteness

47.0 47.7 48.1 48.5 49.7 50.9

“the, ¡a, ¡an”

47.0 DEFINITENESS FIRST ¡WORD:

Definiteness

+ ¡“some, ¡all, ¡no” ¡+ ¡9 ¡more

47.0 47.7 48.1 48.5 49.7 50.9

“the, ¡a, ¡an”

47.0

+ ¡“this, ¡that, ¡these, ¡those”

DEFINITENESS FIRST ¡WORD:

Definiteness

+ ¡“some, ¡all, ¡no” ¡+ ¡9 ¡more

47.0 47.7 48.1 48.5 49.7 50.9

“the, ¡a, ¡an”

47.0

+ ¡“this, ¡that, ¡these, ¡those”

DEFINITENESS FIRST ¡WORD:

Definiteness

+ ¡“some, ¡all, ¡no” ¡+ ¡9 ¡more + ¡“U.S., ¡new” ¡+ ¡9 ¡more

47.0 47.7 48.1 48.5 49.7 50.9

“the, ¡a, ¡an”

47.0

+ ¡“some, ¡all, ¡no” ¡+ ¡9 ¡more + ¡“this, ¡that, ¡these, ¡those” + ¡“U.S., ¡new” ¡+ ¡9 ¡more + ¡rest

DEFINITENESS FIRST ¡WORD:

Definiteness

Centering

Grosz ¡al. ¡(1995)

Centering

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

Grosz ¡al. ¡(1995)

Centering

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

Grosz ¡al. ¡(1995)

Centering

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

SUBJECT−SUBJECT

Grosz ¡al. ¡(1995)

OBJECT−SUBJECT

Centering

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

SUBJECT−SUBJECT

Grosz ¡al. ¡(1995)

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

Centering

Haghighi ¡and ¡Klein ¡(2010)

SUBJECT OBJECT SUBJECT

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

Centering

Haghighi ¡and ¡Klein ¡(2010)

[OBJECT−SUBJECT] SUBJECT OBJECT SUBJECT

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

Centering

Haghighi ¡and ¡Klein ¡(2010)

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

Centering

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

Centering

with ¡[X] ¡.

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

Centering

with ¡[X] ¡. . ¡[X] ¡said

[Barack ¡Obama]1 ¡met ¡with ¡[David ¡Cameron]2 ¡. ¡[He]1 ¡said ¡...

[with ¡X ¡− ¡. ¡Y] [with ¡X ¡− ¡Y ¡said] ...

Centering

with ¡[X] ¡. . ¡[X] ¡said

45 50 55 60

50.9 SO ¡FAR

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Centering

45 50 55 60

51.9 50.9

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Centering

POSITION SO ¡FAR

45 50 55 60

53.4 50.9 CONTEXT ¡WORDS

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Centering

SO ¡FAR

Bergsma ¡and ¡Lin ¡(2006)

Pronoun ¡Agreement

[Barack ¡Obama]1 ¡... ¡[He]1 ¡...

Bergsma ¡and ¡Lin ¡(2006)

Pronoun ¡Agreement

[Barack ¡Obama]1 ¡... ¡[He]1 ¡... [MALE−MALE]

Bergsma ¡and ¡Lin ¡(2006)

Pronoun ¡Agreement

[Barack ¡Obama]1 ¡... ¡[He]1 ¡... [MALE−MALE]

Bergsma ¡and ¡Lin ¡(2006) Obama MALE=3603 FEMALE=14

MALE

Pronoun ¡Agreement

[Barack ¡Obama]1 ¡... ¡[He]1 ¡... [MALE−MALE]

Bergsma ¡and ¡Lin ¡(2006) Obama MALE=3603 FEMALE=14

MALE MALE

Pronoun ¡Agreement

[Barack ¡Obama]1 ¡... ¡[He]1 ¡...

Pronoun ¡Agreement

[Barack ¡Obama]1 ¡... ¡[He]1 ¡... [Obama−He]

Pronoun ¡Agreement

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Pronoun ¡Agreement

50 55 60

53.4 SO ¡FAR

GENDER/NUMBER

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Pronoun ¡Agreement

50 55 60

57.9 53.4 SO ¡FAR

50 55 60

58.2 53.4 INDICATORS

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Pronoun ¡Agreement

SO ¡FAR

SURFACE ¡Informa9on

¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes

SURFACE ¡Informa9on

<s> ¡ ¡President ¡Barack ¡Obama ¡ ¡signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡he ¡ ¡ ¡ ¡said ¡...

¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes

[

]

[ ]

SURFACE ¡Informa9on

¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes

<s> ¡ ¡President ¡Barack ¡Obama ¡ ¡signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡he ¡ ¡ ¡ ¡said ¡...

[

]

[ ]

SURFACE ¡Informa9on

¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes

<s> ¡ ¡President ¡Barack ¡Obama ¡ ¡signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡he ¡ ¡ ¡ ¡said ¡...

[

]

[ ]

SURFACE ¡Informa9on

LENGTH ¡= ¡3 LENGTH ¡= ¡1

¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes

<s> ¡ ¡President ¡Barack ¡Obama ¡ ¡signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡he ¡ ¡ ¡ ¡said ¡...

[

]

[ ]

SURFACE ¡Informa9on

LENGTH ¡= ¡3 PRONOUN PROPER LENGTH ¡= ¡1

¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes

<s> ¡ ¡President ¡Barack ¡Obama ¡ ¡signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡he ¡ ¡ ¡ ¡said ¡...

[

]

[ ]

SURFACE ¡Informa9on

LENGTH ¡= ¡3 PRONOUN PROPER LENGTH ¡= ¡1

¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes

<s> ¡ ¡President ¡Barack ¡Obama ¡ ¡signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡he ¡ ¡ ¡ ¡said ¡...

[

]

[ ]

SURFACE ¡Informa9on

LENGTH ¡= ¡3 PRONOUN PROPER LENGTH ¡= ¡1 Men9on ¡distance Sentence ¡distance

¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes

<s> ¡ ¡President ¡Barack ¡Obama ¡ ¡signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡he ¡ ¡ ¡ ¡said ¡...

[

]

[ ]

SURFACE ¡Informa9on

LENGTH ¡= ¡3 Head ¡match Exact ¡match PRONOUN PROPER LENGTH ¡= ¡1 Men9on ¡distance Sentence ¡distance

¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes

<s> ¡ ¡President ¡Barack ¡Obama ¡ ¡signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡he ¡ ¡ ¡ ¡said ¡...

[

]

[ ]

SURFACE ¡Accuracy

50 55 60 65

58.2

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

SO ¡FAR

SURFACE ¡Accuracy

50 55 60 65

60.1 58.2 SURFACE

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

SO ¡FAR

Error ¡Analysis

Error ¡Analysis

Anaphoric ¡pronouns

Obama he

Anaphoric ¡pronouns 82.7% 72.0%

Obama he

Error ¡Analysis

Anaphoric ¡pronouns Referring: ¡head ¡match 82.7% 72.0%

the ¡U.S. ¡president president Obama he

Error ¡Analysis

Anaphoric ¡pronouns Referring: ¡head ¡match 82.7% 72.0%

the ¡U.S. ¡president president Obama he

Error ¡Analysis

Anaphoric ¡pronouns Referring: ¡head ¡match 82.7% 72.0%

the ¡U.S. ¡president president Obama he

Referring: ¡no ¡head ¡match

David ¡Cameron prime ¡minister

Error ¡Analysis

Anaphoric ¡pronouns Referring: ¡head ¡match 6.2%

}

82.7% 72.0%

the ¡U.S. ¡president president Obama he

Referring: ¡no ¡head ¡match

David ¡Cameron prime ¡minister

Error ¡Analysis

Compa9bility

Compa9bility

[David ¡Cameron]1 ¡... ¡[The ¡prime ¡minister]1 ¡... ¡

Compa9bility

[David ¡Cameron]1 ¡... ¡[The ¡prime ¡minister]1 ¡... ¡

Soon ¡et ¡al. ¡(2001) inter ¡alia

}

Compa9bility

[David ¡Cameron]1 ¡... ¡[The ¡prime ¡minister]1 ¡... ¡

¡Number, ¡gender Soon ¡et ¡al. ¡(2001) inter ¡alia

}

Compa9bility

[David ¡Cameron]1 ¡... ¡[The ¡prime ¡minister]1 ¡... ¡

¡Number, ¡gender ¡Named ¡en9ty ¡type Soon ¡et ¡al. ¡(2001) inter ¡alia

}

Compa9bility

[David ¡Cameron]1 ¡... ¡[The ¡prime ¡minister]1 ¡... ¡

¡Number, ¡gender ¡Named ¡en9ty ¡type ¡Unsupervised ¡clustering ¡labels Soon ¡et ¡al. ¡(2001) inter ¡alia

}

Compa9bility

[David ¡Cameron]1 ¡... ¡[The ¡prime ¡minister]1 ¡... ¡

¡WordNet ¡hypernymy ¡/ ¡synonymy ¡Number, ¡gender ¡Named ¡en9ty ¡type ¡Unsupervised ¡clustering ¡labels Soon ¡et ¡al. ¡(2001) inter ¡alia

}

SURFACE ¡Accuracy

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons) 50 55 60 65

60.1 SURFACE

SURFACE ¡Accuracy

50 55 60 65

60.4 60.1 SURFACE

(Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

HEURISTICS

What ¡works?

What ¡works?

¡Impor9ng ¡external ¡informa9on ¡ ¡ ¡ ¡with ¡sophis9cated ¡heuris9cs

Ponze4o ¡and ¡Strube ¡(2006) Rahman ¡and ¡Ng ¡(2011) Bansal ¡and ¡Klein ¡(2012)

{

What ¡works?

¡Impor9ng ¡external ¡informa9on ¡ ¡ ¡ ¡with ¡sophis9cated ¡heuris9cs ¡We ¡can ¡support ¡addi9onal ¡heuris9c ¡features, ¡including ¡ ¡ ¡ ¡number ¡and ¡gender ¡informa9on ¡(Bergsma ¡and ¡Lin, ¡2006)

Ponze4o ¡and ¡Strube ¡(2006) Rahman ¡and ¡Ng ¡(2011) Bansal ¡and ¡Klein ¡(2012)

{

Test ¡Set ¡Accuracy

56.7

(Test ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

STANFORD ¡(Lee ¡et ¡al., ¡2011)

Test ¡Set ¡Accuracy

58.3 56.7

(Test ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

STANFORD ¡(Lee ¡et ¡al., ¡2011) IMS ¡(Björkelund ¡and ¡Farkas, ¡2012)

Test ¡Set ¡Accuracy

59.0 58.3 56.7 SURFACE ¡(This ¡work)

(Test ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

STANFORD ¡(Lee ¡et ¡al., ¡2011) IMS ¡(Björkelund ¡and ¡Farkas, ¡2012)

Test ¡Set ¡Accuracy

60.1 59.0 58.3 56.7 SURFACE ¡(This ¡work)

(Test ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

STANFORD ¡(Lee ¡et ¡al., ¡2011) IMS ¡(Björkelund ¡and ¡Farkas, ¡2012) BEST ¡(This ¡work)

Conclusion

Conclusion

¡Surface ¡lexical ¡features ¡capture ¡a ¡wide ¡range ¡of ¡ ¡ ¡ ¡linguis9c ¡phenomena ¡in ¡a ¡unified ¡way

Conclusion

¡Surface ¡lexical ¡features ¡capture ¡a ¡wide ¡range ¡of ¡ ¡ ¡ ¡linguis9c ¡phenomena ¡in ¡a ¡unified ¡way ¡Seman9c ¡errors ¡require ¡heavy-­‑duty ¡informa9on ¡ ¡ ¡ ¡from ¡other ¡knowledge ¡sources

Conclusion

¡Surface ¡lexical ¡features ¡capture ¡a ¡wide ¡range ¡of ¡ ¡ ¡ ¡linguis9c ¡phenomena ¡in ¡a ¡unified ¡way ¡Seman9c ¡errors ¡require ¡heavy-­‑duty ¡informa9on ¡ ¡ ¡ ¡from ¡other ¡knowledge ¡sources ¡Extensible ¡system ¡that ¡achieves ¡state-­‑of-­‑the-­‑art ¡ ¡ ¡ ¡performance

Conclusion

¡The ¡Berkeley ¡Coreference ¡Resolu9on ¡System: ¡ ¡ ¡http://nlp.cs.berkeley.edu ¡Full ¡end-­‑to-­‑end ¡system ¡(accepts ¡raw ¡text ¡as ¡input)

Conclusion

Thank ¡you!

¡The ¡Berkeley ¡Coreference ¡Resolu9on ¡System: ¡ ¡ ¡http://nlp.cs.berkeley.edu ¡Full ¡end-­‑to-­‑end ¡system ¡(accepts ¡raw ¡text ¡as ¡input)

60.4 60.2 60.1 60.1

Stacking

SURFACE + DEFINITENESS + POSITION + GENDER / NUMBER

SURFACE ¡Accuracy

60.2 60.4 60.1 SURFACE

Predicted ¡men9ons

HEURISTICS INDICATORS

SURFACE ¡Accuracy

60.2 60.4 60.1 SURFACE

Predicted ¡men9ons

HEURISTICS INDICATORS 76.0 76.7 75.1

Gold ¡men9ons

SURFACE ¡Accuracy

60.2 60.4 60.1 SURFACE

Predicted ¡men9ons

HEURISTICS INDICATORS 76.0 76.7 75.1

Gold ¡men9ons

Δ=+1.6 Δ=+0.3

SURFACE ¡Accuracy

60.2 60.4 60.1 SURFACE

Predicted ¡men9ons

HEURISTICS INDICATORS 76.0 76.7 75.1

Gold ¡men9ons

Δ=+1.6 Δ=+0.3 Δ=+0.9 Δ=+0.1

New [the ¡president]

Gold ¡vs. ¡System ¡Men9ons

New [the ¡president]

Gold ¡vs. ¡System ¡Men9ons

PERSON

1 2 New [the ¡president] 3

Gold ¡vs. ¡System ¡Men9ons

[Barack ¡Obama] [the ¡GOP] [the ¡Capitol] PERSON

1 2 New [the ¡president] 3

Gold ¡vs. ¡System ¡Men9ons

[Barack ¡Obama] [the ¡GOP] [the ¡Capitol] PERSON LOC ORG PERSON

1 2 New [the ¡president] 3

Gold ¡vs. ¡System ¡Men9ons

[Barack ¡Obama] [the ¡GOP] [the ¡Capitol] PERSON LOC ORG PERSON ¡3x ¡more ¡men9ons ¡when ¡singletons ¡are ¡included

1 4 [the ¡president] 5

Gold ¡vs. ¡System ¡Men9ons

[Barack ¡Obama] [the ¡GOP] [the ¡Capitol] PERSON LOC PERSON ORG [the ¡advisor] [the ¡Chief ¡of ¡Staff] [somebody] [the ¡party] PERSON PERSON PERSON ORG 2 3 6 7 New

1 4 [the ¡president] 5

Gold ¡vs. ¡System ¡Men9ons

[Barack ¡Obama] [the ¡GOP] [the ¡Capitol] PERSON LOC PERSON ORG [the ¡advisor] [the ¡Chief ¡of ¡Staff] [somebody] [the ¡party] PERSON PERSON PERSON ORG 2 3 6 7 New

UPHILL BATTLE