Easy Victories and Uphill Ba4les in Coreference Resolu9on - PowerPoint PPT Presentation

Centering [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡... Grosz ¡al. ¡(1995)

Centering [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡... Grosz ¡al. ¡(1995)

Centering S UBJECT −S UBJECT O BJECT −S UBJECT [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡... Grosz ¡al. ¡(1995)

Centering S UBJECT −S UBJECT [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡... Grosz ¡al. ¡(1995)

Centering [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡... Haghighi ¡and ¡Klein ¡(2010)

Centering [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡... S UBJECT O BJECT S UBJECT Haghighi ¡and ¡Klein ¡(2010)

Centering [O BJECT −S UBJECT ] [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡... S UBJECT O BJECT S UBJECT Haghighi ¡and ¡Klein ¡(2010)

Centering [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡...

Centering [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡... with ¡[X] ¡.

Centering [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡... with ¡[X] ¡. . ¡[X] ¡ said

Centering [ with ¡ X ¡− ¡. ¡Y] [ with ¡ X ¡− ¡ Y ¡ said ] ... [ Barack ¡Obama ] 1 ¡met ¡with ¡ [ David ¡Cameron ] 2 ¡. ¡ [ He ] 1 ¡said ¡... with ¡[X] ¡. . ¡[X] ¡ said

Centering 60 S O ¡ F AR 55 50.9 50 45 (Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Centering 60 S O ¡ F AR P OSITION 55 51.9 50.9 50 45 (Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Centering 60 S O ¡ F AR C ONTEXT ¡ W ORDS 55 53.4 50.9 50 45 (Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Pronoun ¡Agreement Bergsma ¡and ¡Lin ¡(2006)

Pronoun ¡Agreement [ Barack ¡Obama ] 1 ¡ ... ¡ [ He ] 1 ¡... Bergsma ¡and ¡Lin ¡(2006)

Pronoun ¡Agreement [M ALE −M ALE ] [ Barack ¡Obama ] 1 ¡ ... ¡ [ He ] 1 ¡... Bergsma ¡and ¡Lin ¡(2006)

Pronoun ¡Agreement [M ALE −M ALE ] [ Barack ¡Obama ] 1 ¡ ... ¡ [ He ] 1 ¡... Obama MALE=3603 FEMALE=14 M ALE Bergsma ¡and ¡Lin ¡(2006)

Pronoun ¡Agreement [M ALE −M ALE ] [ Barack ¡Obama ] 1 ¡ ... ¡ [ He ] 1 ¡... Obama MALE=3603 FEMALE=14 M ALE M ALE Bergsma ¡and ¡Lin ¡(2006)

Pronoun ¡Agreement [ Barack ¡Obama ] 1 ¡ ... ¡ [ He ] 1 ¡...

Pronoun ¡Agreement [ Obama − He ] [ Barack ¡Obama ] 1 ¡ ... ¡ [ He ] 1 ¡...

Pronoun ¡Agreement 60 S O ¡ F AR 55 53.4 50 (Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Pronoun ¡Agreement 60 S O ¡ F AR G ENDER/NUMBER 57.9 55 53.4 50 (Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Pronoun ¡Agreement 60 S O ¡ F AR 58.2 I NDICATORS 55 53.4 50 (Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

S URFACE ¡Informa9on ¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes

S URFACE ¡Informa9on ¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes <s> ¡ ¡ President ¡Barack ¡Obama ¡ ¡ signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡ he ¡ ¡ ¡ ¡said ¡ ... [ ] [ ]

S URFACE ¡Informa9on ¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes <s> ¡ ¡ President ¡Barack ¡Obama ¡ ¡ signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡ he ¡ ¡ ¡ ¡said ¡ ... [ ] [ ]

S URFACE ¡Informa9on ¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes <s> ¡ ¡ President ¡Barack ¡Obama ¡ ¡ signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡ he ¡ ¡ ¡ ¡said ¡ ... [ ] [ ]

S URFACE ¡Informa9on ¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes <s> ¡ ¡ President ¡Barack ¡Obama ¡ ¡ signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡ he ¡ ¡ ¡ ¡said ¡ ... [ ] [ ] L ENGTH ¡= ¡1 L ENGTH ¡= ¡3

S URFACE ¡Informa9on ¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes <s> ¡ ¡ President ¡Barack ¡Obama ¡ ¡ signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡ he ¡ ¡ ¡ ¡said ¡ ... [ ] [ ] L ENGTH ¡= ¡1 L ENGTH ¡= ¡3 P ROPER P RONOUN

S URFACE ¡Informa9on ¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes <s> ¡ ¡ President ¡Barack ¡Obama ¡ ¡ signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡ he ¡ ¡ ¡ ¡said ¡ ... [ ] [ ] L ENGTH ¡= ¡1 L ENGTH ¡= ¡3 P ROPER P RONOUN

S URFACE ¡Informa9on ¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes Men9on ¡distance Sentence ¡distance <s> ¡ ¡ President ¡Barack ¡Obama ¡ ¡ signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡ he ¡ ¡ ¡ ¡said ¡ ... [ ] [ ] L ENGTH ¡= ¡1 L ENGTH ¡= ¡3 P ROPER P RONOUN

S URFACE ¡Informa9on ¡Features ¡conjoin ¡surface-­‑level ¡men9on ¡a4ributes Men9on ¡distance Sentence ¡distance Head ¡match Exact ¡match <s> ¡ ¡ President ¡Barack ¡Obama ¡ ¡ signed ¡the ¡bill ¡... ¡AFerwards ¡ ¡ ¡ he ¡ ¡ ¡ ¡said ¡ ... [ ] [ ] L ENGTH ¡= ¡1 L ENGTH ¡= ¡3 P ROPER P RONOUN

S URFACE ¡Accuracy 65 S O ¡ F AR 60 58.2 55 50 (Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

S URFACE ¡Accuracy 65 S O ¡ F AR S URFACE 60 60.1 58.2 55 50 (Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

Error ¡Analysis

Error ¡Analysis Anaphoric ¡pronouns Obama he

Error ¡Analysis Anaphoric ¡pronouns 72.0% Obama he 82.7%

Error ¡Analysis Anaphoric ¡pronouns 72.0% Obama he Referring: ¡head ¡match 82.7% the ¡U.S. ¡president president

Error ¡Analysis Anaphoric ¡pronouns 72.0% Obama he Referring: ¡head ¡match 82.7% the ¡U.S. ¡president president

Error ¡Analysis Anaphoric ¡pronouns 72.0% Obama he Referring: ¡head ¡match 82.7% the ¡U.S. ¡president president Referring: ¡no ¡head ¡match David ¡Cameron prime ¡minister

Error ¡Analysis Anaphoric ¡pronouns 72.0% Obama he Referring: ¡head ¡match 82.7% the ¡U.S. ¡president president Referring: ¡no ¡head ¡match David ¡Cameron prime ¡minister } 6.2%

Compa9bility

Compa9bility [ David ¡Cameron ] 1 ¡... ¡ [ The ¡prime ¡minister ] 1 ¡... ¡

Compa9bility [ David ¡Cameron ] 1 ¡... ¡ [ The ¡prime ¡minister ] 1 ¡... ¡ } Soon ¡et ¡al. ¡(2001) inter ¡alia

Compa9bility [ David ¡Cameron ] 1 ¡... ¡ [ The ¡prime ¡minister ] 1 ¡... ¡ ¡Number, ¡gender } Soon ¡et ¡al. ¡(2001) inter ¡alia

Compa9bility [ David ¡Cameron ] 1 ¡... ¡ [ The ¡prime ¡minister ] 1 ¡... ¡ ¡Number, ¡gender } ¡Named ¡en9ty ¡type Soon ¡et ¡al. ¡(2001) inter ¡alia

Compa9bility [ David ¡Cameron ] 1 ¡... ¡ [ The ¡prime ¡minister ] 1 ¡... ¡ ¡Number, ¡gender } ¡Named ¡en9ty ¡type Soon ¡et ¡al. ¡(2001) inter ¡alia ¡Unsupervised ¡clustering ¡labels

Compa9bility [ David ¡Cameron ] 1 ¡... ¡ [ The ¡prime ¡minister ] 1 ¡... ¡ ¡Number, ¡gender } ¡Named ¡en9ty ¡type Soon ¡et ¡al. ¡(2001) inter ¡alia ¡Unsupervised ¡clustering ¡labels ¡WordNet ¡hypernymy ¡/ ¡synonymy

S URFACE ¡Accuracy 65 S URFACE 60 60.1 55 50 (Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

S URFACE ¡Accuracy 65 S URFACE H EURISTICS 60 60.4 60.1 55 50 (Dev ¡set ¡CoNLL-­‑F1, ¡predicted ¡men9ons)

What ¡works?

What ¡works? { Ponze4o ¡and ¡Strube ¡(2006) ¡Impor9ng ¡external ¡informa9on Rahman ¡and ¡Ng ¡(2011) ¡ ¡ ¡ ¡ with ¡sophis9cated ¡heuris9cs Bansal ¡and ¡Klein ¡(2012)