SLIDE 1
Decentralized ¡En.ty-‑Level ¡Modeling ¡ for ¡Coreference ¡Resolu.on
Greg ¡Durre<, ¡ ¡David ¡Hall, ¡ ¡and ¡Dan ¡Klein
UC ¡Berkeley
Decentralized En.ty-Level Modeling for Coreference Resolu.on - - PowerPoint PPT Presentation
Decentralized En.ty-Level Modeling for Coreference Resolu.on - - PowerPoint PPT Presentation
Decentralized En.ty-Level Modeling for Coreference Resolu.on Greg Durre<, David Hall, and Dan Klein UC Berkeley En.ty-Level Modeling En.ty-Level Modeling New
SLIDE 2
SLIDE 3
En.ty-‑Level ¡Modeling
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
SLIDE 4
En.ty-‑Level ¡Modeling
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
SLIDE 5
En.ty-‑Level ¡Modeling
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party. [his]
SLIDE 6
En.ty-‑Level ¡Modeling
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
SLIDE 7
En.ty-‑Level ¡Modeling
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
SLIDE 8
En.ty-‑Level ¡Modeling
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE FEMALE MALE
SLIDE 9
En.ty-‑Level ¡Modeling
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE FEMALE MALE UNKNOWN UNKNOWN
SLIDE 10
Pairwise ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
[Soon ¡et ¡al. ¡(2001) ¡inter ¡alia]
FEMALE
SLIDE 11
Pairwise ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
[Soon ¡et ¡al. ¡(2001) ¡inter ¡alia]
FEMALE
SLIDE 12
Pairwise ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
[Soon ¡et ¡al. ¡(2001) ¡inter ¡alia]
FEMALE
SLIDE 13
Pairwise ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
[Soon ¡et ¡al. ¡(2001) ¡inter ¡alia]
FEMALE
SLIDE 14
Pairwise ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
[Soon ¡et ¡al. ¡(2001) ¡inter ¡alia]
FEMALE
SLIDE 15
Pairwise ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
[Soon ¡et ¡al. ¡(2001) ¡inter ¡alia]
Does ¡not ¡propagate ¡ informa.on
FEMALE
SLIDE 16
En.ty-‑Level ¡Models
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN FEMALE
SLIDE 17
En.ty-‑Level ¡Models
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
En.ty ¡1
FEMALE
SLIDE 18
En.ty-‑Level ¡Models
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
En.ty ¡1 En.ty ¡2
FEMALE
SLIDE 19
Centralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
[Luo ¡et ¡al. ¡(2004), ¡Rahman ¡and ¡Ng ¡(2009)]
FEMALE
SLIDE 20
Centralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
Gender: ¡MALE
[Luo ¡et ¡al. ¡(2004), ¡Rahman ¡and ¡Ng ¡(2009)]
[James ¡Reed]
FEMALE
SLIDE 21
Centralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
Gender: ¡MALE Gender: ¡FEMALE
[Luo ¡et ¡al. ¡(2004), ¡Rahman ¡and ¡Ng ¡(2009)]
[James ¡Reed] [Rose ¡Brooks]
FEMALE
SLIDE 22
Centralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
Gender: ¡MALE Gender: ¡FEMALE
[Luo ¡et ¡al. ¡(2004), ¡Rahman ¡and ¡Ng ¡(2009)]
[James ¡Reed] [Reed] [Rose ¡Brooks]
FEMALE
SLIDE 23
Centralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
Gender: ¡MALE Gender: ¡FEMALE
[Luo ¡et ¡al. ¡(2004), ¡Rahman ¡and ¡Ng ¡(2009)]
[James ¡Reed] [Reed] [Rose ¡Brooks] [Brooks]
FEMALE
SLIDE 24
Centralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
Gender: ¡MALE Gender: ¡FEMALE
[Luo ¡et ¡al. ¡(2004), ¡Rahman ¡and ¡Ng ¡(2009)]
[James ¡Reed] [Reed] [his] [Rose ¡Brooks] [Brooks]
FEMALE
SLIDE 25
Centralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
Gender: ¡MALE Gender: ¡FEMALE
[Luo ¡et ¡al. ¡(2004), ¡Rahman ¡and ¡Ng ¡(2009)]
[James ¡Reed] [Reed] [his] [Rose ¡Brooks] [Brooks]
Does ¡not ¡maintain ¡uncertainty during ¡inference
FEMALE
SLIDE 26
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN
Gender: ¡MALE
FEMALE
SLIDE 27
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
MALE MALE UNKNOWN UNKNOWN FEMALE
SLIDE 28
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
UNKNOWN UNKNOWN MALE FEMALE MALE
SLIDE 29
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
UNKNOWN UNKNOWN MALE FEMALE MALE MALE FEMALE MALE
SLIDE 30
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
UNKNOWN UNKNOWN MALE FEMALE MALE MALE FEMALE MALE
SLIDE 31
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
UNKNOWN UNKNOWN MALE FEMALE MALE
=
MALE FEMALE MALE
SLIDE 32
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
UNKNOWN UNKNOWN MALE FEMALE MALE
=
MALE FEMALE MALE MALE
SLIDE 33
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
UNKNOWN UNKNOWN MALE FEMALE MALE
= =
MALE FEMALE MALE MALE
SLIDE 34
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
UNKNOWN UNKNOWN MALE FEMALE MALE
= =
MALE FEMALE MALE FEMALE MALE
SLIDE 35
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
UNKNOWN UNKNOWN MALE FEMALE MALE MALE FEMALE MALE FEMALE MALE
SLIDE 36
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
UNKNOWN UNKNOWN MALE FEMALE MALE MALE FEMALE MALE FEMALE MALE
SLIDE 37
Our ¡Decentralized ¡Approach
New ¡York ¡was ¡where ¡[James ¡Reed] ¡met ¡[Rose ¡Brooks]. ¡[Reed] ¡ was ¡introduced ¡to ¡[Brooks] ¡at ¡[his] ¡company’s ¡Christmas ¡party.
James ¡ Reed Rose ¡ Brooks Reed Brooks his
UNKNOWN UNKNOWN MALE FEMALE MALE MALE FEMALE MALE FEMALE MALE
Maintains ¡tractability ¡of ¡pairwise ¡system, incorporates ¡en.ty-‑level ¡informa.on
SLIDE 38
BASIC ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
[Denis ¡and ¡Baldridge ¡(2008)]
SLIDE 39
BASIC ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
[Denis ¡and ¡Baldridge ¡(2008)]
New
SLIDE 40
1 New
BASIC ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
[Denis ¡and ¡Baldridge ¡(2008)]
New
SLIDE 41
1 New
BASIC ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
[Denis ¡and ¡Baldridge ¡(2008)]
1 2 New New
SLIDE 42
1 New
BASIC ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
[Denis ¡and ¡Baldridge ¡(2008)]
1 2
A3 A2 A1
New New
SLIDE 43
1 New
BASIC ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
[Denis ¡and ¡Baldridge ¡(2008)]
1 2
A3 A2 A1
New New
Pr(ai|x) ∝ exp(wT f(ai, x))
SLIDE 44
1 New
BASIC ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
[Denis ¡and ¡Baldridge ¡(2008)]
1 2
A3 A2 A1
Head ¡match Both ¡proper
... New New
Pr(ai|x) ∝ exp(wT f(ai, x))
SLIDE 45
1 New
BASIC ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
[Denis ¡and ¡Baldridge ¡(2008)]
1 2
A3 A2 A1
Head ¡match Both ¡proper
...
New ¡⋀ ¡proper New ¡⋀ ¡two ¡words
... New New
Pr(ai|x) ∝ exp(wT f(ai, x))
SLIDE 46
1 New
BASIC ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
[Denis ¡and ¡Baldridge ¡(2008)]
1 2
A3 A2 A1
New New
Pr(ai|x) ∝ exp(wT f(ai, x))
SLIDE 47
1 New
BASIC ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
[Denis ¡and ¡Baldridge ¡(2008)]
1 2
A3 A2 A1
New New
Pr(ai|x) ∝ exp(wT f(ai, x))
SLIDE 48
DECENTRALIZED ¡Model
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
SLIDE 49
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
SLIDE 50
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
SLIDE 51
DECENTRALIZED ¡Model
M F
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
SLIDE 52
DECENTRALIZED ¡Model
M F M F
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
SLIDE 53
DECENTRALIZED ¡Model
M F M F M F
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
SLIDE 54
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
SLIDE 55
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
SLIDE 56
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
=
SLIDE 57
2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
= 2 New 1
SLIDE 58
2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
= 2 New 1
1
SLIDE 59
1 2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
= 1
SLIDE 60
1 2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
=
M F M F
1
SLIDE 61
1 2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
=
M F M F 1
1
SLIDE 62
1 2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
=
M F M F
1
SLIDE 63
1 2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
= 2 New
SLIDE 64
1 2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
= 2 New
2 1 New
SLIDE 65
1 2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
= 2 New
2 1 New
M F
SLIDE 66
1 2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
= 2 New
2 1 New
M F M F
SLIDE 67
1 2 New
DECENTRALIZED ¡Model
P1 P2 P3
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡
A3 A2 A1
= 2 New
2 1 New
M F M F
SLIDE 68
DECENTRALIZED ¡Model
P1 P2 P3
A3 A2 A1
=
SLIDE 69
=
DECENTRALIZED ¡Model
P1 P2 P3
A3 A2 A1
=
SLIDE 70
=
DECENTRALIZED ¡Model
P1 P2 P3
A3 A2 A1
= =
SLIDE 71
=
DECENTRALIZED ¡Model
P1 P2 P3
A3 A2 A1
= =
}
Pairwise model
SLIDE 72
= = =
DECENTRALIZED ¡Model
P1 P2 P3
A3 A2 A1
}
}
Pairwise model Property model
SLIDE 73
=
DECENTRALIZED ¡Model
P1 P2 P3
A3 A2 A1
= =
}
Pairwise model
}
Property model
} Equality
factors
SLIDE 74
Inference
SLIDE 75
Inference
¡Need ¡to ¡compute ¡expected ¡feature ¡counts:
−
Egoldf
Eallf
X⌘ ⇣X ⇣X X⌘
P1 P2 P3
A3 A2 A1
P1 P2 P3
A3 A2 A1
SLIDE 76
Inference
¡Need ¡to ¡compute ¡expected ¡feature ¡counts:
−
Egoldf
Eallf
X⌘ ⇣X ⇣X X⌘
P1 P2 P3
A3 A2 A1
P1 P2 P3
A3 A2 A1
¡Use ¡belief ¡propaga.on ¡to ¡compute ¡marginals ¡ ¡ ¡ ¡ ¡over ¡variables
SLIDE 77
Inference
¡Need ¡to ¡compute ¡expected ¡feature ¡counts:
−
¡Decoding: ¡max ¡over ¡each ¡ ¡ ¡ ¡ ¡ ¡marginal
Egoldf
Eallf
Ai
X⌘ ⇣X ⇣X X⌘
P1 P2 P3
A3 A2 A1
P1 P2 P3
A3 A2 A1
¡Use ¡belief ¡propaga.on ¡to ¡compute ¡marginals ¡ ¡ ¡ ¡ ¡over ¡variables
SLIDE 78
Learning
SLIDE 79
Learning
¡Op.mize ¡condi.onal ¡log ¡likelihood ¡of ¡training ¡data
SLIDE 80
Learning
X
i
log
- Pr(ai
g|xi)
- ¡Op.mize ¡condi.onal ¡log ¡likelihood ¡of ¡training ¡data
SLIDE 81
Learning
Training ¡ examples
X
i
log
- Pr(ai
g|xi)
- ¡Op.mize ¡condi.onal ¡log ¡likelihood ¡of ¡training ¡data
SLIDE 82
Learning
Training ¡ examples Gold ¡antecedent ¡vector
X
i
log
- Pr(ai
g|xi)
- ¡Op.mize ¡condi.onal ¡log ¡likelihood ¡of ¡training ¡data
SLIDE 83
Learning
Training ¡ examples Gold ¡antecedent ¡vector Observed ¡document ¡ proper.es
X
i
log
- Pr(ai
g|xi)
- ¡Op.mize ¡condi.onal ¡log ¡likelihood ¡of ¡training ¡data
SLIDE 84
Learning
¡Op.mize ¡condi.onal ¡log ¡likelihood ¡of ¡training ¡data
@ X
ai
g∈A(C)
Pr(ai
g|xi)
1 A
X
i
log
SLIDE 85
Learning
¡Op.mize ¡condi.onal ¡log ¡likelihood ¡of ¡training ¡data
Antecedent ¡choices ¡ consistent ¡with ¡gold ¡ standard
@ X
ai
g∈A(C)
Pr(ai
g|xi)
1 A
X
i
log
SLIDE 86
Learning
SLIDE 87
Learning
¡Want ¡to ¡op.mize ¡for ¡MUC, ¡B3, ¡CEAF, ¡etc.
SLIDE 88
Learning
¡Want ¡to ¡op.mize ¡for ¡MUC, ¡B3, ¡CEAF, ¡etc. ¡Use ¡a ¡decomposable ¡metric ¡as ¡a ¡proxy
SLIDE 89
1 New 1 2 New New
Learning
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡ ¡Want ¡to ¡op.mize ¡for ¡MUC, ¡B3, ¡CEAF, ¡etc. ¡Use ¡a ¡decomposable ¡metric ¡as ¡a ¡proxy
SLIDE 90
1 New 1 2 New New
Learning
False ¡Anaphor
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡ ¡Want ¡to ¡op.mize ¡for ¡MUC, ¡B3, ¡CEAF, ¡etc. ¡Use ¡a ¡decomposable ¡metric ¡as ¡a ¡proxy
SLIDE 91
1 New 1 2 New New
Learning
False ¡Anaphor False ¡New
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡ ¡Want ¡to ¡op.mize ¡for ¡MUC, ¡B3, ¡CEAF, ¡etc. ¡Use ¡a ¡decomposable ¡metric ¡as ¡a ¡proxy
SLIDE 92
1 New 1 2 New New
Learning
False ¡Anaphor Wrong ¡Link False ¡New
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡ ¡Want ¡to ¡op.mize ¡for ¡MUC, ¡B3, ¡CEAF, ¡etc. ¡Use ¡a ¡decomposable ¡metric ¡as ¡a ¡proxy
SLIDE 93
1 New 1 2 New New
Learning
False ¡Anaphor Wrong ¡Link False ¡New
... ¡[James ¡Reed]1 ¡met ¡[Rose ¡Brooks]2. ¡ ¡ ¡ ¡[Reed]3 ¡was ¡... ¡ ¡Want ¡to ¡op.mize ¡for ¡MUC, ¡B3, ¡CEAF, ¡etc.
k1(False Anaphors) + k2(False News) + k3(Wrong Links)
¡Use ¡a ¡decomposable ¡metric ¡as ¡a ¡proxy
SLIDE 94
Learning
@ X
ai
g∈A(C)
Pr(ai
g|xi)
1 A
X
i
log
SLIDE 95
Learning
@ X
ai
g∈A(C)
Pr(ai
g|xi)
1 A
X
i
log
¡Incorporate ¡this ¡loss ¡with ¡so&max-‑margin ¡by ¡ ¡ ¡adding ¡it ¡as ¡a ¡feature ¡to ¡the ¡pairwise ¡model
[Gimpel ¡and ¡Smith ¡(2010)]
SLIDE 96
Learning
@ X
ai
g∈A(C)
Pr(ai
g|xi)
1 A
X
i
log Pr0
¡Incorporate ¡this ¡loss ¡with ¡so&max-‑margin ¡by ¡ ¡ ¡adding ¡it ¡as ¡a ¡feature ¡to ¡the ¡pairwise ¡model
[Gimpel ¡and ¡Smith ¡(2010)]
SLIDE 97
Learning
@ X
ai
g∈A(C)
Pr(ai
g|xi)
1 A
X
i
log Pr0
¡Incorporate ¡this ¡loss ¡with ¡so&max-‑margin ¡by ¡ ¡ ¡adding ¡it ¡as ¡a ¡feature ¡to ¡the ¡pairwise ¡model
[Gimpel ¡and ¡Smith ¡(2010)]
+λkwk1
SLIDE 98
Experiments
SLIDE 99
Experiments
¡CoNLL ¡2011 ¡dataset, ¡system ¡men.ons ¡from ¡ ¡ ¡ ¡ ¡Lee ¡et ¡al. ¡(2011)
SLIDE 100
Experiments
¡CoNLL ¡2011 ¡dataset, ¡system ¡men.ons ¡from ¡ ¡ ¡ ¡ ¡Lee ¡et ¡al. ¡(2011) ¡Baselines: ¡Pairwise ¡system ¡Centralized ¡en.ty-‑level ¡system ¡following ¡ ¡ ¡ ¡ ¡ ¡Rahman ¡and ¡Ng ¡(2009)
SLIDE 101
Experiments
¡CoNLL ¡2011 ¡dataset, ¡system ¡men.ons ¡from ¡ ¡ ¡ ¡ ¡Lee ¡et ¡al. ¡(2011) ¡Baselines: ¡Pairwise ¡system ¡Centralized ¡en.ty-‑level ¡system ¡following ¡ ¡ ¡ ¡ ¡ ¡Rahman ¡and ¡Ng ¡(2009) ¡Two ¡sefngs: ¡Synthe.c ¡features ¡to ¡contrast ¡architectures ¡Standard ¡en.ty ¡features
SLIDE 102
Synthe.c ¡Proper.es
SLIDE 103
Synthe.c ¡Proper.es
¡For ¡each ¡gold ¡cluster, ¡label ¡ ` ∼ U[{1, 2, 3, 4, 5}]
SLIDE 104
Synthe.c ¡Proper.es
¡For ¡each ¡gold ¡cluster, ¡label ¡ [James ¡Reed] [Reed] [his]
` ∼ U[{1, 2, 3, 4, 5}]
SLIDE 105
Synthe.c ¡Proper.es
¡For ¡each ¡gold ¡cluster, ¡label ¡ [James ¡Reed] [Reed] [his] 5
` ∼ U[{1, 2, 3, 4, 5}]
SLIDE 106
Synthe.c ¡Proper.es
¡For ¡each ¡gold ¡cluster, ¡label ¡ [James ¡Reed] [Reed] [his] 5 [Rose ¡Brooks] [Brooks] 3
` ∼ U[{1, 2, 3, 4, 5}]
SLIDE 107
Synthe.c ¡Proper.es
¡For ¡each ¡gold ¡cluster, ¡label ¡ [James ¡Reed] [Reed] [his] 5 [Rose ¡Brooks] [Brooks] 3
` ∼ U[{1, 2, 3, 4, 5}]
[New ¡York] 5
SLIDE 108
Synthe.c ¡Proper.es
¡For ¡each ¡gold ¡cluster, ¡label ¡ ¡For ¡each ¡men.on, ¡sample ¡from ¡Dirichlet ¡peaked ¡on ¡ [James ¡Reed] [Reed] [his] 5 [Rose ¡Brooks] [Brooks] 3
` ∼ U[{1, 2, 3, 4, 5}]
[New ¡York] 5
`
SLIDE 109
Synthe.c ¡Proper.es
¡For ¡each ¡gold ¡cluster, ¡label ¡ ¡For ¡each ¡men.on, ¡sample ¡from ¡Dirichlet ¡peaked ¡on ¡ James ¡ Reed [James ¡Reed] [Reed] [his] 5 [Rose ¡Brooks] [Brooks] 3
` ∼ U[{1, 2, 3, 4, 5}]
[New ¡York] 5
`
SLIDE 110
Synthe.c ¡Proper.es
¡For ¡each ¡gold ¡cluster, ¡label ¡ ¡For ¡each ¡men.on, ¡sample ¡from ¡Dirichlet ¡peaked ¡on ¡ James ¡ Reed Reed [James ¡Reed] [Reed] [his] 5 [Rose ¡Brooks] [Brooks] 3
` ∼ U[{1, 2, 3, 4, 5}]
[New ¡York] 5
`
SLIDE 111
Synthe.c ¡Proper.es
¡For ¡each ¡gold ¡cluster, ¡label ¡ ¡For ¡each ¡men.on, ¡sample ¡from ¡Dirichlet ¡peaked ¡on ¡ James ¡ Reed Reed his [James ¡Reed] [Reed] [his] 5 [Rose ¡Brooks] [Brooks] 3
` ∼ U[{1, 2, 3, 4, 5}]
[New ¡York] 5
`
SLIDE 112
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
Synthe.c ¡Proper.es
60.0 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
BASIC
SLIDE 113
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
Synthe.c ¡Proper.es
60.0 62.7 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
PAIRWISE* BASIC
* ¡uses ¡gold ¡ ¡ ¡ ¡ ¡informa.on
SLIDE 114
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
Synthe.c ¡Proper.es
60.0 62.7 63.0 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
CENTRALIZED* TRANSITIVE* PAIRWISE* BASIC
* ¡uses ¡gold ¡ ¡ ¡ ¡ ¡informa.on
SLIDE 115
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
Synthe.c ¡Proper.es
60.0 62.7 63.0 63.7 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
CENTRALIZED* DECENTRALIZED* PAIRWISE* BASIC
* ¡uses ¡gold ¡ ¡ ¡ ¡ ¡informa.on
SLIDE 116
φ-‑feature ¡Proper.es
[Rahman ¡and ¡Ng ¡(2009), ¡Lee ¡et ¡al. ¡(2011), ¡inter ¡alia]
SLIDE 117
φ-‑feature ¡Proper.es
¡Proper.es ¡based ¡on ¡linguis.c ¡φ-‑features: ¡Number ¡Gender ¡Animacy ¡NE ¡type
[Rahman ¡and ¡Ng ¡(2009), ¡Lee ¡et ¡al. ¡(2011), ¡inter ¡alia]
SLIDE 118
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
59.9 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
PAIRWISE
φ-‑feature ¡Proper.es
SLIDE 119
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
59.9 59.8 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
CENTRALIZED PAIRWISE
φ-‑feature ¡Proper.es
SLIDE 120
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
59.9 59.8 59.9 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
CENTRALIZED DECENTRALIZED PAIRWISE
φ-‑feature ¡Proper.es
SLIDE 121
Seman.c ¡Proper.es
¡φ-‑features ¡do ¡not ¡capture ¡fine-‑grained ¡seman.c ¡ ¡ ¡dis.nc.ons ¡between ¡en..es
SLIDE 122
Seman.c ¡Proper.es
¡φ-‑features ¡do ¡not ¡capture ¡fine-‑grained ¡seman.c ¡ ¡ ¡dis.nc.ons ¡between ¡en..es ¡Use ¡proper.es ¡derived ¡from ¡unsupervised ¡clustering ¡ ¡ ¡ ¡of ¡headwords ¡and ¡their ¡governors
SLIDE 123
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
Seman.c ¡Proper.es
60.0 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
BASIC
SLIDE 124
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
Seman.c ¡Proper.es
60.0 60.4 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
PAIRWISE BASIC
SLIDE 125
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
Seman.c ¡Proper.es
60.0 60.4 59.9 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
CENTRALIZED PAIRWISE BASIC
SLIDE 126
55 60 65
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
Seman.c ¡Proper.es
60.0 60.4 59.9 60.4 (CoNLL ¡scores, ¡10-‑fold ¡cross-‑valida.on ¡on ¡train ¡set)
CENTRALIZED DECENTRALIZED PAIRWISE BASIC
SLIDE 127
Overall ¡Results
55 60 65 φ-‑features Seman.c
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
62.7
DECENTRALIZED PAIRWISE
59.9 59.9 60.4 60.4
CENTRALIZED
59.8 59.9 63.0 63.7
SLIDE 128
Overall ¡Results
55 60 65 φ-‑features Seman.c Synthe.c
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡
62.7
DECENTRALIZED PAIRWISE
59.9 59.9 60.4 60.4
CENTRALIZED
59.8 59.9 63.0 63.7
SLIDE 129
Conclusion
¡Our ¡model ¡effec.vely ¡integrates ¡en.ty-‑level ¡ ¡ ¡ ¡features ¡in ¡an ¡end-‑to-‑end ¡way
SLIDE 130
Conclusion
¡Our ¡model ¡effec.vely ¡integrates ¡en.ty-‑level ¡ ¡ ¡ ¡features ¡in ¡an ¡end-‑to-‑end ¡way ¡Good ¡en.ty-‑level ¡features ¡are ¡hard ¡to ¡find: ¡ ¡ ¡ ¡simple ¡φ-‑feature ¡and ¡seman.c ¡type ¡propaga.on ¡ ¡ ¡ ¡give ¡li<le ¡benefit
SLIDE 131
Conclusion
¡Our ¡model ¡effec.vely ¡integrates ¡en.ty-‑level ¡ ¡ ¡ ¡features ¡in ¡an ¡end-‑to-‑end ¡way
Thank ¡you!
¡Good ¡en.ty-‑level ¡features ¡are ¡hard ¡to ¡find: ¡ ¡ ¡ ¡simple ¡φ-‑feature ¡and ¡seman.c ¡type ¡propaga.on ¡ ¡ ¡ ¡give ¡li<le ¡benefit
SLIDE 132
M ¡ ¡ ¡F
Projected ¡Proper.es
raw ¡input
P1
SLIDE 133
M ¡ ¡ ¡F
Projected ¡Proper.es
R1
raw ¡input
SLIDE 134
M ¡ ¡ ¡F
Projected ¡Proper.es
P1 R1
raw ¡input “projec.on” factor
SLIDE 135
M ¡ ¡ ¡F
θM-M θM-F
θF-M θF-F
Projected ¡Proper.es
P1 R1
raw ¡input “projec.on” factor
SLIDE 136
M ¡ ¡ ¡F
θM-M θM-F
θF-M θF-F
“How ¡willing ¡is ¡the ¡ model ¡to ¡switch ¡ from ¡M ¡to ¡F”
Projected ¡Proper.es
P1 R1
raw ¡input “projec.on” factor
SLIDE 137
M ¡ ¡ ¡F M ¡ ¡ ¡F
θM-M θM-F
θF-M θF-F
“How ¡willing ¡is ¡the ¡ model ¡to ¡switch ¡ from ¡M ¡to ¡F”
Projected ¡Proper.es
P1 R1
raw ¡input “projec.on” factor
SLIDE 138
55 60 65
Final ¡Results
58.6 58.6 (CoNLL ¡scores, ¡blind ¡test ¡set)
STANFORD TRANSITIVE