r s trs t - - PowerPoint PPT Presentation
r s trs t rrt r trs r tt r r
■♥st✐t✉t❡ ❢♦r ◆❛t✉r❛❧ ▲❛♥❣✉❛❣❡ Pr♦❝❡ss✐♥❣ ✭■▼❙✮✱ ❯♥✐✈❡rs✐t② ♦❢ ❙t✉tt❣❛rt
✼t❤ ♦❢ ❙❡♣t❡♠❜❡r ✷✵✶✼ ❙❈◆▲P ❅ ❊▼◆▲P ✷✵✶✼ ✲ ❙❤♦rt P❛♣❡r
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✸✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
■ ❬✵✳✾❪ ε ❬✵✳✶❪ ❤❛✈❡ ❬✵✳✹❪ ♠♦✈❡ ❬✵✳✻❪ ✐t ❬✵✳✷❪ ε ❬✵✳✽❪ ✈❡❛❧ ❬✵✳✸❪ ✈❡r② ❬✵✳✼❪ ✜♥❡ ❬✵✳✶❪ ♦❢t❡♥ ❬✵✳✸❪ ❢❛st ❬✵✳✻❪
❤②♣♦t❤❡s❡s ✭▼❛♥❣✉ ❡t ❛❧✳✱ ✷✵✵✵❀ ❄✮
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✹✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
✇✐t❤ ❣❛t❡❞ r❡❝✉rr❡♥t ✉♥✐ts ✭●❘❯s✮ ✭❄✮
✶✲❜❡st ❜❛s❡❧✐♥❡
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✺✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
d0 e00 x00 h0 w00 w01 e10 e11 x10 x11 h1 w10 e20 x20 h2 w20 w21 w22 e30 e31 e32 x30 x31 x32 h3 d1 e40 x40 h4 w30 w31 e50 e51 x50 x51 h5 w40 w41 w42 e60 e61 e62 x60 x61 x62 h6 d2 e70 x70 h7 d3 e80 x80 h8 d4 e90 x90 h9 w50 w51 e100 e101 x100 x101 h10 w60 w61 w62 e110 e111 e112 x110 x111 x112 h11 embedding layer dense layer with ReLU activation confusion network GRU s0 u0 s1 u1 s2 u2 ⊕ ⊕ ⊕ softmax p0(slot) softmax p1(slot) softmax p2(slot)
❡♥❝♦❞❡r ❝❧❛ss✐✜❡r sj, uj✿
❝♦❞❡r ♦✉t♣✉ts ❛t t❤❡ ❡♥❞ ♦❢ ❡❛❝❤ s②st❡♠ ❛♥❞ ✉s❡r ✉tt❡r✲ ❛♥❝❡ ⊕ := Wssj + Wuuj + b✱ ✇❡✐❣❤t❡❞ s✉♠ ♦❢ s②st❡♠ ❛♥❞ ✉s❡r ✐♥❢♦r♠❛t✐♦♥ dt✿ ♦♥❡✲❤♦t ✈❡❝t♦rs ♦❢ s②st❡♠ ❞✐❛❧♦❣ ❛❝ts wti✿ ♦♥❡✲❤♦t ✈❡❝t♦rs ♦❢ ✇♦r❞ ❤②♣♦t❤❡s❡s ✐♥ t❤❡ ❝♥❡t t✐♠❡st❡♣s ♦❢ ✉s❡r ✉tt❡r❛♥❝❡s ❇❛s✐s✿ ❩✐❧❦❛ ❛♥❞ ❏✉r❝í❝❡❦ ✭✷✵✶✺✮
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✼✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
❊♥❝♦❞✐♥❣ k ❛❧t❡r♥❛t✐✈❡ ❤②♣♦t❤❡s❡s ❛t t✐♠❡st❡♣ t ♦❢ ❛ ❝♥❡t✿ ht✲✶ xt✵ ˜ ht✲✶✵ ht✵ zt✵ rt✵ ✶ − zt✵ xtk−✶ ˜ ht✲✶k−✶ htk−✶ ztk−✶ rtk−✶ ✶ − ztk−✶ · · · · · · · · · · · · · · · · · · · · · ht hti = zti · ht−✶ + (✶ − zti) · ˜ hti zti = σ(Wzxti + Uzht−✶ + bz) ˜ hti = t❛♥❤(Whxti + Uh(rti · ht−✶) + bh) rti = σ(Wrxti + Urht−✶ + br) ht = f♣♦♦❧(ht✵ . . . htk−✶) ❇❛s❡❞ ♦♥ r❡❝❡♥t ❛♣♣r♦❛❝❤❡s t♦ ❡♥❝♦❞❡ ❧❛tt✐❝❡s ✈✐❛ ❘◆◆s
✭▲❛❞❤❛❦ ❡t ❛❧✳✱ ✷✵✶✻❀ ❙✉ ❡t ❛❧✳✱ ✷✵✶✼✮
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✽✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
❛✈❡r❛❣❡ ♣♦♦❧✐♥❣ : f❛✈❡r❛❣❡ = k
i=✶ hti
k ✇❡✐❣❤t❡❞ ♣♦♦❧✐♥❣ : f✇❡✐❣❤t❡❞ =
k
s❝♦r❡i · hti✱ ✇❤❡r❡ s❝♦r❡i ✐s t❤❡ ❝♦♥✜❞❡♥❝❡ s❝♦r❡ ♦❢ ❝♥❡t ❤②♣♦t❤❡s✐s xti
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✾✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
❬❍❡♥❞❡rs♦♥ ❡t ❛❧✳✱ ✷✵✶✹❪✿ ✉s❡r ✐♥t❡r❛❝t✐♦♥s ✇✐t❤ r❡st❛✉r❛♥t ❞♦♠❛✐♥ ❙❉❙
♣r✐❝❡ r❛♥❣❡ ✭✺ ✈❛❧✉❡s✮❀ ✽ r❡q✉❡sts ✭❡✳❣✳ ♣❤♦♥❡ ♥✉♠❜❡r✱ ❛❞❞r❡ss✮
❤②♣♦t❤❡s✐s ❛s t✐♠❡st❡♣s ✇✐t❤ s✐♥❣❧❡ ❤②♣♦t❤❡s✐s
❧❡♥❣t❤ ♦❢ ❜❡st ❤②♣♦t❤❡s✐s ✐s ♦♥❧② ✹ t♦❦❡♥s
→ r❡♠♦✈❡ ✐♥t❡r❥❡❝t✐♦♥s ✭✉❤✱ ♦❤✱ ✳ ✳ ✳ ✮ → ♣r✉♥❡ ❤②♣♦t❤❡s❡s ✇✐t❤ ❧♦✇ s❝♦r❡s
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✶✶✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
♣❛r❛♠❡t❡r ✈❛❧✉❡ tr❛✐♥✐♥❣ ❡♣♦❝❤s ✷✵ ✭r❡q✉❡sts✮✱ ✶✵✵ ✭❢♦♦❞✮✱ ✺✵ ✭❛r❡❛✱ ♣r✐❝❡ r❛♥❣❡✮ ♦♣t✐♠✐③❡r ❆❞❛♠ ✭❄✮ ✐♥✐t✐❛❧ ❧❡❛r♥✐♥❣ r❛t❡ ✵✳✵✵✶ tr❛✐♥✐♥❣ ❜❛t❝❤ s✐③❡ ✶✵ ❞✐❛❧♦❣s λ ♦❢ ❧✷ r❡❣✉❧❛r✐③❛t✐♦♥ ✵✳✵✵✶ ❞r♦♣♦✉t r❛t❡ ✵✳✺ ❡♠❜❡❞❞✐♥❣s ♣r❡tr❛✐♥❡❞ ✸✵✵✲❞✐♠❡♥s✐♦♥❛❧ P❆❘❆●❘❆▼✲❙▲✾✾✾ ❡♠❜❡❞❞✐♥❣s ★ ✉♥✐ts ❞❡♥s❡ ❧❛②❡r ✸✵✵ ★ ✉♥✐ts ●❘❯ ✶✵✵ s✐③❡ ♦❢ t❤❡ s②st❡♠ ❛♥❞ ✉s❡r ✈❡❝t♦r ❝♦♠❜✐♥❛t✐♦♥ ♠❛tr✐① ✺✵
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✶✷✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
t❡st ❞❛t❛ ❣♦❛❧s r❡q✉❡sts tr❛✐♥ ♦♥ tr❛♥s❝r✐♣ts ✰ ❜❛t❝❤ ❆❙❘ ✭❜❛s❡❧✐♥❡✮ ❜❛t❝❤ ❆❙❘ ✻✸✳✻ ✻✻✳✻
✺✽✳✼
✾✻✳✽ ✾✼✳✶
✾✻✳✺
tr❛✐♥ ♦♥ tr❛♥s❝r✐♣ts ✰ ❧✐✈❡ ❆❙❘ ✭❧♦✇❡r ❲❊❘✮ ❧✐✈❡ ❆❙❘ ✻✸✳✽ ✻✼✳✵
✻✵✳✷
✾✼✳✺ ✾✼✳✼
✾✼✳✷
tr❛♥s❝r✐♣ts ✼✽✳✸ ✽✷✳✹
✼✹✳✸
✾✽✳✼ ✾✾✳✵
✾✽✳✵
❉❙❚❈✷ t❡st s❡t ❛❝❝✉r❛❝② ♦❢ ✶✵ r✉♥s ✇✐t❤ ❞✐✛❡r❡♥t r❛♥❞♦♠ s❡❡❞s ✐♥ t❤❡ ❢♦r♠❛t ❛✈❡r❛❣❡ ♠❛①✐♠✉♠
♠✐♥✐♠✉♠
→ ❆❙❘ ❡rr♦rs str♦♥❣❧② ❛✛❡❝t ❉❙❚ ♣❡r❢♦r♠❛♥❝❡
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✶✹✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
♠❡t❤♦❞ ❣♦❛❧s r❡q✉❡sts ✶✲❜❡st ❜❛s❡❧✐♥❡ ✻✸✳✻ ✻✻✳✻
✺✽✳✼
✾✻✳✽ ✾✼✳✶
✾✻✳✺
❝♥❡t ✲ ♥♦ ♣r✉♥✐♥❣ ✇❡✐❣❤t❡❞ ♣♦♦❧✐♥❣ ✻✸✳✼ ✻✺✳✻
✻✶✳✻
✾✻✳✼ ✾✼✳✵
✾✻✳✸
❝♥❡t ✲ s❝♦r❡ t❤r❡s❤♦❧❞ ✵✳✵✵✶ ❛✈❡r❛❣❡ ♣♦♦❧✐♥❣ ✻✸✳✼ ✻✻✳✹
✻✵✳✵
✾✻✳✻ ✾✻✳✽
✾✻✳✵
✇❡✐❣❤t❡❞ ♣♦♦❧✐♥❣ ✻✺✳✷ ✻✽✳✺
✺✾✳✶
✾✼✳✵ ✾✼✳✹
✾✻✳✻
❝♥❡t ✲ s❝♦r❡ t❤r❡s❤♦❧❞ ✵✳✵✶ ❛✈❡r❛❣❡ ♣♦♦❧✐♥❣ ✻✹✳✻ ✻✼✳✾
✺✾✳✼
✾✻✳✾ ✾✼✳✷
✾✻✳✺
✇❡✐❣❤t❡❞ ♣♦♦❧✐♥❣ ✻✹✳✼ ✻✽✳✹
✻✷✳✷
✾✼✳✶⋆ ✾✼✳✸
✾✻✳✾
❉❙❚❈✷ t❡st s❡t ❛❝❝✉r❛❝② ♦❢ ✶✵ r✉♥s ✇✐t❤ ❞✐✛❡r❡♥t r❛♥❞♦♠ s❡❡❞s
⋆✿ s✐❣♥✐✜❝❛♥t❧② ❜❡tt❡r t❤❛♥ ❜❛s❡❧✐♥❡ ✭p < ✵.✵✺✮
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✶✺✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
→ ▲❡✈❡r❛❣❡ r✐❝❤❡r ❆❙❘ ❤②♣♦t❤❡s✐s s♣❛❝❡ ✐♥ ❝♥❡ts
♣❡r❢♦r♠❛♥❝❡ ♦✈❡r ✶✲❜❡st ❜❛s❡❧✐♥❡ ❋✉t✉r❡ ❲♦r❦
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✶✼✴✶✼
■♥tr♦❞✉❝t✐♦♥ ✫ ▼♦t✐✈❛t✐♦♥ ▼♦❞❡❧ ❊①♣❡r✐♠❡♥ts ❘❡s✉❧ts ❈♦♥❝❧✉s✐♦♥s ❘❡❢❡r❡♥❝❡s
❋❛✐s❛❧ ▲❛❞❤❛❦✱ ❆♥❦✉r ●❛♥❞❤❡✱ ▼❛r❦✉s ❉r❡②❡r✱ ▲❛♠❜❡rt ▼❛tt❤✐❛s✱ ❆r✐②❛ ❘❛str♦✇✱ ❛♥❞ ❇❥ör♥ ❍♦✛♠❡✐st❡r✳ ✷✵✶✻✳ ▲❛tt✐❝❡❘◆◆✿ ❘❡❝✉rr❡♥t ◆❡✉r❛❧ ◆❡t✇♦r❦s ♦✈❡r ▲❛tt✐❝❡s✳ ■♥ Pr♦❝❡❡❞✐♥❣s ♦❢ ■♥t❡rs♣❡❡❝❤ ▲✐❞✐❛ ▼❛♥❣✉✱ ❊r✐❝ ❇r✐❧❧✱ ❛♥❞ ❆♥❞r❡❛s ❙t♦❧❝❦❡✳ ✷✵✵✵✳ ❋✐♥❞✐♥❣ ❝♦♥s❡♥s✉s ✐♥ s♣❡❡❝❤ r❡❝♦❣♥✐t✐♦♥✿ ✇♦r❞ ❡rr♦r ♠✐♥✐♠✐③❛t✐♦♥ ❛♥❞ ♦t❤❡r ❛♣♣❧✐❝❛t✐♦♥s ♦❢ ❝♦♥❢✉s✐♦♥ ♥❡t✇♦r❦s✳ ❈♦♠♣✉t❡r ❙♣❡❡❝❤ ✫ ▲❛♥❣✉❛❣❡✱ ✶✹✭✹✮✳ ❏✐♥s♦♥❣ ❙✉✱ ❩❤✐①✐♥❣ ❚❛♥✱ ❉❡②✐ ❳✐♦♥❣✱ ❘♦♥❣r♦♥❣ ❏✐✱ ❳✐❛♦❞♦♥❣ ❙❤✐✱ ❛♥❞ ❨❛♥❣ ▲✐✉✳ ✷✵✶✼✳ ▲❛tt✐❝❡✲❇❛s❡❞ ❘❡❝✉rr❡♥t ◆❡✉r❛❧ ◆❡t✇♦r❦ ❊♥❝♦❞❡rs ❢♦r ◆❡✉r❛❧ ▼❛❝❤✐♥❡ ❚r❛♥s❧❛t✐♦♥✳ ■♥ Pr♦❝❡❡❞✐♥❣s ♦❢ t❤❡ ❚❤✐rt②✲❋✐rst ❆❆❆■ ❈♦♥❢❡r❡♥❝❡ ♦♥ ❆rt✐✜❝✐❛❧ ■♥t❡❧❧✐❣❡♥❝❡✳ ▲✉❦ás ❩✐❧❦❛ ❛♥❞ ❋✐❧✐♣ ❏✉r❝í❝❡❦✳ ✷✵✶✺✳ ▲❡❝❚r❛❝❦✿ ■♥❝r❡♠❡♥t❛❧ ❉✐❛❧♦❣ ❙t❛t❡ ❚r❛❝❦✐♥❣ ✇✐t❤ ▲♦♥❣ ❙❤♦rt✲❚❡r♠ ▼❡♠♦r② ◆❡t✇♦r❦s✳ ■♥ Pr♦❝❡❡❞✐♥❣s ♦❢ t❤❡ ✶✽t❤ ■♥t❡r♥❛t✐♦♥❛❧ ❈♦♥❢❡r❡♥❝❡ ♦♥ ❚❡①t✱ ❙♣❡❡❝❤✱ ❛♥❞ ❉✐❛❧♦❣✉❡ ✲ ❱♦❧✉♠❡ ✾✸✵✷✳
❊♥❝♦❞✐♥❣ ❈♥❡ts ✇✐t❤ ❘◆◆s ❢♦r ❉❙❚ ❏❛❣❢❡❧❞✱ ❱✉ ✶✾✴✶✼