generating and interpreting referring expressions in
play

Generating and Interpreting Referring Expressions in Context Dustin - PowerPoint PPT Presentation

Jul 27, 2023 •138 likes •1.75k views

Generating and Interpreting Referring Expressions in Context Dustin Smith 1 Tuesday, November 5, 13 The three readers Henry Agustn Marvin Lieberman Rayo Minsky 2 Tuesday, November 5, 13 3 Tuesday,

  1. Involving ¡Speaker ¡and ¡Hearer Genera+on: ¡ given ¡an ¡intended ¡meaning, ¡produce ¡a ¡referring ¡ expression ¡that ¡will ¡allow ¡a ¡human ¡listener ¡to ¡derive ¡it Interpreta+on: ¡ Given ¡a ¡human ¡speaker’s ¡referring ¡expression, ¡ infer ¡her ¡intended ¡meaning Okay I’d ¡like ¡ the ¡Albacore ¡tuna I’d ¡like ¡ the ¡tuna ¡burger I’d ¡like ¡ tuna 22 Tuesday, November 5, 13

  2. Related ¡Work 1. Generating ¡referring ¡expressions ¡using ¡planning ¡ ¡ Appelt ¡1985; ¡Stone ¡& ¡Doran, ¡1997; ¡ ¡Koller ¡& ¡Stone ¡2007; ¡Koller ¡& ¡Petrick ¡ 2011 1. Modeling ¡vague ¡and ¡gradable ¡adjectives ¡ ¡Lassiter ¡2011; ¡Klein ¡1990; ¡ Bartsch ¡& ¡Vennermann ¡1976; ¡Zadeh ¡1975; 2. Modeling ¡both ¡generation ¡and ¡interpretation ¡Winograd ¡1976; ¡Appelt ¡ 1986; ¡ ¡Heeman ¡& ¡Hirst ¡1995 2. Interpretation ¡models ¡that ¡use ¡“Theory ¡of ¡Mind” ¡ reasoning ¡about ¡generation. ¡Benotti ¡and ¡Traum ¡2009; ¡ ¡Bergen ¡ et ¡al ¡2012; ¡ ¡Goodman ¡& ¡Stuhlmüller ¡2013; ¡ ¡Vogel ¡et ¡al ¡2013 What’s ¡missing? ¡ ¡Computational ¡models ¡of ¡interpretation ¡and ¡ generation ¡that ¡are ¡fast, ¡incremental, ¡non-­‑deterministic, ¡and ¡ address ¡context-­‑dependencies. 23 /122 Tuesday, November 5, 13

  3. Presentation ¡Overview I. A ¡computational ¡model ¡for ¡ A utomatically ¡ I nterpreting ¡& ¡ G enerating ¡ R eferring ¡ E xpressions ¡( AIGRE ) 1. Generation ¡as ¡belief-­‑state ¡planning, ¡Interpretation ¡as ¡plan-­‑recognition • fast • incremental • non-­‑deterministic 2. Handles ¡context-­‑dependent ¡word ¡meanings ¡for ¡a ¡fragment ¡of ¡English ¡NPs 3. Evaluation ¡on ¡Mechanical ¡Turk ¡Data II. IntegraBon ¡of ¡both ¡processes ¡to ¡model ¡the ¡hearer’s ¡about ¡ speakers’ ¡decisions 24 /122 Tuesday, November 5, 13

  4. Context-­‑dependent ¡Meanings Standard Model of Interpretation Denotation Reference Context Resolution Speaker Meaning Pragmatic Context Inference Encoded Meaning Linguistic Decoding ¡ the ¡blue ¡house Referring Expression 25 Tuesday, November 5, 13

  5. Context-­‑dependent ¡Meanings Standard Model of Interpretation Denotation Reference Context Resolution Speaker Meaning Pragmatic Context Inference [ ∃ x [ ∀ y blue 1 ( y ) ∧ house ( y ) → x = y ]] Encoded Meaning ∨ [ ∃ x [ ∀ y blue 2 ( y ) ∧ house ( y ) → x = y ]] Linguistic Decoding ¡ the ¡blue ¡house Referring Expression 26 Tuesday, November 5, 13

  6. Context-­‑dependent ¡Meanings Standard Model of Interpretation Denotation Reference Context Resolution . . . ∴ ¬ blue 1 Speaker Meaning Pragmatic Context Inference [ ∃ x [ ∀ y blue 1 ( y ) ∧ house ( y ) → x = y ]] Encoded Meaning ∨ [ ∃ x [ ∀ y blue 2 ( y ) ∧ house ( y ) → x = y ]] Linguistic Decoding ¡ the ¡blue ¡house Referring Expression 27 Tuesday, November 5, 13

  7. Context-­‑dependent ¡Meanings Standard Model of Interpretation x = x1349A3 Denotation Reference Context Resolution . . . ∴ ¬ blue 1 Speaker Meaning Pragmatic Context Inference [ ∃ x [ ∀ y blue 1 ( y ) ∧ house ( y ) → x = y ]] Encoded Meaning ∨ [ ∃ x [ ∀ y blue 2 ( y ) ∧ house ( y ) → x = y ]] Linguistic Decoding ¡ the ¡blue ¡house Referring Expression 28 Tuesday, November 5, 13

  8. NLU/NLG ¡Pipelines 29 Tuesday, November 5, 13

  9. NLU/NLG ¡Pipelines 29 Tuesday, November 5, 13

  10. The ¡“Lexical ¡Approach” Interpretation Generation Meaning Representation Meaning Representation All linguistic All linguistic Context encoding decoding decisions decisions Referring Expression [Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011] 30 Tuesday, November 5, 13

  11. The ¡“Lexical ¡Approach” Given ¡varying ¡ initial ¡conditions Interpretation Generation Meaning Representation Meaning Representation All linguistic All linguistic Context encoding decoding decisions decisions Referring Expression [Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011] 31 Tuesday, November 5, 13

  12. The ¡“Lexical ¡Approach” Given ¡varying ¡ initial ¡conditions Interpretation Generation Meaning Representation Meaning Representation All linguistic All linguistic Context encoding decoding decisions decisions Choose ¡content, ¡words, ¡and ¡arrange ¡ them ¡ in ¡ order Referring Expression [Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011] 31 Tuesday, November 5, 13

  13. The ¡“Lexical ¡Approach” Given ¡varying ¡ initial ¡conditions Interpretation Generation Meaning Representation Meaning Representation All linguistic All linguistic Context encoding decoding decisions decisions Choose ¡content, ¡words, ¡and ¡arrange ¡ them ¡ in ¡ order Referring Expression Stop ¡when ¡ ¡ communication ¡ goal ¡ is ¡met [Stone & Doran, 1997; Koller & Stone 2007; Koller & Petrick 2011] 31 Tuesday, November 5, 13

  14. Generation ¡→ ¡Planning ac+ons lexical ¡entries change ¡the ¡state change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints state encoded ¡meaning representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ the ¡problem ¡or ¡environment Both ¡as ¡(1) ¡an ¡ intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡ (denotaMon) goal goal desired ¡state(s) meaning ¡that ¡idenMfies ¡targets 32 Tuesday, November 5, 13

  15. Generation ¡→ ¡Planning ac+ons lexical ¡entries change ¡the ¡state change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints state encoded ¡meaning representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ the ¡problem ¡or ¡environment Both ¡as ¡(1) ¡an ¡ intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡ (denotaMon) goal goal desired ¡state(s) meaning ¡that ¡idenMfies ¡targets big 1 ( size ) one 2 1 the 2 3 6 standard: [ 70, ∞ ) cost: 2.55 size:7 cost: 0.01 size:7 size:1 size:1 cost: 1.40 33 Tuesday, November 5, 13

  16. Generation ¡→ ¡Planning ac+ons lexical ¡entries change ¡the ¡state change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints state encoded ¡meaning representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ the ¡problem ¡or ¡environment Both ¡as ¡(1) ¡an ¡ intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡ (denotaMon) goal goal desired ¡state(s) meaning ¡that ¡idenMfies ¡targets ac+on state state 1 the 2 size:7 cost: 0.01 size:7 33 Tuesday, November 5, 13

  17. Generation ¡→ ¡Planning ac+ons lexical ¡entries change ¡the ¡state change ¡encoded ¡meaning, ¡while ¡ adhering ¡to ¡semanMc ¡and ¡ morphosyntacMc ¡constraints state encoded ¡meaning representaMon ¡of ¡the ¡relevant ¡parts ¡of ¡ the ¡meaning ¡of ¡the ¡referring ¡expression. ¡ the ¡problem ¡or ¡environment Both ¡as ¡(1) ¡an ¡ intensional ¡descrip.on and ¡(2) ¡its ¡referents ¡ (denotaMon) goal goal desired ¡state(s) meaning ¡that ¡idenMfies ¡targets ac+on goal ¡state state one 2 3 6 70, ∞ ) cost: 2.55 size:1 size:1 33 Tuesday, November 5, 13

  18. The ¡CIRCLES ¡referential ¡domain C1 C2 C3 34 /122 Tuesday, November 5, 13

  19. The ¡CIRCLES ¡referential ¡domain C1 C2 C3 big 1 ( size ) one 2 1 the 2 3 6 standard: [ 70, ∞ ) cost: 2.55 size:7 cost: 0.01 size:7 size:1 size:1 cost: 1.40 35 /122 Tuesday, November 5, 13

  20. “the ¡big ¡one” C1 C2 C3 R=3 big 1 ( size ) one 2 1 the 2 3 6 standard: [ 70, ∞ ) cost: 2.55 size:7 cost: 0.01 size:7 size:1 size:1 cost: 1.40 36 /122 Tuesday, November 5, 13

  21. “the ¡green ¡circles” C1 C2 C3 green 1 1 the 2 3 circles 4 size:7 cost: 0.01 size:7 cost: 1.31 size:3 cost: 2.42 size:1 37 /122 Tuesday, November 5, 13

  22. “a ¡green ¡circle” C1 C2 C3 green b 0 a b 1 b 2 b 3 circle cost: 0.61 cost: 1.61 cost: 2.91 size:7 size:7 size:7 size:2 38 Tuesday, November 5, 13

  23. “a ¡green ¡circle” C1 C2 C3 green b 0 a b 1 b 2 b 3 circle cost: 0.61 cost: 1.61 cost: 2.91 size:7 size:7 size:7 size:2 38 Tuesday, November 5, 13

  24. “a ¡green ¡circle” “a green circle” in C IRCLES domain a Possible Targets { c 1 } { c 2 } { c 3 } green { c 1 , c 2 } C1 C2 C3 { c 1 , c 3 } { c 2 , c 3 } { c 1 , c 2 , c 3 } circle 0.0 0.5 1.0 Relative likelihood of denotation green b 0 a b 1 b 2 b 3 circle cost: 0.61 cost: 1.61 cost: 2.91 size:7 size:7 size:7 size:2 38 Tuesday, November 5, 13

  25. “any ¡two ¡circles” “any two circles” in C IRCLES domain any Possible Targets { c 1 } { c 2 } { c 3 } two { c 1 , c 2 } { c 1 , c 3 } { c 2 , c 3 } { c 1 , c 2 , c 3 } circles 0.0 0.5 1.0 Relative likelihood of denotation any b 0 b 1 b 2 b 3 two circles cost: 0.99 cost: 2.07 cost: 3.27 size:7 size:7 size:3 size:3 39 Tuesday, November 5, 13

  26. Representing ¡Referents Belief ¡states ¡represent ¡an ¡ intensional ¡descrip.on ¡of ¡the ¡ reference ¡domain . ¡ ¡This ¡is ¡a ¡conBnuum ¡between ¡a ¡category ¡of ¡ enBBes ¡and ¡a ¡single ¡enBty ¡in ¡the ¡referenBal ¡domain. visual ¡ SHAPE: circle SHAPE: circle SHAPE: circle SIZE: 30 SIZE: 60 SIZE: 120 aNribute-­‑value ¡ COLOR: green COLOR: green COLOR: blue c 1 c 2 c 3 symbolic ¡ 40 Tuesday, November 5, 13

  27. Representing ¡Referents Belief ¡states ¡represent ¡an ¡ intensional ¡descrip.on ¡of ¡the ¡ reference ¡domain . ¡ ¡This ¡is ¡a ¡conBnuum ¡between ¡a ¡category ¡of ¡ enBBes ¡and ¡a ¡single ¡enBty ¡in ¡the ¡referenBal ¡domain. SHAPE: circle SHAPE: circle SHAPE: circle SIZE: 30 SIZE: 60 SIZE: 120 COLOR: green COLOR: green COLOR: blue c 1 c 2 c 3 symbolic ¡ 40 Tuesday, November 5, 13

  28. Representing ¡Belief ¡States Belief ¡contain ¡aNributes ¡defined ¡by ¡data ¡structures ¡called ¡ cells : ¡ In [1]: import numpy as np BoolCell In [2]: from beliefs.cells import * DictCell IntervalCell In [3]: size = IntervalCell(0, np.inf) LatLonCell Out[3]: [0.00, np.inf] LinearOrderedCell In [4]: size.merge(IntervalCell(30, 50)) ListCell Out[4]: [30.00, 50.00] NameCell PartialOrderedCell In [5]: size.merge(33) PrefixCell Out[5]: 33.00 RGBColorCell StringCell In [6]: size.merge(10) SetIntersectionCell ------------------------------------------- SetUnionCell Contradiction SHAPE: SIZE: [0, 100] COLOR: {green, blue} Download at http://eventteam.github.io/beliefs/ [Sussman & Radul 2009] 41 Tuesday, November 5, 13

  29. Representing ¡Belief ¡States Belief ¡contain ¡aNributes ¡defined ¡by ¡data ¡structures ¡called ¡ cells : ¡ In [1]: import numpy as np BoolCell In [2]: from beliefs.cells import * DictCell IntervalCell In [3]: size = IntervalCell(0, np.inf) LatLonCell Out[3]: [0.00, np.inf] LinearOrderedCell In [4]: size.merge(IntervalCell(30, 50)) ListCell Out[4]: [30.00, 50.00] NameCell PartialOrderedCell In [5]: size.merge(33) PrefixCell Out[5]: 33.00 RGBColorCell StringCell In [6]: size.merge(10) SetIntersectionCell ------------------------------------------- SetUnionCell Contradiction SHAPE: belief_state = DictCell({'size': IntervalCell(0, 100), SIZE: [0, 100] 'color': SetCell(['green', ‘blue’])}) COLOR: {green, blue} Download at http://eventteam.github.io/beliefs/ [Sussman & Radul 2009] 41 Tuesday, November 5, 13

  30. Representing ¡Belief ¡States Belief ¡contain ¡aNributes ¡defined ¡by ¡data ¡structures ¡called ¡ cells : ¡ In [1]: import numpy as np BoolCell In [2]: from beliefs.cells import * DictCell IntervalCell In [3]: size = IntervalCell(0, np.inf) LatLonCell Out[3]: [0.00, np.inf] LinearOrderedCell ListCell In [4]: size.merge(IntervalCell(30, 50)) NameCell Out[4]: [30.00, 50.00] PartialOrderedCell In [5]: size.merge(33) PrefixCell Out[5]: 33.00 RGBColorCell StringCell In [6]: size.merge(10) SetIntersectionCell ------------------------------------------- SetUnionCell Contradiction The ¡same ¡ extension ¡ does ¡not ¡imply ¡the ¡same ¡ intension. ⊨ ¡{C1, ¡C2} SHAPE: ≠ SHAPE: SHAPE: SIZE: [20, 60] SIZE: [20, 100] SIZE: 70 COLOR: {blue, green} COLOR: COLOR: {blue} ⊨ ¡{C1, ¡C2} SHAPE: [Sussman & Radul 2009] Download at http://eventteam.github.io/beliefs/ 42 Tuesday, November 5, 13

  31. A ¡belief ¡state ¡ about ¡ CIRCLES denote(CIRCLE, b ) intension extension ¡(denotation) 43 Tuesday, November 5, 13

  32. Representing ¡Properties denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 44 Tuesday, November 5, 13

  33. Representing ¡Singular denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 45 Tuesday, November 5, 13

  34. Representing ¡Singular restricts ¡size ¡of ¡target ¡set denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 45 Tuesday, November 5, 13

  35. Representing ¡Plurals denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 46 Tuesday, November 5, 13

  36. Representing ¡“any” denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 47 Tuesday, November 5, 13

  37. Representing ¡“any” denote(CIRCLE, b ) resolve(CIRCLES, b) restricts ¡size ¡of ¡ difference ¡ intension extension ¡(denotation) between ¡target ¡set ¡and ¡largest ¡set 47 Tuesday, November 5, 13

  38. Representing ¡“the” denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 48 Tuesday, November 5, 13

  39. Representing ¡“the” denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 49 Tuesday, November 5, 13

  40. Representing ¡“the” denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 50 Tuesday, November 5, 13

  41. Representing ¡“the” denote(CIRCLE, b ) resolve(CIRCLES, b) intension extension ¡(denotation) 51 Tuesday, November 5, 13

  42. Determiner ¡meanings This ¡simple ¡representation ¡captures ¡a ¡wide ¡range ¡of ¡articles ¡(the, ¡ a) ¡and ¡quantifier ¡meanings ¡(without ¡scope). 52 Tuesday, November 5, 13

  43. Presentation ¡Overview I. A ¡computational ¡model ¡for ¡ A utomatically ¡ I nterpreting ¡& ¡ G enerating ¡ R eferring ¡ E xpressions ¡( AIGRE ) 1. Generation ¡as ¡belief-­‑state ¡planning, ¡Interpretation ¡as ¡plan-­‑recognition • fast • incremental • non-­‑deterministic 2. Handles ¡context-­‑dependent ¡word ¡meanings ¡for ¡a ¡fragment ¡of ¡English ¡NPs • unspeci1ic ¡meanings • quanti1iers • ambiguity • vagueness • ellipsis 3. Evaluation ¡on ¡Turk ¡Data II. IntegraBon ¡of ¡both ¡processes ¡to ¡model ¡the ¡hearer’s ¡about ¡ speakers’ ¡decisions 53 /122 Tuesday, November 5, 13

  44. “the ¡big ¡one” C1 C2 C3 big 1 ( size ) one 2 1 the 2 3 6 standard: [ 70, ∞ ) cost: 2.55 size:7 cost: 0.01 size:7 size:1 size:1 cost: 1.40 54 /122 Tuesday, November 5, 13

  45. KINDLES ¡referential ¡domain K1 K2 K3 K4 K5 55 /122 Tuesday, November 5, 13

  46. “the ¡big ¡one” K1 K2 K3 K4 K5 56 /122 Tuesday, November 5, 13

  47. Lexical ¡Ambiguity The ¡same ¡lexical ¡item ¡can ¡generate ¡mulBple ¡outcomes ¡due ¡to ¡ two ¡types ¡of ¡lexical ¡ambiguity: Polysemy Homonymy (disk) 2 2 light ¡(weight) 1 1 big 3 light ¡(color) (screen) 4 57 Tuesday, November 5, 13 K1 K2 K3 K4 K5 K6

  48. “the ¡big ¡one” “the big one” in K INDLES domain the Possible Targets { k 4 } big { k 5 } K1 K2 K3 K4 K5 one 2 0.0 0.5 1.0 Relative likelihood of denotation one 2 3 9 size:1 cost: 2.26 size:1 ) ) ∞ e , z 0 i 7 s . ( 9 [ g 2 : i d b r a d 0 2 n a . 1 t s : t s o c big 2 ( harddrive.size ) one 2 1 2 6 14 the standard: [ 8, ∞ ) size:31 cost: 0.01 size:31 size:1 cost: 3.26 size:1 cost: 2.20 58 /122 Tuesday, November 5, 13

  49. “the ¡big ¡one” “the big one” in K INDLES domain the Possible Targets { k 4 } big { k 5 } K1 K2 K3 K4 K5 one 2 0.0 0.5 1.0 Relative likelihood of denotation one 2 3 9 size:1 cost: 2.26 size:1 ) ) ∞ e , z 0 i 7 s . ( 9 [ g 2 : i d b r a d 0 2 n a . 1 t s : t s o c big 2 ( harddrive.size ) one 2 1 2 6 14 the standard: [ 8, ∞ ) size:31 cost: 0.01 size:31 size:1 cost: 3.26 size:1 cost: 2.20 59 /122 Tuesday, November 5, 13

  50. “the ¡big ¡one” “the big one” in K INDLES domain the Possible Targets { k 4 } big { k 5 } K1 K2 K3 K4 K5 one 2 0.0 0.5 1.0 Relative likelihood of denotation one 2 3 9 size:1 cost: 2.26 size:1 ) ) ∞ e , z 0 i 7 s . ( 9 [ g 2 : i d b r a d 0 2 n a . 1 t s : t s o c big 2 ( harddrive.size ) one 2 1 2 6 14 the standard: [ 8, ∞ ) size:31 cost: 0.01 size:31 size:1 cost: 3.26 size:1 cost: 2.20 60 /122 Tuesday, November 5, 13

  51. “the ¡big ¡one” “the big one” in K INDLES domain the Possible Targets { k 4 } big { k 5 } K1 K2 K3 K4 K5 one 2 0.0 0.5 1.0 Relative likelihood of denotation one 2 3 9 size:1 cost: 2.26 size:1 ) ) ∞ e , z 0 i 7 s . ( 9 [ g 2 : i d b r a d 0 2 n a . 1 t s : t s o c big 2 ( harddrive.size ) one 2 1 2 6 14 the standard: [ 8, ∞ ) size:31 cost: 0.01 size:31 size:1 cost: 3.26 size:1 cost: 2.20 61 /122 Tuesday, November 5, 13

  52. “the ¡big ¡one” “the big one” in K INDLES domain the Possible Targets { k 4 } big { k 5 } K1 K2 K3 K4 K5 one 2 0.0 0.5 1.0 Relative likelihood of denotation one 2 3 9 size:1 cost: 2.26 size:1 ) ) ∞ e , z 0 i 7 s . ( 9 [ g 2 : i d b r a d 0 2 n a . 1 t s : t s o c big 2 ( harddrive.size ) one 2 1 2 6 14 the standard: [ 8, ∞ ) size:31 cost: 0.01 size:31 size:1 cost: 3.26 size:1 cost: 2.20 62 /122 Tuesday, November 5, 13

  53. Vagueness 1. Insufficient ¡informaBon ¡for ¡the ¡communicaBonal ¡goal. ¡ 2. Existence ¡of ¡borderline ¡cases. red? overweight? heap? [van ¡Deemter, ¡2010] 63 Tuesday, November 5, 13

  54. Vagueness ParBBon ¡on ¡all ¡possible ¡standards ¡of ¡comparison ¡for ¡the ¡context ¡ set. ¡ ¡With ¡5 ¡disBnct ¡PRICE ¡values, ¡“expensive” ¡could ¡have ¡5 ¡ meanings: std ¡≥ ¡$379 2 std ¡≥ ¡$199 1 expensive 3 std ¡≥ ¡$149 4 std ¡≥ ¡$99 5 std ¡≥ ¡$79 6 64 Tuesday, November 5, 13 K1 K2 K3 K4 K5

  55. “the ¡big ¡ones” 65 /122 Tuesday, November 5, 13

  56. “the ¡second” Ellipsis: one 2 1 the 2 second 3 leftmost 4 5 cost: 5.41 size:7 cost: 0.01 size:7 cost: 3.10 size:3 cost: 3.61 size:3 size:1 66 Tuesday, November 5, 13

  57. “the ¡second” Ellipsis: one 2 1 the 2 second 3 leftmost 4 5 cost: 5.41 size:7 cost: 0.01 size:7 cost: 3.10 size:3 cost: 3.61 size:3 size:1 66 Tuesday, November 5, 13

  58. “the ¡second” Ellipsis: “the second” in C IRCLES domain the Possible Targets { c 1 } { c 2 } second { c 3 } { c 1 , c 2 } [leftmost] { c 1 , c 3 } { c 2 , c 3 } { c 1 , c 2 , c 3 } [one 2 ] 0.0 0.5 1.0 Relative likelihood of denotation one 2 1 the 2 second 3 leftmost 4 5 cost: 5.41 size:7 cost: 0.01 size:7 cost: 3.10 size:3 cost: 3.61 size:3 size:1 66 Tuesday, November 5, 13

  59. “the ¡second” Ellipsis: “the second” in C IRCLES domain the Possible Targets { c 1 } { c 2 } second { c 3 } { c 1 , c 2 } [leftmost] { c 1 , c 3 } { c 2 , c 3 } { c 1 , c 2 , c 3 } [one 2 ] 0.0 0.5 1.0 Relative likelihood of denotation one 2 1 the 2 second 3 leftmost 4 5 cost: 5.41 size:7 cost: 0.01 size:7 cost: 3.10 size:3 cost: 3.61 size:3 size:1 67 Tuesday, November 5, 13

  60. Presentation ¡Overview I. A ¡computational ¡model ¡for ¡ A utomatically ¡ I nterpreting ¡& ¡ G enerating ¡ R eferring ¡ E xpressions ¡( AIGRE ) 1. Generation ¡as ¡belief-­‑state ¡planning, ¡Interpretation ¡as ¡plan-­‑recognition • fast • incremental • non-­‑deterministic 2. Handles ¡context-­‑dependent ¡word ¡meanings ¡for ¡a ¡fragment ¡of ¡English ¡NPs • unspeci1ic ¡meanings • quanti1iers • ambiguity • vagueness • ellipsis 3. Evaluation ¡on ¡Turk ¡Data • Collecting ¡Data • Generation ¡Coverage • Interpretation ¡Coverage II. IntegraBon ¡of ¡both ¡processes ¡to ¡model ¡the ¡hearer’s ¡about ¡ speakers’ ¡decisions 68 /122 Tuesday, November 5, 13

  61. Collecting ¡Data Created ¡web ¡interface ¡for ¡authoring ¡experiments 69 /122 Tuesday, November 5, 13

  62. Dataset ¡Details 70 /122 Tuesday, November 5, 13

  63. Full ¡AIGRE ¡Generation ¡Output 71 Tuesday, November 5, 13

  64. Evaluating ¡Generation ¡ 72 /122 Tuesday, November 5, 13

  65. Generation ¡Quality Referring Expression Quality in C IRCLES domain for 15 1.0 Best-first Stochastic Hillclimbing Stochastic Hillclimbing with backtracking 0.8 Mean Sorensen-Dice coefficient 0.6 0.4 0.2 0.0 { c 1 } { c 2 } { c 3 } { c 1 , c 2 } { c 1 , c 3 } { c 2 , c 3 } { c 1 , c 2 , c 3 } 73 /122 Tuesday, November 5, 13

Download Presentation
Download Policy: The content available on the website is offered to you 'AS IS' for your personal information and use only. It cannot be commercialized, licensed, or distributed on other websites without prior consent from the author. To download a presentation, simply click this link. If you encounter any difficulties during the download process, it's possible that the publisher has removed the file from their server.

Recommend

Generating Referring Expressions in Open Domains Advaith Siddharthan & Ann Copestake

Generating Referring Expressions in Open Domains Advaith Siddharthan & Ann Copestake

g Generating Referring Expressions in Open Domains Advaith Siddharthan & Ann Copestake as372@cs.columbia.edu & aac10@cl.cam.ac.uk Advaith Siddharthan. Index p.1/40 Structure of Talk1 g Motivation Attribute Selection The

444 views • 40 slides
Computational Models of Discourse: Generating Referring Expressions Caroline Sporleder

Computational Models of Discourse: Generating Referring Expressions Caroline Sporleder

Computational Models of Discourse: Generating Referring Expressions Caroline Sporleder Universit at des Saarlandes Sommersemester 2009 03.06.2009 Caroline Sporleder csporled@coli.uni-sb.de Computational Models of Discourse Generating

1.15k views • 60 slides
Learning(Distribu.ons(over(Logical(Forms(for( Referring(Expression(Genera.on(

Learning(Distribu.ons(over(Logical(Forms(for( Referring(Expression(Genera.on(

Learning(Distribu.ons(over(Logical(Forms(for( Referring(Expression(Genera.on( Nicholas(FitzGerald(((((Yoav(Artzi(((((Luke(ZeClemoyer( Referring(Expressions( Photo:(pwenzel(on(Flikr( Referring(Expressions( Photo:(pwenzel(on(Flikr(

1.18k views • 95 slides
NLG as Cogni,ve Modelling The case of Referring Expressions

NLG as Cogni,ve Modelling The case of Referring Expressions

NLG as Cogni,ve Modelling The case of Referring Expressions Genera,on Kees van Deemter University of Aberdeen Compu,ng Science dept. KvD, NLG Summer

1.11k views • 73 slides
Referring Expressions & Alternate Views of Summarization Ling 573 Systems and Applications

Referring Expressions & Alternate Views of Summarization Ling 573 Systems and Applications

Referring Expressions & Alternate Views of Summarization Ling 573 Systems and Applications May 24, 2016 Roadmap Content realization: Referring expressions Alternate views of summarization: Dimensions of the TAC

558 views • 32 slides
The Generation of Referring Expressions: The Generation of Referring Expressions: Where We've

The Generation of Referring Expressions: The Generation of Referring Expressions: Where We've

The Generation of Referring Expressions: The Generation of Referring Expressions: Where We've Been, How We Got Here, and Where Where We've Been, How We Got Here, and Where We re Going We We're Going We re Going re Going Robert Dale Robert

981 views • 60 slides
Referring Expressions A mention that is are about some entity, the referent Pronoun Name:

Referring Expressions A mention that is are about some entity, the referent Pronoun Name:

Coreference Resolution Referring Expressions A mention that is are about some entity, the referent Pronoun Name: Toby Definite description: Samuels cat Indefinite description: A cat Mentions can be nested: her sons

457 views • 42 slides
Mat MattNet tNet: : Modu Modular Atten lar Attention tion Network for Referring Network for

Mat MattNet tNet: : Modu Modular Atten lar Attention tion Network for Referring Network for

March 2020 Mat MattNet tNet: : Modu Modular Atten lar Attention tion Network for Referring Network for Referring Expres Expression Comp sion Comprehe rehension nsion Tong Gao Background Referring expressions are natural language

433 views • 26 slides
ReferItGame: Referring to Objects in Photographs of Natural Scenes Motivation First

ReferItGame: Referring to Objects in Photographs of Natural Scenes Motivation First

ReferItGame: Referring to Objects in Photographs of Natural Scenes Motivation First large-scale referring expression dataset Reference expressions are the natural way people talk Of psychological interest in the 70s; Grice,

359 views • 15 slides
Modelling the Polysemy of Spatial Prepositions in Referring Expressions omez Adam

Modelling the Polysemy of Spatial Prepositions in Referring Expressions omez Adam

Modelling the Polysemy of Spatial Prepositions in Referring Expressions omez Adam Richard-Bollans Luc a G Alvarez Anthony G. Cohn September 10, 2020 University of Leeds, UK Introduction Modelling spatial prepositions

564 views • 17 slides
Lecture 22: Discourse and Referring Expressions Julia Hockenmaier juliahmr@illinois.edu 3324

Lecture 22: Discourse and Referring Expressions Julia Hockenmaier juliahmr@illinois.edu 3324

CS447: Natural Language Processing http://courses.engr.illinois.edu/cs447 Lecture 22: Discourse and Referring Expressions Julia Hockenmaier juliahmr@illinois.edu 3324 Siebel Center : n 1 o t i r t c a u P d o r e t s n r

516 views • 26 slides
Information Structure Prediction for Visual-World Referring Expressions Micha Elsner Hannah

Information Structure Prediction for Visual-World Referring Expressions Micha Elsner Hannah

Information Structure Prediction for Visual-World Referring Expressions Micha Elsner Hannah Rohde, Alasdair Clarke The Ohio State University University of Edinburgh University of Aberdeen Describe the person in the box so that someone

783 views • 28 slides
Chapter 7 Expressions and Statements Expressions Arithmetic Expressions Conditional

Chapter 7 Expressions and Statements Expressions Arithmetic Expressions Conditional

Chapter 7 Expressions and Statements Expressions Arithmetic Expressions Conditional Expressions Relational Expressions Logical Expressions Operator Overloading Assignment Statement Control Structure Selection

737 views • 51 slides
Toward a Toward a Overview Sociology of Sociology of Introduction Interpreting

Toward a Toward a Overview Sociology of Sociology of Introduction Interpreting

6/9/2010 Toward a Toward a Overview Sociology of Sociology of Introduction Interpreting Interpreting Traditional foci in Sign Language Interpreting Research What a sociology of interpreting would look like. Jeremy L. Brunson

82 views • 5 slides
INTERPRETING THE PACEMAKER ECG - GANZ 2017 1 SUPERIOR VENA CAVAL SYNDROME EXAMINATION OF THE

INTERPRETING THE PACEMAKER ECG - GANZ 2017 1 SUPERIOR VENA CAVAL SYNDROME EXAMINATION OF THE

INTERPRETING THE ECG IN PATIENTS WITH PACEMAKERS BEFORE INTERPRETING THE ECG: Nora Goldschlager, M.D. MACP, FACC, FAHA, FHRS. Cardiology San Francisco General Hospital UCSF Disclosures: None 1 2 QUESTIONS FOR THE PATIENT

252 views • 14 slides
Learning Distribu.ons over Logical Forms for Referring Expression

Learning Distribu.ons over Logical Forms for Referring Expression

Learning Distribu.ons over Logical Forms for Referring Expression Genera.on Nicholas FitzGerald Yoav Artzi Luke ZeClemoyer Referring

1.5k views • 95 slides
Automotive Grade Linux Accelerating Connected Car Software Development Open Source Forum Japan

Automotive Grade Linux Accelerating Connected Car Software Development Open Source Forum Japan

Automotive Grade Linux Accelerating Connected Car Software Development Open Source Forum Japan November 15, 2017 Dan Cauchy, Executive Director, AGL Why do so many people do this? Slide 2 Its not just about the cars anymore, >

629 views • 48 slides
CSCI 5582 Artificial Intelligence Lecture 26 Jim Martin CSCI 5582 Fall 2006 Today 12/12

CSCI 5582 Artificial Intelligence Lecture 26 Jim Martin CSCI 5582 Fall 2006 Today 12/12

CSCI 5582 Artificial Intelligence Lecture 26 Jim Martin CSCI 5582 Fall 2006 Today 12/12 Machine Translation Review Automatic Evaluation Question Answering CSCI 5582 Fall 2006 1 Readings Chapters 22 and 23 in Russell

443 views • 31 slides
LOOKING FORWARD: EQUITY, PROSPERITY, & COMMUNITY IN A CHANGING (& DIVIDED) AMERICA

LOOKING FORWARD: EQUITY, PROSPERITY, & COMMUNITY IN A CHANGING (& DIVIDED) AMERICA

Source: http://www.flickr.com/photos/victoriabernal/8066930319/in/pool-ciclavia/ LOOKING FORWARD: EQUITY, PROSPERITY, & COMMUNITY IN A CHANGING (& DIVIDED) AMERICA MANUEL PASTOR MANUEL PASTOR 01-25-2018 @Prof_MPastor Changing

688 views • 45 slides
Exploring the Red Planet Dr. Anita Sengupta University of Southern California How do we land on

Exploring the Red Planet Dr. Anita Sengupta University of Southern California How do we land on

Exploring the Red Planet Dr. Anita Sengupta University of Southern California How do we land on Mars? Why Are We so Interested In Mars? Earth and Mars Look very Different From Each Other, but what about at the beginning of time? 3 Could We

560 views • 38 slides
ON I.MX PROCESSORS? SCALABLE I.MX PROCESSOR OVERVIEW AND INSTRUCTION TO BUILD AGL TATSUYA

ON I.MX PROCESSORS? SCALABLE I.MX PROCESSOR OVERVIEW AND INSTRUCTION TO BUILD AGL TATSUYA

Rev. D HOW WE RUN AGL ON I.MX PROCESSORS? SCALABLE I.MX PROCESSOR OVERVIEW AND INSTRUCTION TO BUILD AGL TATSUYA KOBAYASHI TATSUYA.KOBAYASHI@NXP.COM NXP SEMICONDUCTORS JAPAN 25, FEBRUARY, 2016 EXTERNAL USE I.MX PROCESSORS 2 EXTERNAL USE

504 views • 23 slides
Foundations of Network and Foundations of Network and Computer Security Computer Security J ohn

Foundations of Network and Foundations of Network and Computer Security Computer Security J ohn

Foundations of Network and Foundations of Network and Computer Security Computer Security J ohn Black J Lecture #22 Nov 11 th 2004 CSCI 6268/TLEN 5831, Fall 2004 Announcements Proj #2 Due week from today Following Thurs is

485 views • 25 slides
Leveraging Docker in Automotive projects based on AGL/GENIVI Stphane Desneux CTO at IoT.bzh

Leveraging Docker in Automotive projects based on AGL/GENIVI Stphane Desneux CTO at IoT.bzh

Leveraging Docker in Automotive projects based on AGL/GENIVI Stphane Desneux CTO at IoT.bzh < sdx@iot.bzh > IoT.bzh Specialized on Embedded & IoT Contributing to AGL Project for Renesas Expertise domains: System

1.9k views • 34 slides
BBN VISER TRECVID MED 11 System 1/12/2012 1 Outline Overview Feature Extraction

BBN VISER TRECVID MED 11 System 1/12/2012 1 Outline Overview Feature Extraction

BBN VISER TRECVID MED 11 System 1/12/2012 1 Outline Overview Feature Extraction Low-level Features High-level Features: Objects and Concepts Automatic Speech Recognition (ASR) Features Videotext OCR Event Detection

719 views • 42 slides

More recommend