Transforming Personal Ar0facts into Probabilis0c Narra0ves - - PowerPoint PPT Presentation

▶
transforming personal ar0facts into probabilis0c narra0ves
SMART_READER_LITE
LIVE PREVIEW

Transforming Personal Ar0facts into Probabilis0c Narra0ves - - PowerPoint PPT Presentation

Feb 10, 2023 344 likes •639 views

Transforming Personal Ar0facts into Probabilis0c Narra0ves (UAIW2013) Setareh Rafa0rad and Kathryn Laskey srafa0r@gmu.edu klaskey@gmu.edu Setareh Rafa0rad, Kathryn

slide-1
SLIDE 1

Transforming ¡Personal ¡ Ar0facts ¡into ¡Probabilis0c ¡ Narra0ves ¡

Setareh ¡Rafa0rad ¡and ¡Kathryn ¡Laskey ¡ srafa0r@gmu.edu ¡ klaskey@gmu.edu ¡ ¡ ¡

1 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

(UAIW2013) ¡

slide-2
SLIDE 2

Outline ¡

  • Mo0va0on ¡
  • Agglomera0ve ¡Clustering ¡
  • Event ¡Ontology ¡Augmenta0on ¡
  • Filtering ¡
  • Evalua0on ¡
  • Summary ¡

2 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-3
SLIDE 3

Mo0va0on ¡

3 ¡

Date/Time Original : 2009:12:15 11:46:44 Create Date : 2009:12:15 11:46:44 Shutter Speed Value : 1/304 Aperture Value : 2.6 Brightness Value : 7.16 GPS Version ID : 2.2.0.0 Compression : JPEG (old-style) Thumbnail Offset : 1280 Thumbnail Length : 9508 Bits Per Sample : 8 Color Components : 3 Y Cb Cr Sub Sampling : YCbCr4:2:2 (2 1) Aperture : 2.6 GPS Altitude : 0 m Above Sea Level GPS Latitude : 33.81924 GPS Longitude :-117.918963 Shutter Speed : 1/304 Focal Length : 3.8 mm Light Value : 12.0

EXIF ¡TAG ¡

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-4
SLIDE 4

Mo0va0on ¡cont’d ¡ ¡ ¡

  • Expressive ¡event ¡tag ¡

– Mul0-­‑granular ¡Conceptual ¡descrip0on ¡

  • Containment ¡event ¡rela0onships ¡e.g. ¡subevent, ¡

during, ¡etc. ¡ ¡ ¡

– Mul0-­‑adapta0on ¡of ¡Contextual ¡descrip0on ¡

  • Visit ¡landmark ¡Forbidden ¡City ¡in ¡a ¡trip ¡to ¡

Beijing, ¡visit ¡Landmark ¡Washington ¡monument ¡ in ¡Washington, ¡DC. ¡ ¡ ¡ ¡ ¡

4 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-5
SLIDE 5

Mo0va0on ¡cont’d ¡ ¡

5 ¡

Ontological ¡Event ¡models ¡ Data ¡sources ¡ + ¡

Annota0on ¡ technique ¡ Geo-­‑tagged ¡ photo ¡stream ¡of ¡ an ¡event ¡+ ¡ photo ¡stream ¡annotated ¡ with ¡context-­‑adap0ve ¡event ¡

  • ntology ¡(probabilis0c ¡

narra0ves) ¡

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-6
SLIDE 6

Domain ¡Event ¡Ontology ¡

!!!Professional! trip! !!!Visit!Campus! !!!Visit!Surrounding!Area! !!!Formal!Event!

!!!Talk! !!!Mee<ng!

!!!Visit!People! !!!Visit!departments! Trip! Flight!! Arrival!! Leisure! Indoor!Ac<vity! Outdoor!Ac<vity! Breakfast! Journey! Dinner! Order!food! Serve!food! Lunch! Check!out! Shopping! Parking! Visit!Landmark! Check!in! Miscellaneous! subClassOf! subeventOf! before!

6 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-7
SLIDE 7

Perdurant ¡ ¡ Endurant ¡ Par0cipant ¡ Spa0al ¡Region ¡ Interval ¡

  • ccurs-during

Literal:Timestamp ¡

start end

  • ccurs-at

point ¡ double:lat ¡ double:lng ¡

hasLatitude hasLongitude

Visual ¡Concept ¡

visual-constraint

Subevent containment Rules: If subevent(B,A), then:

  • B.Start>= A.start && B.end<= A.end
  • Contained-in(B.located-at,A.located-at)
  • B.media ⊂ A.media
  • B.participant ⊂ A.participant

subevent-of Trel

Core ¡Event ¡Ontology ¡

7 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-8
SLIDE 8

photo%base* metadata%base* clustering* descriptor* valida5on* h6p%request/ response* individual* photo* photo*stream* user*info*

  • ntological*

event*models* %event*inference** %refinement* %*valida5on* %*extension* Event*Ontology** Augmenta5on* h6p%request/ response* visual*concept** verifica5on*tool* filtering* p r e d i c t e d * t a g s * processing* components* execu5on* flow* data*sources*

Solu0on ¡Strategy ¡

8 ¡

f si,cj

( ) = mi

p

S ⊆ V O V, E

( )

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-9
SLIDE 9

Challenges ¡

  • How ¡to ¡obtain ¡expressive ¡event ¡tags? ¡
  • How ¡to ¡determine ¡the ¡event ¡

category? ¡

  • What ¡kind ¡of ¡data ¡sources ¡should ¡be ¡

used ¡to ¡compute ¡the ¡tags? ¡

9 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-10
SLIDE 10

Agglomera0ve ¡Clustering ¡

10 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-11
SLIDE 11

Event ¡Ontology ¡Augmenta0on ¡

  • Defini0on1: ¡

– A ¡context-­‑adap0ve ¡event ¡ontology ¡is ¡an ¡ instance ¡event ¡ontology, ¡augmented ¡with ¡ concrete ¡context ¡cues ¡from ¡disparate ¡

  • sources. ¡
  • Defini0on2: ¡

– A ¡tag ¡t ¡for ¡a ¡group ¡of ¡photos ¡C is ¡an ¡ augmented ¡instance ¡of ¡a ¡subevent ¡of ¡event ¡ E ¡that ¡either ¡exists ¡in ¡event ¡ontology ¡O, ¡or ¡ can ¡be ¡derived ¡from ¡O ¡such ¡that ¡t is ¡the ¡ finest ¡subevent ¡that ¡can ¡be ¡assigned ¡to ¡C. ¡

11 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-12
SLIDE 12

Event ¡Ontology ¡Augmenta0on ¡ cont’d ¡

  • Given ¡a ¡photo ¡pj, ¡find ¡the ¡sound ¡

cluster ¡C ¡containing ¡pj ¡

  • Represent ¡C ¡with ¡a ¡set ¡of ¡consistent ¡

descriptors ¡ ¡

– using ¡the ¡descriptors ¡of ¡every ¡pi ¡ ¡ ¡ ¡ ¡C, ¡ ¡ – guided ¡by ¡the ¡descriptors ¡of ¡pj ¡

  • Confidence ¡of ¡cluster ¡descriptor ¡d: ¡ ¡

12 ¡

∈ confidenced = 1 C × f pi,d

( )

∑

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-13
SLIDE 13

Event ¡Ontology ¡Augmenta0on ¡ cont’d ¡

  • Context ¡Discovery ¡

– Schema ¡for ¡source ¡representa0on ¡ – SPARQL ¡for ¡query ¡sources ¡

13 ¡

SELECT ¡?var1 ¡FROM ¡<source-­‑URI> ¡ WHERE{ ¡ ¡ ¡ ¡ ¡ ¡ ¡akr1 ¡<typeOf> ¡classw. ¡ ¡ ¡ ¡ ¡ ¡ ¡akr2 ¡<typeOf> ¡classf. ¡ ¡ ¡ ¡ ¡ ¡ ¡akr3 ¡<typeOf> ¡classu. ¡ ¡ ¡ ¡ ¡ ¡ ¡?x ¡rela ¡?var1. ¡ ¡ ¡ ¡ ¡ ¡ ¡?x ¡relb ¡?y. ¡ ¡ ¡ ¡ ¡ ¡ ¡?x ¡relc ¡?z. ¡ ¡ ¡ ¡ ¡ ¡ ¡?y ¡reld ¡akr1. ¡ ¡ ¡ ¡ ¡ ¡ ¡?z ¡relh ¡akr2. ¡} ¡ ¡ ¡ weather ¡<typeOf> ¡Sta0s0calSource ¡ ¡ ¡ ¡ ¡ ¡input_akr: ¡(loc,t, ¡zone); ¡ ¡ ¡ ¡ ¡ ¡output_akr: ¡(weather); ¡ ¡ ¡ ¡ ¡ ¡ ¡loc ¡<typeOf> ¡Point; ¡ ¡ ¡ ¡ ¡ ¡t ¡<typeOf> ¡Timestamp; ¡ ¡ ¡ ¡ ¡ ¡zone ¡<typeOf> ¡TimeZone; ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Point ¡<subClassOf> ¡Space; ¡ ¡ ¡ ¡ ¡ ¡Point ¡<hasLa0tude> ¡Literal:numeric; ¡ ¡ ¡ ¡ ¡ ¡ ¡Point ¡<hasLongitude> ¡Literal:numeric. ¡ ¡ ¡ ¡ ¡ ¡Timestamp ¡<subClassOf> ¡Time; ¡ ¡ ¡ ¡ ¡ ¡weather ¡<typeOf> ¡Ambiance; ¡ ¡ ¡ ¡ ¡ ¡Ambiance ¡<hasValue> ¡Literal:String; ¡ ¡ ¡ ¡ ¡ ¡Ambiance ¡<subClassOf> ¡Quality. ¡ ¡

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡George ¡Mason ¡University ¡

slide-14
SLIDE 14

Event ¡Ontology ¡Augmenta0on ¡ cont’d ¡

  • Descriptors ¡consistency ¡

– Example ¡

14 ¡

  • utdoorSea.ng ¡: ¡true; ¡

sceneT ¡ype ¡: ¡outdoor; ¡ weatherCondi.on ¡: ¡storm ¡

  • utdoorSeating∧outdoor → fineWeather

fineWeather →¬storm

  • utdoorSeating∧outdoor →¬storm

Rule1: ¡ Rule2 ¡is ¡entailed: ¡

inconsistency ¡detected! ¡

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-15
SLIDE 15

Event ¡Ontology ¡Augmenta0on ¡ cont’d ¡

  • Event ¡Inference ¡

– Find ¡event ¡categories ¡ – Rank ¡event ¡candidates ¡through ¡Measure ¡of ¡Plausibility ¡ ¡

  • Granularity ¡score ¡for ¡an ¡event ¡candidate ¡
  • Context-­‑Plausibility ¡score ¡for ¡an ¡event ¡candidate ¡

¡

  • Compare ¡event ¡candidates ¡

– Instan0ate ¡and ¡augment ¡the ¡most ¡plausible ¡event ¡candidate ¡

15 ¡

wAX = 1 N × wAX

j

∑

,1≤ j ≤ N

Number ¡of ¡event ¡constraints ¡ Score ¡related ¡to ¡an ¡event ¡constraint ¡

ei.mi

p =

ei.wAX max ei.wAX,ej.wAX

( )

+ ei.wg max ei.wg,ej.wg

( )

wg

( )

wAX

( )

mi

p

( )

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-16
SLIDE 16

Context-­‑Adap0ve ¡Event ¡Ontology ¡ (Probabilis0c ¡Narra0ves) ¡

16 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡George ¡Mason ¡University ¡

slide-17
SLIDE 17

Filtering ¡

17 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-18
SLIDE 18

Experiments ¡and ¡Evalua0on ¡

  • Forma0ve ¡evalua0on ¡
  • 3 ¡domain ¡models ¡
  • 1M ¡photos ¡, ¡50 ¡Albums ¡from ¡lab ¡and ¡Flickr ¡
  • Mul0ple ¡Data ¡Sources ¡

– Trip ¡Advisor ¡ – Google ¡Geocoding ¡ – Yelp ¡ – Upcoming ¡ – Evite ¡ – Facebook ¡ – Wunderground ¡ – Foursquare ¡ – Face.com ¡ – Pictorria ¡(MIT ¡SUN ¡and ¡YELP ¡training ¡set, ¡500 ¡images/concept, ¡58 ¡visual ¡concepts, ¡ pyramids ¡of ¡color ¡histogram ¡and ¡GIST ¡features-­‑Oliva ¡et ¡al.(2001), ¡Hejra0 ¡et ¡al.(2012)) ¡ – GoogleMovieShowTimes ¡ – GeoPlanet ¡ – Disneyland.disney.go.com ¡

  • Evalua0on ¡metrics ¡

– Average ¡correctness ¡ – Average ¡Context ¡

18 ¡

average−correctness = wj

j=1 N

∑

N average−context =1− Err

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-19
SLIDE 19

Experiments ¡and ¡Evalua0on ¡

19 ¡

0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ 1.2 ¡ 0 ¡ 0.3 ¡ 0.32 ¡ 0.4 ¡ 0.45 ¡ 0.48 ¡ 0.5 ¡ 0.6 ¡ 0.8 ¡ 0.82 ¡ 0.85 ¡ 0.88 ¡ 0.95 ¡

Average ¡correctness ¡ ¡ Number ¡of ¡non-­‑misc ¡event ¡ tags ¡ Number ¡of ¡misc ¡event ¡tags ¡

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-20
SLIDE 20

Experiments ¡and ¡Evalua0on ¡

20 ¡

0 ¡ 0.05 ¡ 0.1 ¡ 0.15 ¡ 0.2 ¡ 0.25 ¡ 0.3 ¡ 0.35 ¡ 0.4 ¡ 0.45 ¡ 0.05 ¡ 0.3 ¡ 1 ¡

Average ¡correctness ¡ ¡

Domain ¡relevancy ¡

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-21
SLIDE 21

Experiments ¡and ¡Evalua0on ¡

21 ¡

0 ¡ 200 ¡ 400 ¡ 600 ¡ 800 ¡ 1000 ¡ 1200 ¡ 1400 ¡

cpu ¡0me ¡for ¡concept ¡verifica0on ¡ (sec) ¡ cpu ¡0me ¡for ¡context ¡discovery ¡ (sec) ¡

Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-22
SLIDE 22

Summary ¡

  • Improving ¡performance ¡in ¡terms ¡of ¡

quality ¡of ¡tags ¡

  • Evalua0on ¡measure ¡
  • Event ¡ontology ¡augmenta0on ¡and ¡

informa0on ¡integra0on ¡

– Automated ¡context ¡discovery ¡ ¡ – Relaxa0on ¡Policies ¡ ¡ – Valida0on ¡using ¡external ¡sources ¡ – Plausibility ¡Measure ¡ ¡

22 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-23
SLIDE 23

23 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-24
SLIDE 24

Back ¡up ¡slides ¡

24 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-25
SLIDE 25

Related ¡Work ¡

  • Event-­‑Centric ¡Models ¡

– Francois ¡et ¡al.(2005),Town ¡at ¡al.(2006), ¡Neumann ¡ et ¡al.(2008), ¡Mezaris ¡et ¡al.(2010), ¡Scherp ¡et ¡al. (2009), ¡Gupta ¡and ¡Jain(2011), ¡Masolo ¡et ¡al.(2002), ¡ Lagoze ¡et ¡al(2010). ¡

  • Joint-­‑Context ¡Event-­‑Models ¡

– Viana ¡et ¡al.(2007,2008), ¡Liu ¡et ¡al.(2011), ¡Fialho ¡et ¡ al.(2010), ¡Cao ¡et ¡al. ¡(2008), ¡Paniagua ¡et ¡al.(2012). ¡

25 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-26
SLIDE 26

Event ¡Ontology ¡Augmenta0on ¡cont’d ¡

  • Instan0a0on ¡and ¡augmenta0on/refinement ¡

– Itera0on ¡1 ¡

26 ¡

TA ¡

l2 ¡ l1 ¡

WP ¡ . ¡ . ¡ . ¡

GoldenGate ¡ Alcatraz ¡Island ¡ hasName ¡ hasName ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-27
SLIDE 27

Event ¡Ontology ¡Augmenta0on ¡cont’d ¡

  • Instan0a0on ¡and ¡augmenta0on/refinement ¡

– Itera0on ¡1 ¡

27 ¡

TA ¡

l2 ¡ l1 ¡

WP ¡ . ¡ . ¡ . ¡

hasName ¡ hasCategory ¡ Alcatraz ¡Island ¡ hasName ¡ hasCategory ¡ Prison, ¡Historic ¡site ¡ … ¡ … ¡ GoldenGate ¡ Toll ¡Bridge, ¡Historic ¡Site ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡

slide-28
SLIDE 28

My ¡Trip ¡ l1 ¡ l2 ¡ ak1,…,akn ¡ ak1,…,akn ¡ ¡

Perdurant ¡ ¡ Trip ¡ Lunch ¡ Shopping ¡ visitLandmark ¡ subevent-of subevent-of subClass-of Spa0al ¡Region ¡

  • ccurs-at

Visit-­‑1 ¡ Visit-­‑2 ¡

  • ccurs-­‑at ¡
  • ccurs-­‑at ¡

subevent-­‑of ¡ subevent-­‑of ¡

Event ¡Ontology ¡Augmenta0on ¡cont’d ¡

  • Verifica0on ¡

28 ¡ Setareh ¡Rafa0rad, ¡Kathryn ¡Laskey, ¡ ¡ George ¡Mason ¡University ¡