Video Hyperlinking TRECVid 2015 Roeland Ordelman, Robin - - PowerPoint PPT Presentation

video hyperlinking trecvid 2015
SMART_READER_LITE
LIVE PREVIEW

Video Hyperlinking TRECVid 2015 Roeland Ordelman, Robin - - PowerPoint PPT Presentation

Video Hyperlinking TRECVid 2015 Roeland Ordelman, Robin Aly (University of Twente) Maria Eskevich, Benoit Huet (EURECOM) Gareth Jones, David Racca (Dublin


slide-1
SLIDE 1

Video ¡Hyperlinking ¡ TRECVid ¡2015 ¡

Roeland ¡Ordelman, ¡Robin ¡Aly ¡ (University ¡of ¡Twente) ¡ Maria ¡Eskevich, ¡Benoit ¡Huet ¡ ¡(EURECOM) ¡ Gareth ¡Jones, ¡David ¡Racca ¡(Dublin ¡City ¡University) ¡ ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-2
SLIDE 2

Task ¡history ¡

  • VideoCLEF ¡2009 ¡Linking ¡task ¡(speech ¡as ¡source) ¡
  • ME'12 ¡S&HL ¡“brave ¡new” ¡task: ¡ ¡

– Search ¡& ¡Linking ¡(blip.tv) ¡

  • ME'13 ¡S&HL ¡“regular” ¡task ¡

– Search ¡& ¡Linking ¡(bbc ¡collec-on) ¡

  • ME'14 ¡S&HL ¡“regular” ¡task ¡

– Search ¡& ¡Linking ¡(bbc ¡collec-on) ¡

  • ME'15 ¡Search ¡& ¡Anchoring ¡
  • TV’15 ¡Video ¡Hyperlinking ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

h[p://www.mul]mediaeval.org/ ¡

slide-3
SLIDE 3

Use ¡scenarios ¡

  • Explora]on ¡of ¡addi]onal ¡informa]on ¡sources ¡

while ¡accessing ¡video ¡content ¡in ¡a ¡linear ¡

  • fashion. ¡
  • Explora]on ¡of ¡video ¡repositories ¡via ¡a ¡

structure ¡of ¡linked ¡video ¡segments. ¡

  • Crea]ng ¡narra]ves ¡on ¡the ¡basis ¡of ¡linked ¡

video ¡segments. ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-4
SLIDE 4

Example ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-5
SLIDE 5

... ¡the ¡queen... ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-6
SLIDE 6

Terminology ¡

  • Video ¡(e.g., ¡2 ¡hours) ¡
  • Video ¡clip ¡(e.g., ¡10 ¡min) ¡
  • Anchor: ¡segment ¡(unconstraint) ¡for ¡

which ¡a ¡user ¡requests ¡a ¡link ¡(e.g., ¡1 ¡ min) ¡“I ¡want ¡to ¡know ¡more ¡about ¡ this” ¡

  • Hyperlink ¡
  • Target: ¡relevant ¡segment ¡for ¡given ¡

anchor ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-7
SLIDE 7

Target ¡requirements ¡

  • Search ¡for ¡relevant ¡link ¡targets ¡
  • What ¡is ¡relevant? ¡

– Content ¡about ¡what’s ¡represented ¡in ¡the ¡ anchor ¡(topically ¡related) ¡ – Content ¡that ¡is ¡similar ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-8
SLIDE 8

Challenges ¡

  • Anchor ¡Iden]fica]on ¡(not ¡addressed) ¡

– What ¡segments ¡are ¡useful ¡as ¡anchors? ¡Can ¡we ¡iden]fy ¡ these ¡automa]cally? ¡

  • Mul]modal ¡Query ¡Extrac]on ¡

– Which ¡(mul]modal) ¡elements ¡in ¡the ¡anchor ¡define ¡a ¡ suitable ¡query ¡to ¡find ¡targets? ¡

  • Target ¡Search ¡

– How ¡to ¡use ¡a ¡(mul]modal) ¡query ¡representa]on ¡for ¡ search? ¡How ¡to ¡deal ¡with ¡ambiguity ¡and ¡diversity? ¡

  • Target ¡Presenta]on ¡(not ¡addressed) ¡

– more ¡complex ¡than ¡merely ¡presen]ng ¡a ¡list ¡of ¡highest ¡ ranked ¡results ¡to ¡the ¡user. ¡ ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-9
SLIDE 9

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

Anchor ¡Crea]on ¡

slide-10
SLIDE 10

Anchor ¡Crea]on ¡

  • Two ¡perspec]ves: ¡

– Content ¡creator ¡perspec]ve ¡

  • Selec]on ¡of ¡anchors ¡adds ¡to ¡be[er ¡understanding ¡or ¡

enhances ¡the ¡experience ¡of ¡users ¡watching ¡the ¡video ¡

  • A ¡shot ¡of ¡a ¡Rolls-­‑Royce ¡appearing ¡in ¡a ¡video ¡about ¡

medieval ¡-mes ¡

– Consumer ¡perspec]ve ¡

  • Selec]on ¡of ¡anchors ¡is ¡highly ¡personalized ¡and ¡diverse ¡
  • A ¡shot ¡of ¡a ¡Rolls-­‑Royce ¡appearing ¡in ¡a ¡video ¡about ¡

medieval ¡-mes ¡ ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-11
SLIDE 11

Anchor ¡Crea]on ¡

  • Creator ¡perspec]ve ¡

– BBC ¡journalists ¡ – Employees ¡of ¡Bri]sh ¡Film ¡Ins]tute ¡ – Students ¡in ¡Journalism ¡

  • Instruc]ons: ¡

– Face-­‑2-­‑face ¡ – Teleconference ¡session ¡

  • Subjec]ve ¡impression: ¡concept ¡is ¡new, ¡task ¡

difficult, ¡but ¡doable. ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

Preferably ¡ residents ¡of ¡ UK ¡(familiar ¡ with ¡BBC ¡ content) ¡

slide-12
SLIDE 12

Instruc]ons ¡

  • Posi]on ¡yourself ¡in ¡the ¡role ¡of ¡a ¡producer ¡wan]ng ¡to ¡

create ¡a ¡new ¡produc]on, ¡e.g., ¡a ¡news ¡item, ¡report ¡or ¡ documentary ¡

  • S/he ¡is ¡searching ¡for ¡content ¡in ¡the ¡BBC ¡archive ¡for ¡

this ¡produc]on ¡and ¡selects ¡clips ¡

  • Imagine ¡that ¡the ¡producer ¡wants ¡to ¡place ¡hyperlinks ¡in ¡

the ¡clips ¡that ¡help ¡the ¡end-­‑user ¡that ¡watches ¡the ¡final ¡ program ¡to ¡understand ¡the ¡program ¡beFer ¡or ¡enrich ¡ their ¡watching ¡experience ¡

  • Imagine ¡that ¡these ¡links ¡are ¡provided ¡to ¡end-­‑users ¡for ¡

example ¡via ¡a ¡‘second ¡screen’ ¡(e.g., ¡iPad) ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-13
SLIDE 13

Interface ¡for ¡Anchor ¡Crea]on ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-14
SLIDE 14

Data ¡

  • 100 ¡anchors ¡ ¡

– average ¡length ¡72sec ¡ – 11 ¡visual ¡only, ¡22 ¡speech ¡only, ¡67 ¡both ¡

  • All ¡BBC-­‑owned ¡television ¡broadcasts ¡from ¡the ¡

period ¡of ¡12.05.2008 ¡– ¡31.07.2008 ¡ ¡

– Total ¡length: ¡2686 ¡hours ¡ – Removed ¡~200 ¡videos ¡because ¡of ¡ ¡

  • Rebroadcast ¡ ¡ ¡
  • audio-­‑visual ¡signal ¡was ¡out ¡of ¡sync ¡with ¡sub]tles. ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-15
SLIDE 15

Par]cipants ¡

25 ¡registra]ons ¡ 10 ¡submiqng ¡par]cipants ¡(40 ¡runs) ¡ ¡ CMU-­‑SMU ¡(Nam+Asia) ¡Carnegie ¡Mellon ¡Univ. ¡& ¡Singapore ¡Management ¡University ¡ CUNI ¡ ¡(Eur) ¡Charles ¡University ¡in ¡Prague ¡ VIREO ¡ ¡ ¡(Asia) ¡ ¡City ¡University ¡of ¡Hong ¡Kong ¡ DCU ¡ ¡ ¡(Eur) ¡Dublin ¡City ¡University ¡-­‑ ¡ADAPT ¡Research ¡Center ¡ ¡ EURECOM ¡(Eur) ¡EURECOM ¡ IRISA ¡ ¡(Eur) ¡IRISA ¡Inria ¡Rennes ¡-­‑ ¡Bretagne ¡Atlan]que ¡ METU_EE ¡ ¡(Eur) ¡Middle ¡East ¡Technical ¡University ¡ ORAND ¡ ¡(SAm) ¡ORAND ¡S.A. ¡Chile ¡ TUZ ¡ ¡ ¡(Asia) ¡TUBITAK ¡UZAY ¡ IIP_WHU ¡ ¡(Asia) ¡Wuhan ¡University ¡-­‑ ¡Intelligent ¡Informa]on ¡Processing ¡Lab ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-16
SLIDE 16

EVALUATION ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-17
SLIDE 17

Amazon ¡Mturk ¡Task ¡ ¡ for ¡Ground ¡Truth ¡Genera]on ¡

  • Task ¡Input: ¡

– Anchor-­‑Target ¡pairs; ¡from ¡top-­‑10 ¡ranks ¡(max ¡4 ¡runs ¡per ¡ par]cipant) ¡ – Target ¡descrip]on ¡for ¡each ¡anchor ¡

  • Task ¡output: ¡ ¡

– Binary ¡relevance ¡judgment ¡: ¡Yes/ ¡No ¡ – Explana]on: ¡why ¡relevant ¡ – Sanity ¡check: ¡3-­‑5 ¡meaningful ¡words ¡from ¡anchor ¡+ ¡target ¡

  • Worker ¡assessment: ¡

– All ¡fields ¡filled ¡in, ¡sanity ¡check ¡passed ¡-­‑> ¡automa]c ¡ acceptance ¡ – Fields ¡missing, ¡sanity ¡check ¡incorrect ¡-­‑>manual ¡inspec]on ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-18
SLIDE 18

HIT ¡Layout ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-19
SLIDE 19

Adapted MAP

Result Relevant Segment 1 2 3 Rank 1 1 Assumed Relevance

ap = Pn

r=1 prec(r)rel(r)

R

rel()

slide-20
SLIDE 20

Run ¡Comparison ¡MAP ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-21
SLIDE 21

Adapted MAP

Result Relevant Segment 1 2 3 Rank 1 1 1 Assumed Relevance

slide-22
SLIDE 22

Run Relevant 1 2 3 Viewed Reward https://github.com/robinaly/sh_eval

MAiSP Measure

avesp = R ∞

t=0 prec(t)rel(t)

relevant seconds

slide-23
SLIDE 23

Run ¡Comparison ¡MAISP ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-24
SLIDE 24

Comparison ¡MAP ¡and ¡MAiSP ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-25
SLIDE 25

Task ¡Feasibility ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-26
SLIDE 26

Summary ¡& ¡Conclusions ¡

  • Task ¡defined ¡by ¡a ¡prac]cal ¡use ¡scenario ¡
  • 100 ¡anchors; ¡67 ¡mul]modal ¡
  • 10 ¡par]cipants, ¡40 ¡runs ¡
  • Solu]on ¡for ¡evalua]ng ¡free ¡segmenta]on ¡

using ¡MAiSP ¡measure ¡

  • Many ¡anchors ¡difficult ¡(max ¡MAiSP ¡< ¡0.3) ¡
  • 0.25 ¡MAiSP ¡reasonable ¡star]ng ¡point ¡for ¡

further ¡explora]on ¡and ¡improvement ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡

slide-27
SLIDE 27

¡ We ¡are ¡grateful ¡to ¡ ¡ ¡Jana ¡Eggink ¡and ¡ ¡ ¡Andy ¡O'Dwyer ¡ ¡ from ¡the ¡BBC ¡for ¡preparing ¡the ¡collec]on ¡and ¡hos]ng ¡the ¡user ¡trials. ¡ ¡ ¡ The ¡Search ¡and ¡Hyperlinking ¡task ¡was ¡funded ¡by ¡ ¡

17 ¡Nov. ¡2015 ¡ TRECVid ¡Video ¡Hyperlinking ¡Overview ¡