Mul$media Event Detec$on and Recoun$ng Task Reports Time - - PowerPoint PPT Presentation

▶
mul media event detec on and recoun ng
SMART_READER_LITE
LIVE PREVIEW

Mul$media Event Detec$on and Recoun$ng Task Reports Time - - PowerPoint PPT Presentation

Jan 28, 2023 197 likes •421 views

Mul$media Event Detec$on and Recoun$ng Task Reports Time ime Pres esent entation ion MED Evalua$on Overview (NIST) 9:00 9:20 Centre for Research and Technology Hellas

slide-1
SLIDE 1

Mul$media ¡Event ¡Detec$on ¡and ¡Recoun$ng ¡ Task ¡Reports ¡

Time ime Pres esent entation ion 9:00 – 9:20 MED ¡Evalua$on ¡Overview ¡(NIST) ¡ 9:20 – 9:40 Centre ¡for ¡Research ¡and ¡Technology ¡Hellas ¡(ITI-­‑CERTH) ¡ 9:40 – 10:00 Raytheon ¡BBN ¡Technologies ¡(BBN) ¡ 10:00 – 10:20 University ¡of ¡Amsterdam ¡(MediaMill) ¡ 10:20 – 10:40 Break ¡ 10:40 – 11:00 City ¡University ¡of ¡Hong ¡Kong ¡(VIREO) ¡ 11:00 – 11:20 Carnegie ¡Mellon ¡University ¡(CMU) ¡ 11:20 – 11:40 MER ¡Evalua$on ¡Overview ¡(NIST) ¡ 11:40 – 12:40 MER ¡Panel ¡Discussion ¡(all ¡teams ¡par$cipa$ng ¡in ¡MER) ¡ 12:40 – 2:10 Lunch ¡on ¡your ¡own ¡(remember ¡closures ¡due ¡to ¡Veteran’s ¡Day) ¡ 2:10 – 2:40 MED/MER ¡Discussion ¡

slide-2
SLIDE 2

2014 ¡TRECVID ¡Workshop ¡ Mul$media ¡Event ¡Detec$on ¡Task ¡

¡

Jonathan ¡Fiscus*, ¡Greg ¡Sanders*, ¡David ¡Joy*, ¡Paul ¡Over*, ¡ ¡ Vladimir ¡Dreyvitser+ ¡ ¡

* ¡Na$onal ¡Ins$tute ¡of ¡Standards ¡and ¡Technology ¡(NIST) ¡ + ¡Systems ¡Plus, ¡Inc. ¡ ¡

slide-3
SLIDE 3

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Talk ¡Outline ¡

  • MED/MER ¡Task ¡Overview ¡ ¡
  • HAVIC ¡Resources ¡
  • MED ¡Results

¡ ¡ ¡ ¡

slide-4
SLIDE 4

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Quickly find instances of events in a large collection

  • f search videos and

recount the evidence in a search video for the event.

Multimedia Event Detection (MED)/ Multimedia Event Recounting (MER) Task Definition

Detection Outputs:

  • Per Event/Video:
  • Rank wrt. the event
  • Confidence score wrt. the

event

  • Per Event
  • Thresholds for ranks and

confidence scores optimizing prescribed metrics

è MED è MER

Execution Speed Measurements:

  • Per Event
  • Query generation times
  • Event Search execution times
  • Per Video Collection
  • Metadata generation

Execution Hardware Reporting

  • Per Module
  • Hardware for each module

call

Extensive System Outputs and Execution Measurements

Query ¡

The query’s central role

Evalua$on ¡ Data ¡ Metadata ¡ MED+MER ¡ Query ¡ Genera$on ¡ Query ¡ Execu$on ¡

Ranked Videos

id036 id839 id983 id312 id033 id239 id783 id912 …

Recountings Query +id312 ¡

  • Info. ¡

Need ¡

slide-5
SLIDE 5

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Rock ¡Climbing ¡Event ¡Kit ¡Text ¡

Illustrative Examples

  • Positive instances of the event
  • Non-Positive “miss” clips that do not contain the event

Evidential Description:

  • scene: outdoors in natural setting, indoors in rock

climbing gym, or outdoors on a specially …

  • bjects/people: carabiners, rope, helmet, harness, rock

formation, artificial rock wall, climbers

  • activities: hooking rope to harness, moving hands and

feet along side of rock face, grabbing rock …….

  • audio: carabiners clinking, climbers making comments
  • n the difficulty of the climb, onlookers cheering on …

Definition:

One or more people climb up or across rock formations or artificial rock walls.

Explication:

Rock climbing is a physically intense activity, where the goal is to reach the top or endpoint of a pre-defined route

  • n a rock formation or artificial rock wall by finding a grip
  • n the surface using hands and feet, and then pulling up

using their arm and leg strength. …

slide-6
SLIDE 6

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

MED ¡Evalua$on ¡Condi$ons ¡

  • MED ¡Tasks ¡

– Pre-­‑Specified ¡Event ¡(PS) ¡– ¡MED ¡metadata ¡genera$on ¡op$mized ¡with ¡knowledge ¡of ¡ events ¡not ¡using ¡Pseudo ¡Relevance ¡Feedback ¡ ¡ – Ad-­‑Hoc ¡Event ¡(AH) ¡– ¡MED ¡metadata ¡genera$on ¡complete ¡before ¡events ¡revealed ¡not ¡ using ¡Pseudo ¡Relevance ¡Feedback ¡ ¡

  • Event ¡Query ¡Condi$ons ¡

– SQ ¡– ¡(Seman$c ¡Query) ¡Use ¡the ¡event ¡kit ¡texts ¡ – 0Ex ¡– ¡ ¡Event ¡text ¡PLUS ¡5,000 ¡clip ¡Event ¡Background ¡(Event-­‑BG) ¡collec$on ¡ – 10Ex ¡– ¡Event ¡text, ¡Event ¡BG, ¡PLUS ¡10 ¡posi$ve ¡and ¡10 ¡miss ¡clips ¡per ¡event ¡ – 100Ex ¡– ¡Event ¡text, ¡Event ¡BG, ¡PLUS ¡100 ¡posi$ve ¡and ¡50 ¡miss ¡clips ¡per ¡event ¡

  • Op$onal ¡System ¡Strategies ¡

– PRF ¡-­‑ ¡Pseudo ¡Relevance ¡Feedback ¡

  • Search ¡video ¡collec$on ¡(pick ¡one) ¡

– MED14Eval-­‑Full ¡-­‑> ¡ ¡198,000 ¡videos, ¡7,580 ¡hours ¡

  • PROGRESS ¡Collec$on ¡= ¡98,000 ¡videos, ¡3,722 ¡hours ¡ ¡
  • Novel ¡1 ¡Collec$on ¡= ¡100,000 ¡videos, ¡3,858 ¡hours ¡

– MED14Eval-­‑Sub ¡-­‑> ¡32,000 ¡video ¡subset ¡of ¡MED14Eval-­‑Full, ¡1,238 ¡hours ¡

slide-7
SLIDE 7

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

The ¡TRECVID ¡MED ¡2014 ¡Events ¡

MED ¡’13 ¡PS ¡Events ¡

Afemp$ng ¡a ¡bike ¡trick ¡ Cleaning ¡an ¡appliance ¡ Dog ¡show ¡ Giving ¡direc$ons ¡to ¡a ¡loca$on ¡ Marriage ¡proposal ¡ Renova$ng ¡a ¡home ¡ Rock ¡climbing ¡ Town ¡hall ¡mee$ng ¡ Winning ¡a ¡race ¡without ¡a ¡vehicle ¡ Working ¡on ¡a ¡metal ¡crags ¡project ¡

MED ¡‘13 ¡AH ¡Events ¡

Beekeeping ¡ Wedding ¡shower ¡ Non-­‑motorized ¡veh. ¡repair ¡ Fixing ¡musical ¡instrument ¡ Horse ¡riding ¡compe$$on ¡ Felling ¡a ¡tree ¡ Parking ¡a ¡vehicle ¡ Playing ¡fetch ¡ Tailga$ng ¡ Tuning ¡musical ¡instrument ¡

New ¡Events ¡

Baby ¡Shower ¡ Building ¡a ¡fire ¡ Busking ¡ Decora$ng ¡for ¡a ¡celebra$on ¡ Ex$nguishing ¡a ¡fire ¡ Making ¡a ¡purchase ¡ Modeling ¡ Doing ¡a ¡magic ¡trick ¡ Pujng ¡on ¡apparel ¡ Teaching ¡dance ¡choreography ¡

Pre-Specified Events Ad Hoc Events

slide-8
SLIDE 8

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

17 ¡MED ¡2014 ¡Finishers ¡and ¡Number ¡of ¡Runs ¡

Years ¡

Team ¡ No ¡PRF ¡ PRF ¡ Organiza$on ¡ Ad-­‑Hoc ¡ Pre-­‑Specified ¡ Ad-­‑Hoc ¡ Pre-­‑Specified ¡ SQ ¡ 100Ex ¡ 10Ex ¡0Ex ¡ SQ ¡ 100Ex ¡ 10Ex ¡ 0Ex ¡SQ ¡10Ex ¡0Ex ¡ 10Ex ¡ 0Ex ¡

4 ¡

BBNVISER ¡ ✓ ¡ ✓ ¡ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ Raytheon ¡BBN ¡Technologies, ¡UMD, ¡Columbia, ¡UCF ¡ Team ¡ CERTH-­‑ITI ¡ ✓ ¡ ✓ ¡ ¡ ¡ ✓ ¡ ✓ ¡ ¡ ¡ Informa$cs ¡and ¡Telema$cs ¡Inst., ¡Centre ¡for ¡Research ¡ and ¡Tech. ¡ CMU ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ Carnegie ¡Mellon ¡University ¡ MediaMill ¡ ✓ ¡ ✓ ¡ ✓ ¡ ¡ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ¡ ¡ University ¡of ¡Amsterdam ¡ NII ¡ ✓ ¡ ✓ ¡ ¡ ¡ ✓ ¡ ✓ ¡ ¡ ¡ ¡ Na$onal ¡Ins$tute ¡of ¡Informa$cs ¡ Sesame ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ SRI ¡Interna$onal ¡SESAME ¡ SRIAURORA ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ SRI ¡Interna$onal ¡Sarnoff ¡Aurora ¡ TokyoTechCanon ¡ ✓ ¡ ✓ ¡ ¡ ¡ ✓ ¡ ¡✓ ¡ ¡ ¡ Tokyo ¡Ins$tute ¡of ¡Technology ¡and ¡Canon ¡

3 ¡

AXES ¡ ✓ ¡ ¡✓ ¡ ¡ ¡ ✓ ¡ ¡✓ ¡ ¡ ¡ Dublin ¡City ¡Univ, ¡Univ ¡Twente, ¡Univ ¡of ¡Oxford, ¡INRIA, ¡ Fraunhofer ¡IAIS, ¡Katholieke ¡Universi$et ¡Leuven, ¡ Technicolor, ¡Erasmus ¡University ¡Roferdam, ¡Cassidian, ¡ BBC, ¡Deutsche ¡Welle, ¡Beeld ¡et. ¡Geluid ¡(NISV), ¡ERCIM ¡ VIREO-­‑TNO ¡ ✓ ¡ ¡ ¡ ✓ ¡ ¡ ¡✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ City ¡University ¡of ¡Hong ¡Kong, ¡TNO ¡

2 ¡

ORAND ¡ ✓ ¡ ✓ ¡ ¡ ¡ ¡ ✓ ¡ ✓ ¡ ¡ ¡ ¡ ORAND ¡S.A. ¡Chile ¡

1 ¡

ATTLabs ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ AT&T ¡ Fudan ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ Fudan ¡University ¡ INRIA ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ INRIA-­‑LEAR-­‑LIMSI-­‑Vocapia ¡ KU-­‑ISPL ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ Korea ¡University ¡ MCIS ¡ ✓ ¡ ✓ ¡ Beijing ¡Ins$tute ¡of ¡Technology ¡ MIC ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ ✓ ¡ Tongji ¡University ¡

6 ¡ 15 ¡ 17 ¡ 5 ¡ 6 ¡ 15 ¡ 17 ¡ 5 ¡ 1 ¡ 1 ¡ 2 ¡ 1 ¡ 1 ¡

slide-9
SLIDE 9

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

HAVIC ¡Data ¡Resources ¡

Video ¡clips ¡ Video ¡dura\on ¡ 2014 ¡Change ¡ Development ¡ Data ¡ RESEARCH ¡ 10,000 ¡ 314 ¡hours ¡

  • ­‑ ¡

10 ¡Event ¡Kits ¡ 1,400 ¡ 74 ¡hours ¡

  • ­‑ ¡

Transcrip$on ¡ 1,500 ¡ 45 ¡hours ¡

  • ­‑ ¡

Event ¡ Training ¡Data ¡ Event ¡ Background ¡ 5,000 ¡ 146 ¡hours ¡

  • ­‑ ¡

40 ¡Event ¡Kits ¡ 6,000 ¡ 270 ¡hours ¡ +53 ¡hours ¡ Test ¡Data ¡ MEDTest ¡ 27,000 ¡ 849 ¡hours ¡ +11 ¡hours ¡ KindredTest ¡ 14,500 ¡ 687 ¡hours ¡ +11 ¡hours ¡ Evalua$on ¡ Data ¡ MED14Eval-­‑Full ¡ 198,000 ¡ 7,580 ¡hours ¡ + ¡3,858 ¡hours ¡ MED14Eval-­‑Sub ¡ 33,000 ¡ 1,244 ¡hours ¡

  • ­‑ ¡7 ¡hours ¡

Total ¡

244,000 ¡ 9,911 ¡hours ¡ +3,922 ¡hours ¡

slide-10
SLIDE 10

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

MED ¡‘14 ¡Results ¡

  • Accuracy ¡metrics ¡

– Mean ¡Average ¡Precision ¡(MAP) ¡-­‑ ¡(Primary) ¡ – Minimal ¡Acceptable ¡Recall ¡(R0) ¡-­‑ ¡(Diagnos$c) ¡ ¡ ¡

  • Computa$on ¡speed ¡and ¡resource ¡

measurements ¡

– Hardware ¡analysis ¡ – Metadata ¡genera$on ¡ – Event ¡query ¡genera$on ¡ – Event ¡search ¡ ¡

slide-11
SLIDE 11

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

MED ¡’14 ¡Pre-­‑Specified ¡Event ¡Task ¡

¡Events ¡E0[21-­‑40], ¡10Ex, ¡NoPRF, ¡All ¡Teams

¡

0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡ Mean ¡Average ¡Precision ¡ ¡

MED14Eval-­‑Full ¡ MED14Eval-­‑Sub ¡

y ¡= ¡0.7835x ¡-­‑ ¡1.3416 ¡ R² ¡= ¡0.97362 ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡ MAP ¡of ¡MEDEval-­‑Full ¡ MAP ¡of ¡MED14Eval-­‑Sub ¡

Bias ¡due ¡to ¡ differing ¡posi$ve ¡ richness ¡for ¡subset ¡

slide-12
SLIDE 12

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Ad ¡Hoc ¡Pre-­‑ ¡and ¡Post-­‑Adjudicated ¡MED ¡’14 ¡

Events ¡E041-­‑E050, ¡10Ex, ¡NoPRF, ¡MED14Eval-­‑Full ¡Teams ¡

0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡ Mean ¡Average ¡Precision ¡

Post-­‑Adjudicated ¡ Pre-­‑Adjudicated ¡

slide-13
SLIDE 13

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Post-­‑Adjudicated ¡MED ¡’14 ¡Ad-­‑Hoc ¡Event ¡Task

¡ Events ¡E0[41-­‑50], ¡10Ex, ¡NoPRF, ¡All ¡Teams

¡

0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡ Mean ¡Average ¡Precision ¡

MED14Eval-­‑Full ¡ MED14Eval-­‑Sub ¡

y ¡= ¡0.8172x ¡-­‑ ¡2.2964 ¡ R² ¡= ¡0.98576 ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡ MAP ¡of ¡MEDEval-­‑Full ¡ MAP ¡of ¡MED14Eval-­‑Sub ¡

slide-14
SLIDE 14

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Statistical Comparisons of AH and PS TBD

slide-15
SLIDE 15

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

MAP ¡Vs. ¡Ro ¡

Post-­‑Adjudicated ¡MED ¡’14 ¡Ad-­‑Hoc ¡Event ¡Task

¡ Events ¡E0[41-­‑50], ¡10Ex, ¡NoPRF, ¡All ¡Teams

¡

0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡ 35 ¡ 40 ¡ 45 ¡ 50 ¡

Actual ¡R0 ¡vs. ¡Maximum ¡R0 ¡

R0 ¡ MaxR0 ¡ y ¡= ¡2.1966x ¡+ ¡2.3964 ¡ R² ¡= ¡0.95506 ¡ 0 ¡ 10 ¡ 20 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡ 70 ¡ 80 ¡ 90 ¡ 100 ¡ 0 ¡ 20 ¡ 40 ¡ 60 ¡ 80 ¡ 100 ¡

R0 ¡ MAP ¡

MaxR0 ¡ R0 ¡ Linear ¡(MaxR0) ¡

The ¡extent ¡of ¡the ¡red ¡bar ¡indicates ¡the ¡ possible ¡improvement ¡with ¡an ¡accurate ¡ threshold ¡ ¡

slide-16
SLIDE 16

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Historical ¡MED ¡MAP ¡Scores ¡

PROGTEST, ¡MED ¡’12, ¡’13, ¡and ¡’14, ¡10Ex ¡

0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡

Mean ¡Average ¡Precision ¡

MED12 ¡ MED13 ¡ MED14 ¡

slide-17
SLIDE 17

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Hardware ¡Summary ¡

Test ¡Collec$on ¡Metadata ¡Genera$on ¡

0 ¡ 5000 ¡ 10000 ¡ 15000 ¡ 20000 ¡ 25000 ¡ 30000 ¡ 35000 ¡ ATTLabs ¡ Aurora ¡ AXES ¡ BBNVISER ¡ CMU ¡ Fudan ¡ INRIA-­‑LIM-­‑VocR ¡ MediaMill ¡ NII ¡ Sesame ¡ TokyoTech ¡ VIREO ¡ ITI_CERTH ¡ KU-­‑ISPL ¡ MCIS ¡ MIC ¡ ORAND ¡ MED14Eval-­‑Full ¡ MED14Eval-­‑Sub ¡

GPU ¡Cores ¡ CPU ¡Cores ¡

0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 10 ¡ 100 ¡ 1000 ¡ 10000 ¡ Mean ¡Average ¡Precision ¡ CPU ¡Cores ¡

Media Mill ¡

MED14Eval-Full

slide-18
SLIDE 18

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Metadata ¡Genera$on

¡

MED14Eval-Full

BBN ¡ Fudan ¡

0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 0.01 ¡ 0.1 ¡ 1 ¡ 10 ¡ Mean ¡Average ¡Precision ¡ Metadata ¡Real ¡Size ¡Factor ¡ PS-­‑10Ex ¡ AH-­‑10Ex ¡

0.00001 ¡ 0.0001 ¡ 0.001 ¡ 0.01 ¡ 0.1 ¡ 1 ¡ 10 ¡ ATTLabs ¡ Aurora ¡ AXES ¡ BBNVISER ¡ CMU ¡ Fudan ¡ INRIA-­‑LIM-­‑VocR ¡ MediaMill ¡ NII ¡ Sesame ¡ TokyoTech ¡ VIREO ¡ ITI_CERTH ¡ KU-­‑ISPL ¡ MCIS ¡ MIC ¡ ORAND ¡ MED14Eval-­‑Full ¡ MED14Eval-­‑Sub ¡ Real ¡Size ¡Factor ¡(MDSize ¡/ ¡VideoSize) ¡

Metadata ¡Sizes ¡

Signal ¡MD ¡ ASR/OCR ¡MD ¡ Seman$c ¡MD ¡

Media ¡ Mill ¡ NII ¡

slide-19
SLIDE 19

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Effect ¡of ¡Query ¡Type ¡

MED14Eval-­‑Full, ¡SQ, ¡0Ex, ¡10Ex, ¡100Ex

¡

Pre-Specified Events Post-Adjudicated Ad-Hoc Events

0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡ 35 ¡ 40 ¡ Mean ¡Average ¡Precision ¡ 0 ¡ 5 ¡ 10 ¡ 15 ¡ 20 ¡ 25 ¡ 30 ¡ 35 ¡ 40 ¡

SQ ¡ 0Ex ¡ 10Ex ¡ 100Ex ¡

slide-20
SLIDE 20

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Seman$c ¡Query ¡Edit ¡Pilot ¡

  • Purpose ¡

– Explore ¡the ¡concept ¡of ¡editable ¡MED ¡ seman$c ¡queries. ¡

  • Pilot ¡Ques$on? ¡

– Can ¡an ¡un-­‑trained ¡user ¡remove ¡query ¡ content ¡to ¡search ¡for ¡a ¡more ¡narrow ¡ event? ¡

  • E.g. ¡board ¡trick ¡-­‑> ¡snow ¡board ¡trick ¡
  • Procedure ¡

– Create ¡two ¡new ¡events ¡and ¡reference ¡ annota$ons ¡ – Group ¡edit ¡queries ¡removing ¡tags ¡to ¡ match ¡the ¡new ¡event ¡ – Teams ¡perform ¡event ¡search ¡on ¡ modified ¡queries ¡ – Provide ¡feedback ¡to ¡teams ¡ Aurora ¡ BBNViser ¡ CMU ¡ VIREO ¡ Sesame ¡ Does ¡the ¡edit ¡reduce ¡ performance ¡on ¡original ¡ event? ¡ 1 ¡ 1 ¡ 2 ¡ 2 ¡ 1 ¡ Does ¡the ¡edit ¡improve ¡ performance ¡on ¡the ¡ new ¡event? ¡ 1 ¡ 0 ¡ 2 ¡ 0 ¡ 0 ¡ Number of Events with Indicated Change in MAP

Caveat ¡Emptor ¡ No ¡“changes” ¡are ¡significant! ¡ Abs(MAP ¡delta) ¡= ¡0.5% ¡

slide-21
SLIDE 21

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Summary/Conclusions ¡

  • Results ¡observa$ons ¡

– Large ¡MAP ¡discrepancy ¡between ¡MED14Eval-­‑Full ¡and ¡MED14Eval-­‑Sub ¡ – Large ¡change ¡in ¡performance ¡for ¡AH ¡Adjudica$on ¡ – The ¡Seman$c ¡Edit ¡Query ¡pilot ¡results ¡are ¡not ¡encouraging ¡enough ¡to ¡con$nue ¡

  • Evalua$on ¡infrastructure ¡observa$ons ¡

– I/O ¡server ¡sequencing ¡of ¡modules ¡to ¡automate ¡system ¡execu$on ¡provided ¡ extensive ¡system ¡measurements ¡

  • Changes ¡changes ¡for ¡MED ¡2015 ¡

– A ¡new ¡evalua$on ¡collect ¡for ¡MED ¡2015 ¡ – MED ¡14 ¡AdHoc ¡events ¡will ¡become ¡PreSpecified ¡events ¡next ¡year ¡ – Expect ¡new ¡AdHoc ¡Events ¡ – Changes ¡

  • Adjudica$on-­‑based ¡reference ¡genera$on ¡is ¡a ¡viable ¡method ¡for ¡new ¡events ¡
  • Resource ¡control: ¡$me, ¡hardware, ¡etc. ¡
slide-22
SLIDE 22

2014 TRECVID Workshop November 10-12, 2014 (Orlando, Florida)

Ques$ons? ¡