Surveillance Event Detec/on 11:30 11:50 University of Ottawa - - PowerPoint PPT Presentation

▶
surveillance event detec on
SMART_READER_LITE
LIVE PREVIEW

Surveillance Event Detec/on 11:30 11:50 University of Ottawa - - PowerPoint PPT Presentation

Sep 16, 2022 384 likes •678 views

Surveillance Event Detec/on (SED) Time ime Pres esent entation ion 11:10 11:30 Task Overview (NIST) Surveillance Event Detec/on 11:30 11:50 University of Ottawa (VIVA_uOttawa) 11:50 12:10 Dublin City

slide-1
SLIDE 1

Surveillance ¡Event ¡Detec/on ¡ Task ¡

Time ime Pres esent entation ion 11:10 – 11:30 Task Overview (NIST) 11:30 – 11:50 University of Ottawa (VIVA_uOttawa) 11:50 – 12:10 Dublin City University, CLARITY (dcu_savasa) 12:10 – 1:20 Lunch is served in the NIST West Square Cafeteria (please have your lunch ticket ready) 1:20 – 1:40 Carnegie Mellon University; IBM Research (CMU +IBM) 2:40 – 2:00 Discussion

Surveillance ¡Event ¡Detec/on ¡(SED) ¡

slide-2
SLIDE 2

2012 ¡TRECVID ¡Workshop: ¡ Interac/ve ¡Surveillance ¡Event ¡Detec/on ¡ (iSED) ¡Task ¡Overview ¡

Jonathan ¡Fiscus ¡ ¡(NIST) ¡ Mar/al ¡Michel ¡(Systems ¡Plus, ¡Inc.) ¡ ¡

¡

November ¡27, ¡2012 ¡ NIST, ¡Gaithersburg, ¡MD, ¡USA ¡

¡

slide-3
SLIDE 3

2012 TRECVID Workshop

Mo/va/on ¡

  • Surveillance ¡Event ¡Detec/on ¡Mo/va/on ¡

– ¡SED ¡addresses ¡the ¡need ¡for ¡automa/c ¡detec/on ¡of ¡events ¡in ¡large ¡ amounts ¡of ¡surveillance ¡video ¡ – SED ¡Challenges ¡

  • Requires ¡applica/on ¡of ¡several ¡Computer ¡Vision ¡techniques ¡
  • Involves ¡subtle/es ¡that ¡are ¡readily ¡understood ¡by ¡humans, ¡difficult ¡to ¡encode ¡for ¡

machine ¡learning ¡approaches ¡

  • Can ¡be ¡complicated ¡due ¡to ¡cluVer ¡in ¡the ¡environment, ¡ligh/ng, ¡camera ¡placement, ¡

traffic, ¡etc. ¡

  • Interac/vity ¡Mo/va/on ¡

– SED ¡remains ¡a ¡difficult ¡task ¡for ¡humans ¡and ¡systems ¡ – Interac/vity/relevance ¡feedback ¡have ¡been ¡effec/vely ¡employed ¡in ¡

  • ther ¡tasks ¡

3 ¡

slide-4
SLIDE 4

2012 TRECVID Workshop

Surveillance ¡Event ¡Detec/on ¡Tasks ¡

4 ¡

  • Interac/ve ¡(iSED) ¡Task ¡: ¡Given ¡a ¡textual ¡descrip/on ¡of ¡an ¡observable ¡

event ¡of ¡interest, ¡at ¡test ¡%me ¡allow ¡a ¡searcher ¡25 ¡minutes ¡to ¡filter ¡ incorrect ¡event ¡detec%ons ¡in ¡a ¡non-­‑segmented ¡corpus ¡of ¡video ¡

  • Retrospec/ve ¡SED ¡(rSED) ¡Task ¡: ¡Given ¡a ¡textual ¡descrip/on ¡of ¡an ¡
  • bservable ¡event ¡of ¡interest, ¡automa%cally ¡detect ¡all ¡occurrences ¡of ¡

the ¡event ¡in ¡a ¡non-­‑segmented ¡corpus ¡of ¡video ¡ ¡

  • Iden/fy ¡each ¡detected ¡event ¡observa/on ¡by: ¡
  • The ¡temporal ¡extent ¡(beginning ¡and ¡end ¡frames)
  • A ¡decision ¡score: ¡a ¡numeric ¡score ¡indica/ng ¡how ¡likely ¡the ¡event ¡
  • bserva/on ¡exists ¡with ¡more ¡posi/ve ¡values ¡indica/ng ¡more ¡likely ¡
  • bserva/ons ¡(normalized) ¡
  • An ¡actual ¡decision: ¡a ¡boolean ¡value ¡indica/ng ¡whether ¡or ¡not ¡the ¡event ¡
  • bserva/on ¡should ¡be ¡counted ¡for ¡the ¡primary ¡metric ¡computa/on ¡
slide-5
SLIDE 5

2012 TRECVID Workshop

Evalua/on ¡Source ¡Data ¡

1

  • Reused ¡same ¡test ¡data ¡as ¡SED ¡‘09, ¡‘10, ¡and ¡

’11 ¡evalua/ons ¡

  • UK ¡Home ¡Office ¡collected ¡CCTV ¡video ¡

from ¡5 ¡camera ¡views ¡at ¡a ¡busy ¡airport ¡

  • Development ¡Set ¡
  • 100 ¡hours ¡of ¡video ¡ ¡
  • 10 ¡events ¡annotated ¡on ¡100% ¡of ¡the ¡data ¡
  • Evalua/on ¡Set ¡
  • “iLIDS ¡Mul/ple ¡Camera ¡Tracking ¡Scenario ¡

Training ¡set” ¡

  • An ¡iden/fied ¡15-­‑hours ¡of ¡the ¡45-­‑hour ¡set ¡ ¡

evaluated ¡(NEW) ¡

  • 10 ¡events ¡annotated ¡on ¡1/3 ¡of ¡the ¡data ¡
  • 7 ¡events ¡evaluated ¡

5 ¡

Controlled Access Door Waiting Area Debarkation Area Elevator Close-Up Transit Area

1 2 2 3 3 4 4 5 5

slide-6
SLIDE 6

2012 TRECVID Workshop

Events ¡and ¡Instances ¡per ¡Hour ¡(IpH) ¡

Single ¡Person ¡events ¡ PersonRuns ¡ 7.02 ¡IpH ¡ Someone ¡runs ¡ ¡ ¡ ¡ ¡ ¡ß ß ¡Lowest ¡frequency ¡ Poin/ng ¡ 69.74 ¡IpH ¡ Someone ¡points ¡ ¡ ¡ß ß ¡Highest ¡frequency ¡ Single ¡Person ¡+ ¡Object ¡events ¡ CellToEar ¡ 12.73 ¡IpH ¡ Someone ¡puts ¡a ¡cell ¡phone ¡to ¡his/her ¡head ¡or ¡ear ¡ ObjectPut ¡ 40.74 ¡IpH ¡ Someone ¡drops ¡or ¡puts ¡down ¡an ¡object ¡ Mul%ple ¡People ¡events ¡ Embrace ¡ 11.48 ¡IpH ¡ Someone ¡puts ¡one ¡or ¡both ¡arms ¡at ¡least ¡part ¡way ¡ around ¡another ¡person ¡ PeopleMeet ¡ 29.46 ¡IpH ¡ One ¡or ¡more ¡people ¡walk ¡up ¡to ¡one ¡or ¡more ¡other ¡ people, ¡stop, ¡and ¡some ¡communica/on ¡occurs ¡ PeopleSplitUp ¡ 12.27 ¡IpH ¡ From ¡two ¡or ¡more ¡people, ¡standing, ¡silng, ¡or ¡moving ¡ together, ¡communica/ng, ¡one ¡or ¡more ¡people ¡separate ¡ themselves ¡and ¡leave ¡the ¡frame ¡

6 ¡

slide-7
SLIDE 7

2012 TRECVID Workshop

Evalua/on ¡Protocol ¡ & ¡Scoring ¡Process ¡

  • Evalua/on ¡Plan ¡

http://www.nist.gov/itl/iad/mig/trecvid.cfm

  • Framework ¡for ¡Detec/on ¡Evalua/on ¡(F4DE) ¡Toolkit ¡

http://www.nist.gov/itl/iad/mig/tools.cfm

¡

  • Four ¡step ¡evalua/on ¡process ¡(for ¡each ¡event) ¡
  • 1. Segment ¡mapping ¡
  • 2. Segment ¡scoring ¡
  • 3. Error ¡metric ¡calcula/on ¡
  • 4. Error ¡visualiza/on ¡

7 ¡

slide-8
SLIDE 8

2012 TRECVID Workshop

Reference ¡Observa/ons

Step ¡1: ¡Segment ¡Mapping ¡

U/lizes ¡the ¡Hungarian ¡Solu/on ¡to ¡Bipar/te ¡Graph ¡Matching ¡

8 ¡

Time

System ¡Observa/ons 1 Hour of Video

slide-9
SLIDE 9

2012 TRECVID Workshop

Step ¡2: ¡Segment ¡Scoring ¡

9 ¡

Time

Reference ¡Observa/ons

Missed ¡ Detec%ons ¡

¡

When ¡a ¡reference ¡

  • bserva/on ¡is ¡

NOT ¡mapped ¡

Correct ¡ Detec%ons ¡

¡

When ¡reference ¡ and ¡system ¡

  • bserva/ons ¡are ¡

mapped ¡

False ¡Alarms ¡

¡ When ¡a ¡system ¡

  • bserva/on ¡is ¡

NOT ¡mapped ¡ System ¡Observa/ons 1 Hour of Video

slide-10
SLIDE 10

2012 TRECVID Workshop

Time

Reference ¡Observa/ons

RateFA = # FalseAlarms SignalDuration P

Miss = # MissedObs

#TrueObs RateFA = 1 1Hr =1FA / Hr

1

10 ¡

P

Miss = 2

4 =.50

2 4

System ¡Observa/ons 1 Hour of Video

Step ¡3: ¡Error ¡Metric ¡Computa/on ¡

Compute ¡Normalized ¡Detec/on ¡Cost ¡Rate ¡(NDCR) ¡(1/2) ¡

slide-11
SLIDE 11

2012 TRECVID Workshop

Beta ¡

NDCR = P

Miss +

CostFA CostMiss * RTARGET * RFA

11 ¡

Time

Reference ¡Observa/ons System ¡Observa/ons 1 Hour of Video

CostMiss =10 CostFA =1 RTARGET = 20

NDCR = 0.5+ 1 10*20 *1=.505

Primary ¡Metric ¡ Range ¡of ¡NDCR() ¡is ¡[0:∞) ¡ ¡ ¡NDCR ¡= ¡0.0 ¡is ¡a ¡perfect ¡system ¡ ¡ ¡NDCR ¡= ¡1.0 ¡is ¡equivalent ¡to ¡a ¡system ¡that ¡outputs ¡nothing ¡

Step ¡3: ¡Error ¡Metric ¡Computa/on ¡

Compute ¡Normalized ¡Detec/on ¡Cost ¡Rate ¡(NDCR) ¡(2/2) ¡

slide-12
SLIDE 12

2012 TRECVID Workshop

Step ¡4: ¡Error ¡Visualiza/on ¡

Detec/on ¡Error ¡Tradeoff ¡(DET) ¡Curves ¡(ProbMiss ¡vs. ¡RateFA) ¡

12 ¡

Compute ¡RateFA ¡and ¡PMiss ¡for ¡all ¡Θ ¡ ¡

Θ ¡

Count ¡of ¡Observa%ons ¡ ¡ System ¡Decision ¡Score ¡

Incorrect ¡System ¡Observa/ons ¡ True ¡Observa/ons ¡

)) ( ), ( ( θ θ

Miss FA

P Rate

  • Sys. Obs. With YES Decision
  • Sys. Obs. With NO Decision

ActualNDCR(Act.Dec.) = P

Miss(Act.Dec.)+

CostFA CostMiss * RTARGET * RFA(Act.Dec.) MinimumNDCR(!) = argmin

!

P

Miss(!)+

CostFA CostMiss * RTARGET * RFA(!) ! " # $ % &

For ¡more ¡informa/on ¡about ¡DETCurves: ¡hVp://www.nist.gov/speech/publica/ons/storage_paper/det.pdf ¡

slide-13
SLIDE 13

2012 TRECVID Workshop 13 ¡

Single ¡ Person ¡ Person ¡+ ¡

  • bject ¡

Mul%ple ¡People ¡

12 ¡2012 ¡SED ¡Par/cipants ¡

PersonRuns ¡ Poin/ng ¡ CellToEar ¡ ObjectPut ¡ Embrace ¡ PeopleMeet ¡ PeopleSplit Up ¡ (with ¡number ¡of ¡systems ¡per ¡event) ¡ iSED ¡ rSED ¡ iSED ¡ rSED ¡ iSED ¡ rSED ¡ iSED ¡ rSED ¡ iSED ¡ rSED ¡ iSED ¡ rSED ¡ iSED ¡ rSED ¡

5 ¡years ¡in ¡ a ¡row ¡ Carnegie ¡Mellon ¡University ¡& ¡IBM ¡[CMU-­‑IBM] ¡ 5 ¡ 7 ¡ 5 ¡ 7 ¡ 5 ¡ 6 ¡ 5 ¡ 7 ¡ 5 ¡ 7 ¡ 5 ¡ 7 ¡ 5 ¡ 7 ¡ 4 ¡years ¡in ¡ a ¡row ¡ Mul/media ¡Communica/on ¡and ¡PaVern ¡Recogni/on ¡Labs, ¡Beijing ¡University ¡of ¡ Posts ¡and ¡Telecommunica/ons ¡[BUPT-­‑MCPRL] ¡ 1 ¡ 3 ¡ 1 ¡ 3 ¡ ¡ ¡ ¡ ¡ 1 ¡ 3 ¡ 1 ¡ 3 ¡ 1 ¡ 3 ¡ 1 ¡ 3 ¡ Peking ¡University, ¡NEC ¡Laboratories ¡[PKUNEC] ¡ 3 ¡ 1 ¡ 3 ¡ 1 ¡ 3 ¡ 1 ¡ 3 ¡ 1 ¡ 3 ¡ 1 ¡ 3 ¡ 1 ¡ 3 ¡ 1 ¡ 3 ¡years ¡in ¡ a ¡row ¡ Beijing ¡Jiaotong ¡University ¡[BJTU-­‑SED] ¡ ¡ ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ NEW ¡ Brno ¡University ¡of ¡Technology ¡[BrnoUT] ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ Dublin ¡City ¡University ¡[dcu-­‑savasa] ¡ 2 ¡ 2 ¡ 2 ¡ 5 ¡ ¡ ¡ ¡ ¡ 2 ¡ 5 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ The ¡City ¡College ¡of ¡New ¡York ¡Media ¡Team ¡[MediaCCNY] ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ Ins/tute ¡of ¡Computer ¡Science ¡and ¡Technology, ¡Peking ¡University ¡[PKU-­‑OS] ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ ¡ ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Queensland ¡University ¡of ¡Technology ¡[saivt] ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ Shanghai ¡Jiaotong ¡University, ¡Center ¡for ¡Brain-­‑like ¡Compu/ng ¡and ¡Machine ¡ Intelligence ¡[SJTUBCMI] ¡ ¡ ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ ¡ ¡ 1 ¡ 1 ¡ ¡ ¡ ¡ ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡ Video ¡Compu/ng ¡Group, ¡University ¡of ¡California ¡Santa ¡Barbara ¡[UcsbUcrVcg] ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ 1 ¡ ¡ ¡ University ¡of ¡OVawa ¡[VIVA-­‑uOVawa] ¡ 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ 15 ¡ 16 ¡ 16 ¡ 21 ¡ 10 ¡ 9 ¡ 15 ¡ 20 ¡ 13 ¡ 14 ¡ 13 ¡ 14 ¡ 13 ¡ 14 ¡

Total ¡Interac/ve ¡Event ¡Runs ¡ 108 ¡ Total ¡Retrospec/ve ¡Event ¡Runs ¡ 95 ¡

slide-14
SLIDE 14

2012 TRECVID Workshop

Event-­‑Averaged, ¡Lowest ¡NDCR ¡by ¡Site ¡ iSED ¡vs. ¡rSED ¡

  • 8 ¡sites ¡submiVed ¡both ¡

iSED ¡and ¡rSED ¡runs ¡

  • 5 ¡reduced ¡NDCR ¡

– BJTU-­‑SED ¡ ¡1% ¡ ¡ – BrnoUT ¡ ¡ ¡19% ¡ ¡ – BUPT-­‑MCPRL ¡ ¡29% ¡ ¡ – CMU-­‑IBM ¡ ¡5% ¡ ¡ – dcu-­‑savasa ¡1% ¡ ¡

14 ¡

0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ 1.2 ¡ 1.4 ¡ BJTU-­‑SED ¡ BrnoUT ¡ BUPT-­‑MCPRL ¡ CMU-­‑IBM ¡ dcu-­‑savasa ¡ MediaCCNY ¡ PKU-­‑OS ¡ PKUNEC ¡ saivt ¡ SJTUBCMI ¡ UcsbUcrVcg ¡ VIVA-­‑uOVawa ¡ Actuak ¡NDCR ¡ Avg ¡rSED ¡ Avg ¡ISED ¡

slide-15
SLIDE 15

2012 TRECVID Workshop 15 ¡

PersonRuns ¡Event ¡ iSED ¡vs. ¡rSED ¡-­‑ ¡BUPT ¡

slide-16
SLIDE 16

2012 TRECVID Workshop 16 ¡

PersonRuns ¡Event ¡ iSED ¡vs. ¡rSED ¡

BUPT BrnoUT CMU-IBM

slide-17
SLIDE 17

2012 TRECVID Workshop 17 ¡

ObjectPut ¡Event ¡ iSED ¡vs. ¡rSED ¡-­‑ ¡BUPT ¡

slide-18
SLIDE 18

2012 TRECVID Workshop 18 ¡

ObjectPut ¡Event ¡ iSED ¡vs. ¡rSED ¡

BUPT BrnoUT CMU-IBM

slide-19
SLIDE 19

2012 TRECVID Workshop 19 ¡

PeopleMeet ¡Event ¡ iSED ¡vs. ¡rSED ¡-­‑ ¡BUPT ¡

slide-20
SLIDE 20

2012 TRECVID Workshop 20 ¡

PeopleMeet ¡Event ¡ iSED ¡vs. ¡rSED ¡

BUPT BrnoUT CMU-IBM

slide-21
SLIDE 21

2012 TRECVID Workshop 21 ¡

Person ¡Runs ¡ SED ¡‘09-­‑’12 ¡ rSED ¡+ ¡iSED ¡

slide-22
SLIDE 22

2012 TRECVID Workshop 22 ¡

PeopleSplitUp ¡ SED ¡‘09-­‑’12 ¡ rSED ¡+ ¡iSED ¡

slide-23
SLIDE 23

2012 TRECVID Workshop 23 ¡

Embrace ¡ SED ¡‘09-­‑’12 ¡ rSED ¡+ ¡iSED ¡

slide-24
SLIDE 24

2012 TRECVID Workshop 24 ¡

Cell ¡To ¡Ear ¡ SED ¡‘09-­‑’12 ¡ rSED ¡+ ¡iSED ¡

slide-25
SLIDE 25

2012 TRECVID Workshop 25 ¡

Poin/ng ¡ SED ¡‘09-­‑’12 ¡ rSED ¡+ ¡iSED ¡

slide-26
SLIDE 26

2012 TRECVID Workshop 26 ¡

PeopleMeet ¡ SED ¡‘09-­‑’12 ¡ rSED ¡+ ¡iSED ¡

slide-27
SLIDE 27

2012 TRECVID Workshop 27 ¡

Object ¡Put ¡ SED ¡‘09-­‑’12 ¡ rSED ¡+ ¡iSED ¡

slide-28
SLIDE 28

2012 TRECVID Workshop

Conclusions ¡

  • Interac/ve ¡systems ¡for ¡5 ¡of ¡12 ¡par/cipants ¡yielded ¡more ¡accurate ¡

detec/ons ¡

– BUPT ¡Actual ¡NDCR ¡reduc/on ¡of ¡29% ¡

  • Single-­‑person ¡and ¡mul/-­‑person ¡events ¡show ¡evidence ¡of ¡yearly ¡

improvements ¡

– Single-­‑person: ¡PersonRuns, ¡PeopleSplitUp, ¡Poin/ng ¡ – Mul/-­‑person: ¡PeopleMeet, ¡Embrace ¡ – But… ¡s/ll ¡not ¡approaching ¡human ¡performance ¡

  • Person+object ¡events ¡remain ¡difficult ¡

– ObjectPut, ¡CellToEar ¡

  • Last ¡year ¡for ¡the ¡SED ¡track ¡

– Thanks ¡to ¡all ¡who ¡par/cipated! ¡ – Thanks ¡to ¡the ¡Linguis/c ¡Data ¡Consor/um ¡for ¡annota/ons! ¡ – Special ¡thanks ¡to ¡the ¡iLIDS ¡team ¡for ¡the ¡data! ¡

28 ¡