Agenda 8:30 Classifica1on&localiza1on 9:50 - - PowerPoint PPT Presentation

▶
agenda
SMART_READER_LITE
LIVE PREVIEW

Agenda 8:30 Classifica1on&localiza1on 9:50 - - PowerPoint PPT Presentation

Feb 04, 2024 379 likes •719 views

Large Scale Visual Recogni1on Challenge (ILSVRC) 2013: Object Detec)on

slide-1
SLIDE 1

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Large ¡Scale ¡Visual ¡

Recogni1on ¡Challenge ¡(ILSVRC) ¡2013: ¡ Object ¡Detec)on ¡

Olga ¡Russakovsky ¡ (Stanford ¡U.) ¡ Jia ¡Deng ¡ ¡ (U. ¡of ¡Michigan) ¡ Jonathan ¡Krause ¡ (Stanford ¡U.) ¡ Alexander ¡Berg ¡ (UNC ¡Chapel ¡Hill) ¡ Fei-­‑Fei ¡Li ¡ (Stanford ¡U.) ¡

slide-2
SLIDE 2

8:30 ¡ ¡Classifica1on&localiza1on ¡ ¡ ¡ ¡ ¡ 10:30 ¡Detec1on ¡ ¡ ¡ ¡ ¡ Noon ¡Discussion ¡panel ¡ ¡ ¡ 14:00 ¡Invited ¡talk ¡by ¡ViUorio ¡Ferrari: ¡ ¡ ¡Auto-­‑annota)on ¡and ¡self-­‑assessment ¡in ¡ImageNet ¡ ¡ 14:40 ¡Fine-­‑Grained ¡Challenge ¡2013 ¡

Agenda ¡

hUp://www.image-­‑net.org/challenges/LSVRC/2013/iccv2013 ¡

8:50 ¡ 9:05 ¡ 9:20 ¡ 9:35 ¡ 9:50 ¡ Spotlights ¡ 10:50 ¡ 11:10 ¡ 11:30 ¡ 11:40 ¡

Spotlights ¡

slide-3
SLIDE 3

Fully ¡annotated ¡200 ¡object ¡classes ¡across ¡60,000 ¡images ¡ ¡ Allows ¡evalua1on ¡of ¡generic ¡object ¡detec1on ¡ in ¡cluUered ¡scenes ¡at ¡scale ¡

Person ¡ Car ¡ Motorcycle ¡ Helmet ¡ NEW ¡

ILSVRC ¡Task ¡1: ¡Detec1on ¡

Modeled ¡aaer ¡PASCAL ¡VOC ¡

slide-4
SLIDE 4

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ 1000 ¡ ¡ ILSVRC ¡2012 ¡

  • bject ¡

classes ¡

slide-5
SLIDE 5

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ 1000 ¡ ¡ ILSVRC ¡2012 ¡

  • bject ¡

classes ¡

Discard ¡if ¡ “big” ¡in ¡ images ¡ T-­‑shirt ¡

slide-6
SLIDE 6

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ 1000 ¡ ¡ ILSVRC ¡2012 ¡

  • bject ¡

classes ¡

Discard ¡if ¡ “big” ¡in ¡ images ¡ Discard ¡if ¡not ¡ “well-­‑suited” ¡ for ¡detec1on ¡ T-­‑shirt ¡ Hay ¡

slide-7
SLIDE 7

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ 1000 ¡ ¡ ILSVRC ¡2012 ¡

  • bject ¡

classes ¡

Discard ¡if ¡ “big” ¡in ¡ images ¡ Discard ¡if ¡not ¡ “well-­‑suited” ¡ for ¡detec1on ¡ 494 ¡

  • bject ¡

classes ¡ T-­‑shirt ¡ Hay ¡

slide-8
SLIDE 8

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ 1000 ¡ ¡ ILSVRC ¡2012 ¡

  • bject ¡

classes ¡

Discard ¡if ¡ “big” ¡in ¡ images ¡ Discard ¡if ¡not ¡ “well-­‑suited” ¡ for ¡detec1on ¡ 494 ¡

  • bject ¡

classes ¡ Merge ¡ into ¡basic-­‑ level ¡ classes ¡

200 ¡ ILSVRC ¡ 2013 ¡DET ¡

  • bject ¡

classes ¡

T-­‑shirt ¡ Hay ¡

slide-9
SLIDE 9

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡

Pos: ¡ILSVRC ¡2012 ¡train ¡images ¡ for ¡the ¡200 ¡object ¡classes ¡

Train ¡ = ¡

Neg: ¡addi1onal ¡images, ¡ mostly ¡from ¡Flickr ¡

+

417 ¡– ¡67K ¡per ¡class ¡ ¡(median ¡561) ¡ 185-­‑10K ¡per ¡class ¡(median ¡4130) ¡

slide-10
SLIDE 10

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡

Pos: ¡ILSVRC ¡2012 ¡train ¡images ¡ for ¡the ¡200 ¡object ¡classes ¡ ILSVRC ¡2012 ¡ val, ¡test ¡for ¡ the ¡200 ¡

  • bject ¡classes ¡

Images ¡with ¡target ¡

  • bject ¡occupying ¡ ¡

≥ ¡50% ¡of ¡image ¡ area ¡

Train ¡ = ¡ Val, ¡Test ¡

  • ­‑ ¡

77% ¡(15,522 ¡val ¡and ¡30,901 ¡test) ¡

Neg: ¡addi1onal ¡images, ¡ mostly ¡from ¡Flickr ¡

+

417 ¡– ¡67K ¡per ¡class ¡ ¡(median ¡561) ¡ 185-­‑10K ¡per ¡class ¡(median ¡4130) ¡

= ¡

slide-11
SLIDE 11

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡

Pos: ¡ILSVRC ¡2012 ¡train ¡images ¡ for ¡the ¡200 ¡object ¡classes ¡ ILSVRC ¡2012 ¡ val, ¡test ¡for ¡ the ¡200 ¡

  • bject ¡classes ¡

Images ¡with ¡target ¡

  • bject ¡occupying ¡ ¡

≥ ¡50% ¡of ¡image ¡ area ¡ Addi1onal ¡images ¡ from ¡Flickr ¡(queries ¡ e.g., ¡“kitcheneUe,” ¡ “Australian ¡zoo”) ¡

Train ¡ = ¡ Val, ¡Test ¡

  • ­‑ ¡

+

77% ¡(15,522 ¡val ¡and ¡30,901 ¡test) ¡

Neg: ¡addi1onal ¡images, ¡ mostly ¡from ¡Flickr ¡

+

417 ¡– ¡67K ¡per ¡class ¡ ¡(median ¡561) ¡ 185-­‑10K ¡per ¡class ¡(median ¡4130) ¡ 23% ¡(4,599 ¡val ¡and ¡9,251 ¡test) ¡

= ¡

slide-12
SLIDE 12

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡ Step ¡3: ¡Annotate ¡valida)on&test ¡images ¡completely ¡with ¡all ¡object ¡classes ¡

slide-13
SLIDE 13

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡ Step ¡3: ¡Annotate ¡valida)on&test ¡images ¡completely ¡with ¡all ¡object ¡classes ¡

Image Object Presence Is there an animal? Is there a mammal? Is there a cat?

(a) ¡Hierarchical ¡image ¡annota1on ¡

slide-14
SLIDE 14

ILSVRC ¡2013 ¡detec1on ¡data ¡collec1on ¡

Step ¡1: ¡Define ¡object ¡classes ¡ Step ¡2: ¡ ¡Collect ¡images ¡ Step ¡3: ¡Annotate ¡valida)on&test ¡images ¡completely ¡with ¡all ¡object ¡classes ¡

Image Object Presence Is there an animal? Is there a mammal? Is there a cat?

(a) ¡Hierarchical ¡image ¡annota1on ¡ (b) ¡Bounding ¡box ¡annota1on ¡

slide-15
SLIDE 15

ILSVRC ¡2013 ¡detec1on ¡data ¡

slide-16
SLIDE 16

ILSVRC ¡2013 ¡detec1on ¡data ¡

Sta)s)cs ¡ PASCAL ¡VOC ¡2012 ¡ ILSVRC ¡2013 ¡ Object ¡classes ¡ 20 ¡ 200 ¡ Training ¡ Images ¡ 5.7K ¡ 395K ¡ Objects ¡ 13.6K ¡ 345K ¡ Valida1on ¡ Images ¡ 5.8K ¡ 20.1K ¡ Objects ¡ 13.8K ¡ 55.5K ¡ Tes1ng ¡ Images ¡ 11.0K ¡ 40.1K ¡ Objects ¡

  • ­‑-­‑-­‑ ¡
  • ­‑-­‑-­‑ ¡

4x ¡ 10x ¡ 25x ¡

slide-17
SLIDE 17

ILSVRC ¡2013 ¡people ¡detec1on ¡

Sta)s)cs ¡ ILSVRC ¡2013 ¡ Train ¡ Posi1ve ¡images ¡ 9,877 ¡ Instances ¡ 17,728 ¡ Nega1ve ¡images ¡ 2,248 ¡ Valida1on ¡ Posi1ve ¡images ¡ 5,756 ¡ Instances ¡ 12,824 ¡ Nega1ve ¡images ¡ 14,365 ¡ More ¡than ¡50,000 ¡person ¡instances ¡annotated ¡(train+val+test) ¡

slide-18
SLIDE 18

ILSVRC ¡2013 ¡detec1on ¡data ¡

Property ¡ PASCAL ¡VOC ¡2012 ¡ ILSVRC ¡2013 ¡ Average ¡image ¡ resolu1on ¡ 469 ¡x ¡387 ¡pixels ¡ 482 ¡x ¡415 ¡pixels ¡ Average ¡object ¡classes ¡ per ¡image ¡ 1.521 ¡ 1.534 ¡ Average ¡object ¡ instances ¡per ¡image ¡ 2.711 ¡ 2.758 ¡ Average ¡object ¡scale ¡ (per ¡instance) ¡ 0.207 ¡ 0.170 ¡ Average ¡object ¡scale ¡ (per ¡class) ¡ Min: ¡0.07 ¡ ¡ 1st ¡quar1le: ¡0.14 ¡ Median: ¡0.24 ¡ ¡ 3rd ¡quar1le: ¡0.31 ¡ Max: ¡0.47 ¡ Min: ¡0.01 ¡ 1st ¡quar1le: ¡0.09 ¡ ¡ Median ¡0.15 ¡ 3rd ¡quar1le: ¡0.23 ¡ Max: ¡0.44 ¡ computed ¡on ¡valida)on ¡sets ¡

slide-19
SLIDE 19

ILSVRC ¡2013 ¡detec1on ¡evalua1on ¡

Person ¡ Car ¡ Motorcycle ¡ Helmet ¡

Evalua)on ¡modeled ¡aZer ¡PASCAL ¡VOC: ¡ ¡

  • Algorithm ¡outputs ¡a ¡list ¡of ¡bounding ¡

box ¡detec1ons ¡with ¡confidences ¡

  • A ¡detec1on ¡is ¡considered ¡correct ¡if ¡

IOU ¡with ¡ground ¡truth ¡> ¡threshold ¡

  • Evaluated ¡by ¡average ¡precision ¡per ¡
  • bject ¡class ¡
  • Winners ¡of ¡challenge ¡is ¡the ¡team ¡that ¡

wins ¡the ¡most ¡object ¡categories ¡

Everingham, ¡Van ¡Gool, ¡Williams, ¡Winn ¡and ¡Zisserman. ¡ The ¡PASCAL ¡Visual ¡Object ¡Classes ¡(VOC) ¡Challenge. ¡IJCV ¡2010. ¡

slide-20
SLIDE 20

Threshold ¡for ¡Correct ¡Detec1on ¡

Ground ¡truth ¡ Good ¡det. ¡

Intersec1on ¡ Union ¡

  • G. ¡truth ¡

Bad ¡detec)on ¡ Ground ¡truth ¡ Bad ¡det. ¡

≥ ¡ ¡ ¡0.5 ¡ ¡

slide-21
SLIDE 21

Threshold ¡for ¡Correct ¡Detec1on ¡

Ground ¡truth ¡ Good ¡det. ¡

Intersec1on ¡ Union ¡

  • G. ¡truth ¡

Bad ¡detec)on ¡ Ground ¡truth ¡ Bad ¡det. ¡

≥ ¡ ¡ ¡0.5 ¡ ¡

Might ¡be ¡ ¡

  • nly ¡2 ¡pixels! ¡
slide-22
SLIDE 22

Threshold ¡for ¡Correct ¡Detec1on ¡

Ground ¡truth ¡ Good ¡det. ¡

Intersec1on ¡ Union ¡

  • G. ¡truth ¡

Good ¡detec)on ¡ Ground ¡truth ¡ Bad ¡det. ¡

≥ ¡ ¡ ¡min(0.5, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡

If ¡within ¡~5 ¡pixels ¡

slide-23
SLIDE 23

Threshold ¡for ¡Correct ¡Detec1on ¡

Ground ¡truth ¡ Good ¡det. ¡

Intersec1on ¡ Union ¡

  • G. ¡truth ¡

Good ¡detec)on ¡ Ground ¡truth ¡ Bad ¡det. ¡

≥ ¡ ¡ ¡min(0.5, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡

If ¡within ¡~5 ¡pixels ¡

wgt ¡hgt ¡ (wgt+10) ¡(hgt+10) ¡

Only ¡maBers ¡for ¡small ¡boxes ¡(< ¡~25 ¡pixels), ¡ ¡ which ¡is ¡about ¡5.5% ¡of ¡cases ¡

slide-24
SLIDE 24

ILSVRC ¡2013 ¡detec1on ¡results ¡

Team ¡Name ¡ mAP ¡ # ¡categories ¡won ¡ UvA-­‑Euvision ¡ 0.226 ¡ 130 ¡ NEC-­‑MU ¡ ¡ (with ¡outside ¡data) ¡ 0.209 ¡

  • ­‑-­‑-­‑ ¡

NEC-­‑MU ¡ 0.196 ¡ 25+35 ¡(2 ¡entries) ¡ OverFeat-­‑NYU ¡ ¡ (with ¡outside ¡data) ¡ 0.194 ¡

  • ­‑-­‑-­‑ ¡

Toronto ¡A ¡ 0.115 ¡ 6+1 ¡(2 ¡entries) ¡ SYSU_Vision ¡ 0.105 ¡ 3 ¡ GPU_UCLA ¡ 0.098 ¡ 0 ¡ Delta ¡ 0.061 ¡ 0 ¡ UIUC-­‑IFP ¡ 0.010 ¡ 0 ¡

slide-25
SLIDE 25

ILSVRC ¡2013 ¡detec1on ¡results ¡

Team ¡Name ¡ mAP ¡ # ¡categories ¡won ¡ UvA-­‑Euvision ¡ 0.226 ¡ 130 ¡ NEC-­‑MU ¡ ¡ (with ¡outside ¡data) ¡ 0.209 ¡

  • ­‑-­‑-­‑ ¡

NEC-­‑MU ¡ 0.196 ¡ 25+35 ¡(2 ¡entries) ¡ OverFeat-­‑NYU ¡ ¡ (with ¡outside ¡data) ¡ 0.194 ¡

  • ­‑-­‑-­‑ ¡

Toronto ¡A ¡ 0.115 ¡ 6+1 ¡(2 ¡entries) ¡ SYSU_Vision ¡ 0.105 ¡ 3 ¡ GPU_UCLA ¡ 0.098 ¡ 0 ¡ Delta ¡ 0.061 ¡ 0 ¡ UIUC-­‑IFP ¡ 0.010 ¡ 0 ¡ Winner ¡ Runner-­‑up ¡

Xiaoyu ¡Wang1, ¡ Miao ¡Sun2, ¡ Tianbao ¡Yang1, ¡ Yuanqing ¡Lin1, ¡ Tony ¡X. ¡Han2, ¡ Shenghuo ¡Zhu1 ¡

1 ¡NEC ¡Labs ¡America, ¡ 2University ¡of ¡

Missouri ¡ Koen ¡van ¡de ¡Sande, ¡ Daniel ¡Fron1jne, ¡ Cees ¡Snoek, ¡ ¡ Harro ¡Stokman, ¡ ¡ Arnold ¡Smeulders, ¡ University ¡of ¡ Amsterdam, ¡ Euvision ¡ Technologies ¡

slide-26
SLIDE 26

“Easy” ¡detec1on ¡classes ¡

Object ¡class ¡ Best ¡AP ¡(across ¡all ¡entries) ¡ BuUerfly ¡ 0.827 ¡ Rabbit ¡ 0.719 ¡ Snowplow ¡ 0.654 ¡ Frog ¡ 0.649 ¡ Red ¡panda ¡ 0.646 ¡ Tiger ¡ 0.628 ¡ Dog ¡ 0.625 ¡ Basketball ¡ 0.617 ¡ Volleyball ¡ 0.613 ¡ Armadillo ¡ 0.604 ¡

slide-27
SLIDE 27

“Hard” ¡detec1on ¡classes ¡

Object ¡class ¡ Best ¡AP ¡(across ¡all ¡entries) ¡ Ladle ¡ 0.011 ¡ Microphone ¡ 0.016 ¡ Backpack ¡ 0.018 ¡ Nail ¡ 0.018 ¡ Spatula ¡ 0.019 ¡ Plas1c ¡bag ¡ 0.032 ¡ Axe ¡ 0.035 ¡ Purse ¡ 0.038 ¡ Water ¡boUle ¡ 0.046 ¡ Syringe ¡ 0.046 ¡

slide-28
SLIDE 28

ILSVRC2013 ¡detec1on ¡

Object ¡scale ¡(on ¡valida1on ¡set) ¡ Average ¡precision ¡ (best ¡across ¡all ¡entries) ¡

Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡

Basketball, ¡ Volleyball ¡ Koala ¡bear ¡ Bu`erfly ¡ Lion ¡ Red ¡panda ¡ Sofa ¡ Train ¡ Rabbit ¡

slide-29
SLIDE 29

ILSVRC2013 ¡detec1on ¡

Object ¡scale ¡(on ¡valida1on ¡set) ¡ Average ¡precision ¡ (best ¡across ¡all ¡entries) ¡

Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡

Basketball, ¡ Volleyball ¡ Koala ¡bear ¡ Bu`erfly ¡ Lion ¡ Red ¡panda ¡ Sofa ¡ Train ¡ Rabbit ¡

slide-30
SLIDE 30

ILSVRC2013 ¡detec1on ¡

Amount ¡of ¡data ¡(train+val ¡object ¡instances) ¡ Average ¡precision ¡ (best ¡across ¡all ¡entries) ¡

Each ¡dot ¡ corresponds ¡ to ¡one ¡object ¡ class ¡

Dog ¡ Bird ¡ Person ¡ WatercraZ, ¡ snake, ¡ ¡ car ¡ Monkey ¡ Bu`erfly ¡

slide-31
SLIDE 31

Useful ¡resources ¡

hUp://cloudcv.org/objdetect/ ¡

  • Cached ¡versions ¡of ¡14 ¡popular ¡

scene ¡descriptors ¡on ¡1.2 ¡million ¡ images ¡in ¡ILSVRC2013-­‑CLSLOC ¡

  • Pre-­‑trained ¡DPM ¡models ¡on ¡

ILSVRC2013-­‑DET ¡

hUp://caffe.berkeleyvision.org ¡

  • Fast ¡and ¡modifiable ¡

implementa1on ¡of ¡state-­‑of-­‑the-­‑ art ¡deep ¡learning ¡algorithms ¡

  • Pre-­‑trained ¡classifica1on ¡

models ¡on ¡ISLVRC2013-­‑CLSLOC ¡

slide-32
SLIDE 32

10:50 ¡ ¡Xiaoyu ¡Wang, ¡Regionlets ¡for ¡Generic ¡ Object ¡Detec)on ¡ ¡ ¡

¡

11:10 ¡Koen ¡van ¡de ¡Sande ¡and ¡Daniel ¡Fon1jne, ¡ University ¡of ¡Amsterdam ¡and ¡Euvision ¡ Technologies ¡at ¡ILSVRC ¡2013 ¡

¡

¡ 11:30 ¡ILSVRC ¡detec1on ¡spotlights ¡

¡

¡ 11:40 ¡Ross ¡Girshick, ¡Rich ¡feature ¡hierarchies ¡for ¡ accurate ¡object ¡detec)on ¡and ¡seman)c ¡ segmenta)on ¡

ILSVRC2013 ¡detec1on ¡agenda ¡