Schedule 8:45 Object detec1on 10:15 Spotlights - - PowerPoint PPT Presentation

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Large ¡Scale ¡Visual ¡

Recogni1on ¡Challenge ¡(ILSVRC) ¡2014: ¡ Introduc)on ¡

Olga ¡Russakovsky ¡ (Stanford ¡U.) ¡ Jia ¡Deng ¡ ¡ (U. ¡of ¡Michigan) ¡ Jonathan ¡Krause ¡ (Stanford ¡U.) ¡ Alexander ¡Berg ¡ (UNC ¡Chapel ¡Hill) ¡ Fei-­‑Fei ¡Li ¡ (Stanford ¡U.) ¡ Sean ¡Ma ¡ ¡(Stanford ¡U.) ¡

8:45 ¡ ¡Object ¡detec1on ¡ ¡ ¡ ¡ ¡ 11:00 ¡Classifica1on&localiza1on ¡ ¡ ¡ ¡ ¡ 14:00 ¡Awards&Discussion ¡ ¡ ¡ 15:00 ¡Poster ¡and ¡live ¡demo ¡session ¡

Schedule ¡

9:25 ¡ 9:45 ¡ 10:00 ¡ 10:15 ¡Spotlights ¡ 11:45 ¡ 12:00 ¡ 11:15 ¡ 11:30 ¡ 9:10 ¡ 12:15 ¡Spotlights ¡ 14:20 ¡ 14:30 ¡ 14:00 ¡ 14:10 ¡ 14:40 ¡Discussion ¡

Awards ¡ Many ¡thanks ¡to: ¡

ILSVRC2014 ¡sponsors ¡ ILSVRC2014 ¡awards ¡sponsor ¡ Volunteer ¡videographer ¡

Koen ¡ van ¡de ¡Sande ¡

Backpack ¡

Backpack ¡ Flute ¡ Strawberry ¡ Traffic ¡light ¡ Bathing ¡cap ¡ Matchs1ck ¡ Racket ¡ Sea ¡lion ¡

Large-­‑scale ¡recogni)on ¡

Large-­‑scale ¡recogni)on ¡

Need ¡benchmark ¡datasets ¡

PASCAL ¡VOC ¡2005-­‑2012 ¡

Classifica)on: ¡person, ¡motorcycle ¡ Detec1on ¡ Segmenta1on ¡

Person ¡ Motorcycle ¡

Ac)on: ¡riding ¡bicycle ¡

Everingham, ¡Van ¡Gool, ¡Williams, ¡Winn ¡and ¡Zisserman. ¡ The ¡PASCAL ¡Visual ¡Object ¡Classes ¡(VOC) ¡Challenge. ¡IJCV ¡2010. ¡

20 ¡object ¡classes ¡ ¡22,591 ¡images ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Large ¡Scale ¡Visual ¡

Recogni1on ¡Challenge ¡(ILSVRC) ¡2010-­‑2014 ¡

20 ¡object ¡classes ¡ ¡22,591 ¡images ¡ ¡ ¡200 ¡object ¡classes ¡ ¡ ¡ ¡ ¡456,567 ¡ ¡images ¡ ¡DET ¡ ¡ ¡1000 ¡object ¡classes ¡ ¡1,431,167 ¡images ¡ ¡CLS-­‑LOC ¡ ¡ ¡

Person ¡

hNp://image-­‑net.org/challenges/LSVRC/ ¡

Person ¡

Dog ¡

Variety ¡of ¡object ¡classes ¡in ¡ILSVRC ¡

Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-­‑Fei ¡ Detec1ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡hcp://image-­‑net.org/challenges/LSVRC/2012/analysis ¡

Variety ¡of ¡object ¡classes ¡in ¡ILSVRC ¡

DET ¡ CLS-­‑LOC ¡

Par1cipa1on ¡in ¡ILSVRC ¡over ¡the ¡years ¡

Year ¡ Number ¡of ¡entries ¡

3 ¡years: ¡ 2010-­‑2012 ¡ Last ¡year: ¡ 2013 ¡

ILSVRC ¡2010 ¡ ILSVRC ¡2011 ¡ ILSVRC ¡2012 ¡ ILSVRC ¡2013: ¡ 81 ¡entries ¡ 120 ¡ 100 ¡ 80 ¡ 60 ¡ 40 ¡ 20 ¡ 0 ¡

Par1cipa1on ¡in ¡ILSVRC ¡over ¡the ¡years ¡

Year ¡ Number ¡of ¡entries ¡

3 ¡years: ¡ 2010-­‑2012 ¡ Last ¡year: ¡ 2013 ¡

ILSVRC ¡2010 ¡ ILSVRC ¡2011 ¡ ILSVRC ¡2012 ¡ ILSVRC ¡2013: ¡ 81 ¡entries ¡

This ¡year: ¡ 2014 ¡

120 ¡ 100 ¡ 80 ¡ 60 ¡ 40 ¡ 20 ¡ 0 ¡ ILSVRC ¡2014: ¡ 123 ¡entries ¡

Experiment ¡this ¡year: ¡

• pen ¡vs ¡closed ¡submissions ¡
• Offered ¡all ¡teams ¡an ¡op1on: ¡

– Open ¡= ¡promise ¡to ¡reveal ¡their ¡method ¡ – Closed ¡= ¡par1cipate ¡without ¡revealing ¡the ¡method ¡

• Almost ¡all ¡teams ¡chose ¡to ¡be ¡“open” ¡(31/36) ¡

– And ¡2 ¡of ¡the ¡“closed” ¡teams ¡are ¡s1ll ¡presen1ng ¡spotlights ¡ and ¡posters ¡at ¡this ¡workshop ¡ ¡

ILSVRC ¡image ¡classifica1on ¡task ¡

Steel ¡drum ¡

Output: ¡ Scale ¡ T-­‑shirt ¡ Steel ¡drum ¡ Drums1ck ¡ Mud ¡turtle ¡

Steel ¡drum ¡

✔ ¡ ✗ ¡

Output: ¡ Scale ¡ T-­‑shirt ¡ Giant ¡panda ¡ Drums1ck ¡ Mud ¡turtle ¡

ILSVRC ¡image ¡classifica1on ¡task ¡

Output: ¡ Scale ¡ T-­‑shirt ¡ Steel ¡drum ¡ Drums1ck ¡ Mud ¡turtle ¡

Steel ¡drum ¡

✔ ¡ ✗ ¡

Output: ¡ Scale ¡ T-­‑shirt ¡ Giant ¡panda ¡ Drums1ck ¡ Mud ¡turtle ¡

Error ¡= ¡ ¡ ¡

Σ ¡

100,000 ¡ images ¡

1[incorrect ¡on ¡image ¡i] ¡

1 ¡ 100,000 ¡

ILSVRC ¡image ¡classifica1on ¡task ¡

ILSVRC ¡over ¡the ¡years ¡

• n ¡image ¡classifica1on ¡

0.28 ¡ 0.26 ¡ 0.16 ¡ 0.12 ¡ 0.07 ¡

1.7x ¡reduc1on ¡in ¡ classifica1on ¡error ¡ ¡ since ¡last ¡year ¡ ¡ 4.2x ¡reduc1on ¡in ¡ classifica1on ¡error ¡ since ¡2010 ¡ ¡ ¡

ILSVRC ¡over ¡the ¡years ¡

• n ¡image ¡classifica1on ¡

1.9x ¡increase ¡in ¡

• bject ¡detec1on ¡

average ¡precision ¡ since ¡last ¡year ¡ ¡

Classifica1on ¡ Classifica1on+localiza1on ¡ Detec1on ¡

ILSVRC ¡in ¡detail ¡

ImageNet ¡Large ¡Scale ¡Visual ¡Recogni)on ¡Challenge ¡ Olga ¡Russakovsky*, ¡Jia ¡Deng*, ¡Hao ¡Su, ¡Jonathan ¡Krause, ¡Sanjeev ¡ Satheesh, ¡Sean ¡Ma, ¡Zhiheng ¡Huang, ¡Andrej ¡Karpathy, ¡Aditya ¡Khosla, ¡ Michael ¡Bernstein, ¡Alexander ¡Berg, ¡Li ¡Fei-­‑Fei ¡ ¡ ¡ ¡hcp://arxiv.org/abs/1409.0575 ¡

• Describes ¡the ¡construc1on ¡of ¡the ¡ILSVRC ¡datasets ¡
• Highlights ¡the ¡most ¡successful ¡algorithms ¡
• Provides ¡sta1s1cal ¡analysis ¡of ¡the ¡results ¡through ¡ILSVRC2014 ¡
• Compares ¡computer ¡vision ¡accuracy ¡with ¡human-­‑level ¡accuracy ¡

Fully ¡annotated ¡200 ¡object ¡classes ¡across ¡121,931 ¡images ¡ ¡ Allows ¡evalua1on ¡of ¡generic ¡object ¡detec1on ¡ in ¡clucered ¡scenes ¡at ¡scale ¡

Person ¡ Car ¡ Motorcycle ¡ Helmet ¡

ILSVRC ¡object ¡detec1on ¡task ¡

Modeled ¡aser ¡PASCAL ¡VOC ¡

Person ¡ Car ¡ Motorcycle ¡ Helmet ¡

Evalua)on ¡modeled ¡aVer ¡PASCAL ¡VOC: ¡ ¡

• Algorithm ¡outputs ¡a ¡list ¡of ¡bounding ¡

box ¡detec1ons ¡with ¡confidences ¡

• A ¡detec1on ¡is ¡considered ¡correct ¡if ¡

IOU ¡with ¡ground ¡truth ¡> ¡threshold ¡

• Evaluated ¡by ¡average ¡precision ¡per ¡
• bject ¡class ¡
• Winners ¡of ¡challenge ¡is ¡the ¡team ¡that ¡

wins ¡the ¡most ¡object ¡categories ¡

Everingham, ¡Van ¡Gool, ¡Williams, ¡Winn ¡and ¡Zisserman. ¡ The ¡PASCAL ¡Visual ¡Object ¡Classes ¡(VOC) ¡Challenge. ¡IJCV ¡2010. ¡

ILSVRC ¡Task ¡1: ¡Object ¡detec1on ¡

ILSVRC2014 ¡object ¡detec1on ¡results: ¡ with ¡provided ¡training ¡data ¡only ¡

Team ¡Name ¡ Number ¡of ¡ categories ¡won ¡ Average ¡ precision ¡(%) ¡ NUS ¡ 106 ¡ 37.2 ¡ MSRA ¡Visual ¡Compu1ng ¡ 45 ¡ 35.1 ¡ Uva-­‑Euvision ¡ 21 ¡ 32.0 ¡ 1-­‑HKUST ¡ 18+4 ¡(5 ¡entries) ¡ 28.9 ¡ Southeast-­‑CASIA ¡ 4+2 ¡(2 ¡en1res) ¡ 30.5 ¡ CASIA_CRIPAC_2 ¡ 0 ¡ 28.6 ¡ MSRA ¡visual ¡compu)ng: ¡

Kaiming ¡He† ¡, ¡Xiangyu ¡Zhang‡ ¡, ¡ Shaoqing ¡Ren∓ ¡, ¡Jian ¡Sun† ¡ ¡ † ¡= ¡Microsos ¡Research ¡ ‡ ¡= ¡Xi’an ¡Jiaotong ¡University ¡ ∓ ¡ ¡= ¡University ¡of ¡Science ¡and ¡ Technology ¡of ¡China ¡

NUS: ¡

Jian ¡Dong† ¡, ¡Yunchao ¡Wei† ¡, ¡ Min ¡Lin† ¡, ¡Qiang ¡Chen‡ ¡, ¡Wei ¡ Xia† ¡, ¡Shuicheng ¡Yan† ¡ † ¡= ¡Na1onal ¡University ¡of ¡ Singapore ¡ ‡ ¡= ¡IBM ¡Research ¡Australia ¡

ILSVRC2014 ¡object ¡detec1on ¡results: ¡ with ¡addi1onal ¡training ¡data ¡

Team ¡Name ¡ Number ¡of ¡ categories ¡won ¡ Average ¡ precision ¡(%) ¡ GoogLeNet ¡ 142 ¡ 43.9 ¡ CUHK ¡DeepID-­‑Net ¡ 29 ¡ 40.7 ¡ Deep ¡Insight ¡ 27 ¡ 40.5 ¡ UvA-­‑Euvision ¡ 1 ¡ 35.4 ¡ Berkeley ¡Vision ¡ 1 ¡ 34.5 ¡ Trimps-­‑Soushen ¡ 0 ¡ 33.7 ¡ MIL ¡ 0 ¡ 30.4 ¡ ORANGE-­‑BUPT ¡ 0 ¡ 27.7 ¡ MPG_UT ¡ 0 ¡ 26.4 ¡ CUHK ¡DeepID-­‑Net ¡

Wanli ¡Ouyang, ¡Ping ¡Luo, ¡Xingyu ¡ Zeng, ¡Shi ¡Qiu, ¡Yonglong ¡Tian, ¡ Hongsheng ¡Li, ¡Shuo ¡Yang, ¡Zhe ¡ Wang, ¡ ¡ Yuanjun ¡Xiong, ¡Chen ¡Qian, ¡Zhenyao ¡ Zhu, ¡Ruohui ¡Wang, ¡Chen-­‑Change ¡ Loy, ¡Xiaogang ¡Wang, ¡Xiaoou ¡Tang ¡ ¡ Chinese ¡University ¡of ¡Hong ¡Kong ¡

GoogLeNet: ¡

Chris1an ¡Szegedy, ¡Wei ¡Liu, ¡ Yangqing ¡Jia, ¡Pierre ¡Sermanet, ¡ Scoc ¡Reed, ¡Drago ¡Anguelov, ¡ Dumitru ¡Erhan, ¡Andrew ¡ Rabinovich ¡ Google ¡

Are ¡the ¡differences ¡sta1s1cally ¡ significant? ¡

Team ¡Name ¡ Average ¡ precision ¡(%) ¡ 99.9% ¡confidence ¡ interval ¡ GoogLeNet ¡ 43.9 ¡ 42.9 ¡– ¡45.7 ¡ CUHK ¡DeepID-­‑Net ¡ 40.7 ¡ 39.7 ¡-­‑ ¡42.3 ¡ Deep ¡Insight ¡ 40.5 ¡ 39.5 ¡-­‑ ¡42.1 ¡ NUS ¡ 37.2 ¡ 36.3 ¡-­‑ ¡38.8 ¡ UvA-­‑Euvision ¡ 35.4 ¡ 34.6 ¡– ¡36.9 ¡ MSRA ¡visual ¡compu1ng ¡ 35.1 ¡ 34.4 ¡-­‑ ¡36.7 ¡ Berkeley ¡Vision ¡ 34.5 ¡ 33.7 ¡– ¡36.1 ¡

hcp://arxiv.org/abs/1409.0575 ¡

Object ¡detec1on ¡results ¡per-­‑class ¡

• Each ¡dot ¡is ¡an ¡object ¡class ¡

¡

• X-­‑axis: ¡average ¡frac1on ¡of ¡

image ¡area ¡occupied ¡by ¡an ¡ instance ¡of ¡that ¡class ¡on ¡ the ¡valida1on ¡set ¡ ¡

• Y-­‑axis: ¡highest ¡average ¡

precision ¡achieved ¡by ¡any ¡ method ¡in ¡ILSVRC2013 ¡and ¡ ILSVRC2014 ¡ hcp://arxiv.org/abs/1409.0575 ¡

sofa ¡ lion ¡ basketball ¡ volleyball ¡ rubber ¡eraser ¡

Easiest ¡object ¡detec1on ¡categories ¡

(Highest ¡average ¡precision ¡in ¡percent ¡achieved ¡by ¡any ¡method ¡in ¡ILSVRC2013 ¡and ¡ILSVRC2014) ¡ ¡

hcp://arxiv.org/abs/1409.0575 ¡

Hardest ¡object ¡detec1on ¡categories ¡

hcp://arxiv.org/abs/1409.0575 ¡

(Highest ¡average ¡precision ¡in ¡percent ¡achieved ¡by ¡any ¡method ¡in ¡ILSVRC2013 ¡and ¡ILSVRC2014) ¡ ¡

8:45 ¡ ¡Object ¡detec1on ¡ ¡ ¡ ¡ ¡ 11:00 ¡Classifica1on&localiza1on ¡ ¡ ¡ ¡ ¡ 14:00 ¡Awards&Discussion ¡ ¡ ¡ 15:00 ¡Poster ¡and ¡live ¡demo ¡session ¡

Schedule ¡

9:25 ¡ 9:45 ¡ 10:00 ¡ 10:15 ¡Spotlights ¡ 11:45 ¡ 12:00 ¡ 11:15 ¡ 11:30 ¡ 9:10 ¡ 12:15 ¡Spotlights ¡ 14:20 ¡ 14:30 ¡ 14:00 ¡ 14:10 ¡ 14:40 ¡Discussion ¡

Awards ¡ Many ¡thanks ¡to: ¡

ILSVRC2014 ¡sponsors ¡ ILSVRC2014 ¡awards ¡sponsor ¡ Volunteer ¡videographer ¡

Koen ¡ van ¡de ¡Sande ¡