Backpack Strawberry Flute Traffic light Backpack - PowerPoint PPT Presentation

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Large ¡Scale ¡Visual ¡ Recogni1on ¡Challenge ¡(ILSVRC) ¡ Jia ¡Deng ¡ ¡ Hao ¡Su ¡ Sanjeev ¡Satheesh ¡ Sean ¡Ma ¡ Jonathan ¡Krause ¡ Olga ¡Russakovsky ¡ (U. ¡of ¡Michigan) ¡ ¡(Stanford ¡U.) ¡ (Stanford ¡U.) ¡ ¡(Stanford ¡U.) ¡ (Stanford ¡U.) ¡ (Stanford ¡U.) ¡ Aditya ¡Khosla ¡ Fei-­‑Fei ¡Li ¡ Alexander ¡Berg ¡ Andrej ¡Karpathy ¡ Michael ¡Bernstein ¡ Zhiheng ¡Huang ¡ (MIT) ¡ (Stanford ¡U.) ¡ (UNC ¡Chapel ¡Hill) ¡ (Stanford ¡U.) ¡ (Stanford ¡U.) ¡ (Stanford ¡U.) ¡ h7p://image-­‑net.org/challenges/LSVRC/ ¡

Backpack ¡

Strawberry ¡ Flute ¡ Traffic ¡light ¡ Backpack ¡ Matchs1ck ¡ Bathing ¡cap ¡ Sea ¡lion ¡ Racket ¡

Large-­‑scale ¡recogni.on ¡

Large-­‑scale ¡recogni.on ¡ Need ¡benchmark ¡datasets ¡

PASCAL ¡VOC ¡2005-­‑2012 ¡ 20 ¡object ¡classes ¡ ¡22,591 ¡images ¡ Classifica.on: ¡person, ¡motorcycle ¡ Detec1on ¡ Segmenta1on ¡ Person ¡ Motorcycle ¡ Ac.on: ¡riding ¡bicycle ¡ Everingham, ¡Van ¡Gool, ¡Williams, ¡Winn ¡and ¡Zisserman. ¡ The ¡PASCAL ¡Visual ¡Object ¡Classes ¡(VOC) ¡Challenge. ¡IJCV ¡2010. ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Large ¡Scale ¡Visual ¡ Recogni1on ¡Challenge ¡(ILSVRC) ¡2010-­‑2014 ¡ 20 ¡object ¡classes ¡ ¡22,591 ¡images ¡ ¡ ¡200 ¡object ¡classes ¡ ¡ ¡ ¡ ¡517,840 ¡ ¡images ¡ ¡DET ¡ ¡ ¡1000 ¡object ¡classes ¡ ¡1,431,167 ¡images ¡ ¡CLS-­‑LOC ¡ ¡ ¡ Person ¡ Person ¡ Person ¡ Person ¡ Dog ¡ h7p://image-­‑net.org/challenges/LSVRC/ ¡

Variety ¡of ¡object ¡classes ¡in ¡ILSVRC ¡ Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-­‑Fei ¡ Detec1ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h7p://image-­‑net.org/challenges/LSVRC/2012/analysis ¡

Variety ¡of ¡object ¡classes ¡in ¡ILSVRC ¡ ILSVRC ¡classifica1on ¡and ¡localiza1on ¡ ILSVRC ¡detec1on ¡

Challenge ¡procedure ¡every ¡year ¡ 1. Training ¡and ¡valida1on ¡data ¡released: ¡images ¡and ¡ annota1ons ¡ 2. Test ¡data ¡released: ¡images ¡only ¡(annota1ons ¡hidden) ¡ 3. Par1cipants ¡train ¡their ¡models ¡on ¡train ¡& ¡valida1on ¡data ¡ 4. Submit ¡text ¡file ¡with ¡predic1ons ¡on ¡test ¡images ¡ 5. We ¡evaluate ¡and ¡release ¡results, ¡and ¡run ¡a ¡workshop ¡ h7p://image-­‑net.org/challenges/LSVRC/2014/eccv2014 ¡

Par1cipa1on ¡in ¡ILSVRC ¡over ¡the ¡years ¡ 120 ¡ Number ¡of ¡entries ¡ 100 ¡ 80 ¡ ILSVRC ¡2012 ¡ 60 ¡ ILSVRC ¡2013: ¡ 40 ¡ ILSVRC ¡2011 ¡ 81 ¡entries ¡ 20 ¡ ILSVRC ¡2010 ¡ 0 ¡ 3 ¡years: ¡ Last ¡year: ¡ 2010-­‑2012 ¡ 2013 ¡ Year ¡

Par1cipa1on ¡in ¡ILSVRC ¡over ¡the ¡years ¡ 120 ¡ Number ¡of ¡entries ¡ 100 ¡ 80 ¡ ILSVRC ¡2014: ¡ ILSVRC ¡2012 ¡ 60 ¡ 123 ¡entries ¡ ILSVRC ¡2013: ¡ 40 ¡ ILSVRC ¡2011 ¡ 81 ¡entries ¡ 20 ¡ ILSVRC ¡2010 ¡ 0 ¡ 3 ¡years: ¡ Last ¡year: ¡ This ¡year: ¡ 2010-­‑2012 ¡ 2013 ¡ 2014 ¡ Year ¡

Experiment ¡this ¡year: ¡ open ¡vs ¡closed ¡submissions ¡ • Offered ¡all ¡teams ¡an ¡op1on: ¡ – Open ¡= ¡promise ¡to ¡reveal ¡their ¡method ¡ – Closed ¡= ¡par1cipate ¡without ¡revealing ¡the ¡method ¡ • Almost ¡all ¡teams ¡chose ¡to ¡be ¡“open” ¡(31/36) ¡ – And ¡2 ¡of ¡the ¡“closed” ¡teams ¡s1ll ¡presented ¡spotlights ¡and ¡ posters ¡at ¡the ¡workshop ¡ ¡

ILSVRC ¡in ¡detail: ¡ history ¡and ¡current ¡state-­‑of-­‑the-­‑art ¡ ImageNet ¡Large ¡Scale ¡Visual ¡Recogni.on ¡Challenge ¡ Olga ¡Russakovsky*, ¡Jia ¡Deng*, ¡Hao ¡Su, ¡Jonathan ¡Krause, ¡Sanjeev ¡ Satheesh, ¡Sean ¡Ma, ¡Zhiheng ¡Huang, ¡Andrej ¡Karpathy, ¡Aditya ¡Khosla, ¡ Michael ¡Bernstein, ¡Alexander ¡Berg, ¡Li ¡Fei-­‑Fei ¡ ¡ h7p://arxiv.org/abs/1409.0575 ¡ ¡ ¡ • Describes ¡the ¡construc1on ¡of ¡the ¡ILSVRC ¡datasets ¡ • Highlights ¡the ¡most ¡successful ¡algorithms ¡ • Provides ¡sta1s1cal ¡analysis ¡of ¡the ¡results ¡ through ¡ILSVRC2014 ¡ • Compares ¡computer ¡vision ¡accuracy ¡with ¡human-­‑level ¡accuracy ¡

Some ¡ques1ons ¡for ¡today ¡ 1. ¡Are ¡computers ¡good ¡at ¡large-­‑scale ¡recogni1on? ¡ ¡ 2. ¡Are ¡all ¡objects ¡equally ¡easy ¡for ¡computers? ¡ ¡ 3. ¡Are ¡we ¡be7er ¡than ¡computers ¡at ¡recogni1on? ¡

Some ¡ques1ons ¡for ¡today ¡ 1. ¡Are ¡computers ¡good ¡at ¡large-­‑scale ¡recogni.on? ¡ ¡ 2. ¡Are ¡all ¡objects ¡equally ¡easy ¡for ¡computers? ¡ ¡ 3. ¡Are ¡we ¡be7er ¡than ¡computers ¡at ¡recogni1on? ¡

ILSVRC ¡image ¡classifica1on ¡task ¡ Steel ¡drum ¡

ILSVRC ¡image ¡classifica1on ¡task ¡ Steel ¡drum ¡ Output: ¡ Output: ¡ Scale ¡ Scale ¡ ✗ ¡ ✔ ¡ T-­‑shirt ¡ T-­‑shirt ¡ Steel ¡drum ¡ Giant ¡panda ¡ Drums1ck ¡ Drums1ck ¡ Mud ¡turtle ¡ Mud ¡turtle ¡

ILSVRC ¡image ¡classifica1on ¡task ¡ Steel ¡drum ¡ Output: ¡ Output: ¡ Scale ¡ Scale ¡ ✗ ¡ ✔ ¡ T-­‑shirt ¡ T-­‑shirt ¡ Steel ¡drum ¡ Giant ¡panda ¡ Drums1ck ¡ Drums1ck ¡ Mud ¡turtle ¡ Mud ¡turtle ¡ Σ ¡ 1 ¡ Error ¡= ¡ ¡ ¡ 1[incorrect ¡on ¡image ¡i] ¡ 100,000 ¡ 100,000 ¡ images ¡

ILSVRC2014 ¡classifica1on ¡results ¡ Team ¡Name ¡ Error ¡(%) ¡ GoogLeNet ¡ 6.7 ¡ GoogLeNet: ¡ VGG ¡ 7.3 ¡ Chris1an ¡Szegedy, ¡Wei ¡Liu, ¡Yangqing ¡ MSRA ¡Visual ¡compu1ng ¡ 8.1 ¡ Jia, ¡Pierre ¡Sermanet, ¡Sco7 ¡Reed, ¡ Drago ¡Anguelov, ¡Dumitru ¡Erhan, ¡ Andrew ¡Howard ¡ ¡ 8.1 ¡ Andrew ¡Rabinovich ¡ DeeperVision ¡ 9.5 ¡ Google ¡ NUS-­‑BST ¡ 9.8 ¡ TTIC_ECP ¡– ¡Epitomic ¡Vision ¡ 10.2 ¡ VGG: ¡ XYZ ¡ 11.2 ¡ Karen ¡Simonyan, ¡ Andrew ¡Zisserman ¡ Adobe-­‑UIUC, ¡BDC-­‑I2R-­‑UPMC, ¡BREIL_KAIST, ¡Brno ¡ University, ¡CASIA_CRIPAC_Weak_Supervision, ¡Cldi-­‑ University ¡of ¡Oxford ¡ KAIST, ¡DeepCNet, ¡Fengjun ¡Lv, ¡libccv, ¡MIL, ¡Orange-­‑BUPT, ¡ PassBy, ¡SCUT_GLH, ¡SYSU_Vision, ¡Trimps-­‑Soushen, ¡UI, ¡ UvA-­‑Euvision ¡ h7p://image-­‑net.org/challenges/LSVRC/2014/eccv2014 ¡

ILSVRC ¡over ¡the ¡years ¡ 0.28 ¡ 1.7x ¡reduc1on ¡in ¡ 0.26 ¡ classifica1on ¡error ¡ ¡ since ¡last ¡year ¡ 0.16 ¡ ¡ 0.12 ¡ 4.2x ¡reduc1on ¡in ¡ 0.07 ¡ classifica1on ¡error ¡ since ¡2010 ¡ ¡ ¡ ¡ ¡ h7p://arxiv.org/abs/1409.0575 ¡ ¡ ¡

What ¡changed ¡in ¡ILSVRC ¡classifica1on? ¡ Year ¡2010 ¡ Year ¡2012 ¡ Year ¡2014 ¡ SuperVision ¡ NEC-­‑UIUC ¡ GoogLeNet ¡ VGG ¡ MSRA ¡ Dense ¡grid ¡descriptor: ¡ HOG, ¡LBP ¡ Coding: ¡local ¡coordinate, ¡ super-­‑vector ¡ Pooling, ¡SPM ¡ Linear ¡SVM ¡ Convolu1on ¡ Pooling ¡ Sovmax ¡ Other ¡ [Szegedy ¡arxiv ¡2014] ¡ [Simonyan ¡arxiv ¡2014] ¡ [He ¡arxiv ¡2014] ¡ [Lin ¡CVPR ¡2011] ¡ [Krizhevsky ¡NIPS ¡2012] ¡

What ¡changed ¡in ¡ILSVRC2014 ¡classifica9on? ¡ 1. ¡Networks ¡became ¡deeper ¡ Incep1on ¡module ¡ ¡ [Going ¡deeper ¡with ¡convolu1ons. ¡Szegedy ¡et ¡al. ¡2014] ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ More ¡layers ¡but ¡with ¡smaller ¡kernels ¡(3x3 ¡convolu1on, ¡2x2 ¡pooling) ¡ ¡[ Very ¡Deep ¡Convolu1onal ¡Networks. ¡Simonyan ¡and ¡Zisserman. ¡2014] ¡ ¡ h7p://image-­‑net.org/challenges/LSVRC/2014/eccv2014 ¡ ¡