Analysis of Large Scale Visual Recogni4on Fei-Fei Li and - PowerPoint PPT Presentation

Analysis ¡of ¡Large ¡Scale ¡Visual ¡ Recogni4on ¡ Fei-­‑Fei ¡Li ¡and ¡Olga ¡Russakovsky ¡ Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-­‑Fei ¡ Detec4ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ h"p://image-­‑net.org/challenges/LSVRC/2012/analysis ¡

Backpack ¡

Strawberry ¡ Flute ¡ Traffic ¡light ¡ Backpack ¡ Matchs4ck ¡ Bathing ¡cap ¡ Sea ¡lion ¡ Racket ¡

Large-­‑scale ¡recogni>on ¡

Large-­‑scale ¡recogni>on ¡ Need ¡benchmark ¡datasets ¡

PASCAL ¡VOC ¡2005-­‑2012 ¡ 20 ¡object ¡classes ¡ ¡22,591 ¡images ¡ Classifica>on: ¡person, ¡motorcycle ¡ Detec4on ¡ Segmenta4on ¡ Person ¡ Motorcycle ¡ Ac>on: ¡riding ¡bicycle ¡ Everingham, ¡Van ¡Gool, ¡Williams, ¡Winn ¡and ¡Zisserman. ¡ The ¡PASCAL ¡Visual ¡Object ¡Classes ¡(VOC) ¡Challenge. ¡IJCV ¡2010. ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Large ¡Scale ¡Visual ¡ Recogni4on ¡Challenge ¡(ILSVRC) ¡2010-­‑2012 ¡ 20 ¡object ¡classes ¡ ¡22,591 ¡images ¡ 1000 ¡object ¡classes ¡ ¡1,431,167 ¡images ¡ Dalma4an ¡ h"p://image-­‑net.org/challenges/LSVRC/{2010,2011,2012} ¡

Variety ¡of ¡object ¡classes ¡in ¡ILSVRC ¡

Variety ¡of ¡object ¡classes ¡in ¡ILSVRC ¡

ILSVRC ¡Task ¡1: ¡Classifica4on ¡ Steel ¡drum ¡

ILSVRC ¡Task ¡1: ¡Classifica4on ¡ Steel ¡drum ¡ Output: ¡ Output: ¡ Scale ¡ Scale ¡ ✗ ¡ ✔ ¡ T-­‑shirt ¡ T-­‑shirt ¡ Steel ¡drum ¡ Giant ¡panda ¡ Drums4ck ¡ Drums4ck ¡ Mud ¡turtle ¡ Mud ¡turtle ¡

ILSVRC ¡Task ¡1: ¡Classifica4on ¡ Steel ¡drum ¡ Output: ¡ Output: ¡ Scale ¡ Scale ¡ ✗ ¡ ✔ ¡ T-­‑shirt ¡ T-­‑shirt ¡ Steel ¡drum ¡ Giant ¡panda ¡ Drums4ck ¡ Drums4ck ¡ Mud ¡turtle ¡ Mud ¡turtle ¡ Σ ¡ 1 ¡ Accuracy ¡= ¡ ¡ ¡ 1[correct ¡on ¡image ¡i] ¡ 100,000 ¡ 100,000 ¡ images ¡

ILSVRC ¡Task ¡1: ¡Classifica4on ¡ 2010 ¡ 0.72 ¡ # ¡Submissions ¡ 2011 ¡ 0.74 ¡ 2012 ¡ 0.85 ¡ Accuracy ¡(5 ¡predic4ons/image) ¡

ILSVRC ¡Task ¡2: ¡Classifica4on ¡+ ¡Localiza4on ¡ Steel ¡drum ¡

ILSVRC ¡Task ¡2: ¡Classifica4on ¡+ ¡Localiza4on ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡

ILSVRC ¡Task ¡2: ¡Classifica4on ¡+ ¡Localiza4on ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡ Output ¡(bad ¡localiza4on) ¡ Output ¡(bad ¡classifica4on) ¡ Persian ¡ Persian ¡ Loud ¡ Loud ¡ cat ¡ cat ¡ speaker ¡ speaker ¡ King ¡ Steel ¡ ✗ ¡ ✗ ¡ penguin ¡ drum ¡ Folding ¡ Folding ¡ Picket ¡ Picket ¡ chair ¡ chair ¡ fence ¡ fence ¡

ILSVRC ¡Task ¡2: ¡Classifica4on ¡+ ¡Localiza4on ¡ Steel ¡drum ¡ Output ¡ Persian ¡ Loud ¡ cat ¡ speaker ¡ Steel ¡ ✔ ¡ drum ¡ Folding ¡ Picket ¡ chair ¡ fence ¡ Accuracy ¡= ¡ ¡ ¡ Σ ¡ 1 ¡ 1[correct ¡on ¡image ¡i] ¡ 100,000 ¡ 100,000 ¡ images ¡

ILSVRC ¡Task ¡2: ¡Classifica4on ¡+ ¡Localiza4on ¡ (5 ¡predic4ons) ¡ Accuracy ¡ ¡ ¡

What ¡happens ¡under ¡the ¡hood? ¡

What ¡happens ¡under ¡the ¡hood ¡ on ¡classifica4on+localiza4on? ¡

What ¡happens ¡under ¡the ¡hood ¡ on ¡classifica4on+localiza4on? ¡ Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-­‑Fei ¡ Detec4ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡hfp://image-­‑net.org/challenges/LSVRC/2012/analysis ¡

Preliminaries: ¡ ILSVRC-­‑500 ¡(2012) ¡dataset ¡ • Leading ¡algorithms ¡ • What ¡happens ¡under ¡the ¡hood ¡ on ¡classifica4on+localiza4on? ¡ Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-­‑Fei ¡ Detec4ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡hfp://image-­‑net.org/challenges/LSVRC/2012/analysis ¡

Preliminaries: ¡ ILSVRC-­‑500 ¡(2012) ¡dataset ¡ • Leading ¡algorithms ¡ • What ¡happens ¡under ¡the ¡hood ¡ on ¡classifica4on+localiza4on? ¡ • A ¡closer ¡look ¡at ¡small ¡objects ¡ • A ¡closer ¡look ¡at ¡textured ¡objects ¡ Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-­‑Fei ¡ Detec4ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡hfp://image-­‑net.org/challenges/LSVRC/2012/analysis ¡

Preliminaries: ¡ ILSVRC-­‑500 ¡(2012) ¡dataset ¡ • Leading ¡algorithms ¡ • What ¡happens ¡under ¡the ¡hood ¡ on ¡classifica4on+localiza4on? ¡ • A ¡closer ¡look ¡at ¡small ¡objects ¡ • A ¡closer ¡look ¡at ¡textured ¡objects ¡ Olga ¡Russakovsky, ¡Jia ¡Deng, ¡Zhiheng ¡Huang, ¡Alex ¡Berg, ¡Li ¡Fei-­‑Fei ¡ Detec4ng ¡avocados ¡to ¡zucchinis: ¡what ¡have ¡we ¡done, ¡and ¡where ¡are ¡we ¡going? ¡ ICCV ¡2013 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡hfp://image-­‑net.org/challenges/LSVRC/2012/analysis ¡

ILSVRC ¡(2012) ¡ 1000 ¡object ¡classes ¡ Hard ¡to ¡localize ¡ Easy ¡to ¡localize ¡

ILSVRC-­‑500 ¡(2012) ¡ 500 ¡classes ¡with ¡smallest ¡objects ¡ Hard ¡to ¡localize ¡ Easy ¡to ¡localize ¡

ILSVRC-­‑500 ¡(2012) ¡ 500 ¡classes ¡with ¡smallest ¡objects ¡ Hard ¡to ¡localize ¡ Easy ¡to ¡localize ¡ Object ¡scale ¡(frac4on ¡of ¡image ¡area ¡occupied ¡by ¡target ¡object) ¡ ILSVRC-­‑500 ¡(2012) ¡ 500 ¡object ¡categories ¡ 25.3% ¡ ¡ PASCAL ¡VOC ¡(2012) ¡ 20 ¡object ¡categories ¡ 25.2% ¡

Chance ¡Performance ¡of ¡Localiza4on ¡ Steel ¡drum ¡ B 1 ¡ B 8 ¡ B 9 ¡ B 2 ¡ B 6 ¡ B 5 ¡ B 4 ¡ B 7 ¡ B 3 ¡ N ¡= ¡9 ¡here ¡

Chance ¡Performance ¡of ¡Localiza4on ¡ Steel ¡drum ¡ B 1 ¡ B 8 ¡ B 9 ¡ B 2 ¡ B 6 ¡ B 5 ¡ B 4 ¡ B 7 ¡ B 3 ¡ N ¡= ¡9 ¡here ¡

Chance ¡Performance ¡of ¡Localiza4on ¡ Steel ¡drum ¡ B 1 ¡ B 8 ¡ B 9 ¡ B 2 ¡ B 6 ¡ B 5 ¡ B 4 ¡ B 7 ¡ B 3 ¡ N ¡= ¡9 ¡here ¡ ILSVRC-­‑500 ¡(2012) ¡ 500 ¡object ¡categories ¡ 8.4% ¡ PASCAL ¡VOC ¡(2012) ¡ 20 ¡object ¡categories ¡ 8.8% ¡

Level ¡of ¡clufer ¡ Steel ¡drum ¡ - Generate candidate object regions using method of � � Selective Search for Object Detection � � vanDeSande et al. ICCV 2011 � - Filter out regions inside object � - Count regions �

Level ¡of ¡clufer ¡ Steel ¡drum ¡ - Generate candidate object regions using method of � � Selective Search for Object Detection � � vanDeSande et al. ICCV 2011 � - Filter out regions inside object � - Count regions � ILSVRC-­‑500 ¡(2012) ¡ 500 ¡object ¡categories ¡ 128 ¡± ¡35 ¡ PASCAL ¡VOC ¡(2012) ¡ 20 ¡object ¡categories ¡ 130 ¡± ¡29 ¡