Large-Scale Visual Recogni2on Jia Deng CS231B 5/21/2013 - PowerPoint PPT Presentation

Large-­‑Scale ¡Visual ¡Recogni2on ¡ Jia ¡Deng ¡ CS231B ¡ 5/21/2013 ¡

¡ California ¡Roll ¡ Ingredients : ¡Rice, ¡Seaweed, ¡ Crab, ¡Cucumber, ¡Avocado ¡ Calories : ¡40 ¡ Fat : ¡7g ¡ Carb : ¡40g ¡ Protein : ¡5g ¡ Gluten ¡Free ¡ ¡

Amanita ¡phalloides ¡ ¡ hHp://en.wikipedia.org/ wiki/Amanita_phalloides ¡ ¡ TOXIC. ¡DO ¡NOT ¡EAT ¡ ¡

Mountain ¡Lion ¡ DO ¡NOT ¡RUN ¡ Raise ¡arms ¡to ¡appear ¡larger. ¡ ¡ Show ¡your ¡teeth ¡

¡ IKEA ¡POANG ¡Chair ¡ ON ¡SALE ¡ $29.00 ¡ at ¡ikea.com ¡ ¡

Mornonga ¡ ¡ (Japanese ¡flying ¡squirrel) ¡ ¡ Inhabits ¡sub-­‑alpine ¡forests ¡in ¡Japan. ¡ Nocturnal. ¡Eats ¡seeds, ¡fruit, ¡tree ¡leaves ¡ (Wikipedia) ¡

I ¡wish ¡my ¡computer ¡to ¡recognize ¡EVERYTHING ¡

Assis2ve ¡tools ¡ Robo2cs ¡ Surveillance ¡ RecogniPon ¡ Engine ¡ Driverless ¡cars ¡ Wearable ¡devices ¡ Mining ¡social ¡media ¡ Smart ¡photo ¡album ¡ Image ¡search ¡

What ¡can ¡computers ¡already ¡recognize? ¡

What’s ¡the ¡next ¡to ¡work ¡on? ¡ Coffee ¡Mugs! ¡

PASCAL ¡VOC ¡ [Everingham ¡et ¡al. ¡2006-­‑2012] ¡ Airplane ¡ Dining ¡table ¡ Bird ¡ Dog ¡ Boat ¡ Horse ¡ No ¡Coffee ¡Mugs! ¡ Bike ¡ Motorbike ¡ BoZle ¡ Person ¡ Bus ¡ PoZed ¡plant ¡ Car ¡ Sheep ¡ Cat ¡ Sofa ¡ Chair ¡ Train ¡ Cow ¡ TV ¡monitor ¡ ¡ ¡

The ¡rest ¡of ¡the ¡talk ¡will ¡be ¡about ¡ Coffee ¡Mugs! ¡

What ¡about ¡ Gas ¡Pumps! ¡

The ¡rest ¡of ¡the ¡talk ¡will ¡be ¡about ¡ Coffee ¡Mugs ¡ And ¡ Gas ¡Pumps ¡ And ¡ Solar ¡arrays ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Radio ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡First ¡aid ¡kit ¡ What ¡do ¡they ¡have ¡in ¡common? ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Spacesuit ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Oxygen ¡Cylinder ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

Let’s ¡work ¡on ¡recognizing ¡EVERYTHING ¡

How ¡many ¡things ¡are ¡there? ¡ WordNet 80K + ¡ ¡ 60K+ ¡ ¡ 3.5M+ ¡ 4.1M+ ¡ ¡ ¡10K+ ¡ ¡ ar2cles ¡ product ¡ ¡ unique ¡tags ¡ ¡ English ¡nouns ¡ ¡ [Biederman ¡’87] ¡ categories ¡ Zwol ¡’08] ¡ [Sigurbjörnsson ¡& ¡ [Miller ¡’ 95; ¡Fellbaum ¡ ’98] ¡

From ¡20 ¡classes ¡to ¡Millions? ¡ PASCAL ¡VOC ¡ [Everingham ¡et ¡al. ¡2006-­‑2012] ¡

Big ¡Data ¡from ¡the ¡Internet ¡ ¡

Global ¡Consumer ¡Internet ¡Traffic ¡Per ¡Month ¡ 83 ¡EB ¡ 63 ¡EB ¡ 48 ¡EB ¡ 38 ¡EB ¡ 30 ¡EB ¡ 21 ¡EB ¡ 2011 ¡ 2012 ¡ 2013 ¡ 2014 ¡ 2015 ¡ 2016 ¡ Source: ¡Cisco ¡ ¡

83 ¡EB ¡ 72 ¡ hours ¡of ¡videos ¡/ ¡min ¡ Visual ¡ 86% ¡ 300 ¡ million ¡images ¡/ ¡day ¡ 2016 ¡ Source: ¡Cisco ¡ ¡

Big ¡Data ¡from ¡the ¡Internet ¡ ¡ à ¡The ¡Internet ¡can ¡teach ¡EVERYTHING ¡ à

hHp://www.worth1000.com/contests/12705/contest ¡

What ¡kind ¡of ¡credit ¡card ¡is ¡President ¡Obama ¡ ¡ using ¡in ¡this ¡video ¡of ¡him ¡donaPng ¡to ¡his ¡campaign? ¡

The ¡Internet: ¡Machines ¡+ ¡Crowd ¡ Big ¡Data ¡ Teach ¡machines ¡to ¡recognize ¡EVERYTHING ¡

PASCAL ¡VOC ¡ 20 ¡ ¡ ¡10K+ ¡ ¡ [Everingham ¡et ¡al.’06-­‑’12] ¡ [Biederman ¡’87] ¡ Goal: ¡Build ¡a ¡recogniPon ¡engine ¡on ¡EVERYTHING ¡ 10K ¡classes ¡ ¡

www.image-­‑net.org ¡ [Deng ¡et ¡al. ¡2009] ¡ 22K ¡categories ¡and ¡ 14M ¡ images ¡ • Animals ¡ • Plants ¡ • Structures ¡ • Person ¡ • Bird ¡ • Tree ¡ • Ar2fact ¡ • Scenes ¡ • Fish ¡ • Flower ¡ • Tools ¡ • Indoor ¡ • Mammal ¡ • Food ¡ • Appliances ¡ • Geological ¡Forma2ons ¡ • Invertebrate ¡ • Materials ¡ • Structures ¡ • Sport ¡Ac2vi2es ¡ ¡ ¡

Learn ¡to ¡Classify ¡10K ¡Classes ¡ • 9 ¡Million ¡images ¡ • 4 ¡methods ¡ – SPM+SVM ¡ [Lazebnik ¡et ¡al. ¡’06] ¡ – BOW+SVM ¡ [Csurka ¡et ¡al. ¡’04] ¡ – BOW+NN ¡ – GIST+NN ¡ [Oliva ¡et ¡al. ¡’01] ¡ ¡ ¡ • 6.4% ¡for ¡10K ¡categories ¡ ¡ Deng, ¡Berg, ¡Li, ¡& ¡Fei-­‑Fei, ¡ ECCV2010 ¡

Learn ¡to ¡Classify ¡10K ¡Classes ¡ Deng, ¡Berg, ¡Li, ¡& ¡Fei-­‑Fei, ¡ ECCV2010 ¡

Fine-­‑grained ¡categories ¡are ¡a ¡lot ¡harder ¡ En2ty ¡ En2ty ¡ Ar2fact ¡ Ar2fact ¡ Vehicle ¡ Vehicle ¡ Average ¡Seman2c ¡Distance ¡ Coarser ¡ Finer ¡ Deng, ¡Berg, ¡Li, ¡& ¡Fei-­‑Fei, ¡ ECCV2010 ¡

Ch Chal allen enges es Semantic hierarchy Fine-grained classes Large-scale Learning

En2ty ¡ Animal ¡ Certainty ¡ Dog ¡ Portuguese ¡water ¡dog ¡ Bo, ¡the ¡first ¡dog ¡

En2ty ¡ Animal ¡ Let’s ¡describe ¡at ¡this ¡level ¡ Dog ¡ But ¡it ¡wastes ¡capacity ¡ Portuguese ¡water ¡dog ¡ Bo, ¡the ¡first ¡dog ¡

Hedging: ¡Be ¡as ¡informaPve ¡as ¡possible ¡with ¡few ¡mistakes ¡ En2ty ¡ Mammal ¡ ….. ¡ Kangaroo ¡ ü ¡ ….. ¡ Zebra ¡ Kangaroo ¡ En2ty ¡ Mammal ¡ ü ¡ Mammal ¡ ….. ¡ ….. ¡ Zebra ¡ Kangaroo ¡ Deng, ¡Krause, ¡Berg, ¡Fei-­‑Fei, ¡CVPR2012 ¡

Formal ¡Problem ¡Statement ¡ ¡ en2ty ¡ mammal ¡ vehicle ¡ zebra ¡ car ¡ kangaroo ¡ boat ¡ Deng, ¡Krause, ¡Berg, ¡Fei-­‑Fei, ¡CVPR2012 ¡

Formal ¡Problem ¡Statement ¡ ¡ en2ty ¡ All ¡Correct ¡ ¡ mammal ¡ vehicle ¡ zebra ¡ car ¡ kangaroo ¡ boat ¡ Deng, ¡Krause, ¡Berg, ¡Fei-­‑Fei, ¡CVPR2012 ¡

Formal ¡Problem ¡Statement ¡ ¡ en2ty ¡ $0 ¡ All ¡Correct ¡ ¡ mammal ¡ vehicle ¡ $1 ¡ $2 ¡ zebra ¡ car ¡ kangaroo ¡ boat ¡ Deng, ¡Krause, ¡Berg, ¡Fei-­‑Fei, ¡CVPR2012 ¡

Formal ¡Problem ¡Statement ¡ ¡ AssumpPons ¡ • Same ¡distribu2on ¡for ¡training ¡and ¡test. ¡ • A ¡base ¡classifier ¡ g ¡that ¡gives ¡posterior ¡probability ¡on ¡the ¡hierarchy. ¡ Goal ¡ • Find ¡a ¡ decision ¡rule ¡f ¡ ¡ Maximize R ( f ) f • Expected ¡accuracy ¡ A(f) ¡ is ¡at ¡least ¡ 1-­‑ε ¡ Subject to A ( f ) ! 1 " ! • Maximize ¡expected ¡reward ¡ R(f) ¡ f ¡ g ¡ posterior ¡for ¡all ¡nodes ¡ Test ¡image ¡ Deng, ¡Krause, ¡Berg, ¡Fei-­‑Fei, ¡CVPR2012 ¡

¡ [Vailaya ¡et ¡al. ¡’99] ¡ Pick ¡a ¡global ¡confidence ¡threshold ¡T=0.9 ¡ 1.0 ¡ $0 ¡ 1.0 ¡ $0 ¡ Another ¡100 ¡images ¡ 0.90 ¡ $1 ¡ 100 ¡images ¡ 0.90 ¡ $1 ¡ 0.80 ¡ ¡ 0.6 ¡ ¡ $2 ¡ $10 ¡ Reward ¡= ¡ ¡($1 ¡* ¡0.90 ¡+ ¡$1 ¡* ¡0.90) ¡/ ¡2 ¡ ¡= ¡$0.90 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Accuracy ¡= ¡(0.90 ¡+ ¡0.90 ¡) ¡/ ¡2 ¡ ¡ ¡= ¡0.90 ¡ ¡ Deng, ¡Krause, ¡Berg, ¡Fei-­‑Fei, ¡CVPR2012 ¡

¡ [Vailaya ¡et ¡al. ¡’99] ¡ Pick ¡a ¡global ¡confidence ¡threshold ¡T=0.9 ¡ 1.0 ¡ $0 ¡ 1.0 ¡ $0 ¡ Another ¡100 ¡images ¡ 0.90 ¡ $1 ¡ 100 ¡images ¡ 0.90 ¡ $1 ¡ 0.80 ¡ ¡ 0.6 ¡ ¡ $2 ¡ $10 ¡ Reward ¡= ¡ ¡($1 ¡* ¡0.90 ¡+ ¡$1 ¡* ¡0.90) ¡/ ¡2 ¡ ¡= ¡$0.90 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Accuracy ¡= ¡(0.90 ¡+ ¡0.90 ¡) ¡/ ¡2 ¡ ¡ ¡= ¡0.90 ¡ ¡ 1.0 ¡ $0 ¡ 1.0 ¡ $0 ¡ T=0.95 ¡ Another ¡100 ¡images ¡ 0.90 ¡ $1 ¡ 100 ¡images ¡ 0.90 ¡ $1 ¡ T=0.80 ¡ 0.80 ¡ ¡ 0.6 ¡ ¡ $10 ¡ $2 ¡ Reward ¡= ¡ ¡($0 ¡* ¡1.0 ¡+ ¡$10 ¡* ¡0.80) ¡/ ¡2 ¡ ¡= ¡$4 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Accuracy ¡= ¡(1.0 ¡+ ¡0.80 ¡) ¡/ ¡2 ¡ ¡ ¡= ¡0.90 ¡ ¡ Deng, ¡Krause, ¡Berg, ¡Fei-­‑Fei, ¡CVPR2012 ¡