Lecture 2: Object Detec.on Professor Fei-Fei Li - - PowerPoint PPT Presentation

Lecture 2 -

• Fei-Fei Li

Lecture ¡2: ¡ ¡ Object ¡Detec.on ¡

Professor ¡Fei-­‑Fei ¡Li ¡ Stanford ¡Vision ¡Lab ¡

8-­‑Apr-­‑13 ¡ 1 ¡

Lecture 2 -

• Fei-Fei Li

What ¡we ¡will ¡learn ¡today? ¡

• Visual ¡recogni.on ¡overview ¡

– Representa.on ¡ – Learning ¡ – Recogni.on ¡

• Implicit ¡Shape ¡Model ¡

– Representa.on ¡ – Recogni.on ¡ – Experiments ¡and ¡results ¡

¡

8-­‑Apr-­‑13 ¡ 2 ¡

Lecture 2 -

• Fei-Fei Li

What ¡are ¡the ¡different ¡visual ¡recogni.on ¡tasks? ¡

8-­‑Apr-­‑13 ¡ 3 ¡

Lecture 2 -

• Fei-Fei Li

Categoriza*on ¡vs ¡Single ¡instance ¡ recogni*on ¡

Does ¡this ¡image ¡contain ¡the ¡Chicago ¡Macy ¡building’s? ¡

8-­‑Apr-­‑13 ¡ 4 ¡

Lecture 2 -

• Fei-Fei Li

Where ¡is ¡the ¡crunchy ¡nut? ¡

Categoriza*on ¡vs ¡Single ¡instance ¡ recogni*on ¡

8-­‑Apr-­‑13 ¡ 5 ¡

Lecture 2 -

• Fei-Fei Li

+ ¡GPS ¡

• Recognizing ¡landmarks ¡in ¡

mobile ¡plaWorms ¡

Applica.ons ¡of ¡computer ¡vision ¡

8-­‑Apr-­‑13 ¡ 6 ¡

Lecture 2 -

• Fei-Fei Li

Classifica*on: ¡ ¡

Does ¡this ¡image ¡contain ¡a ¡building? ¡[yes/no] ¡

Yes! ¡

8-­‑Apr-­‑13 ¡ 7 ¡

Lecture 2 -

• Fei-Fei Li

Classifica*on: ¡

Is ¡this ¡a ¡beach? ¡

8-­‑Apr-­‑13 ¡ 8 ¡

Lecture 2 -

• Fei-Fei Li

Image ¡Search ¡

Organizing ¡photo ¡collec.ons ¡

8-­‑Apr-­‑13 ¡ 9 ¡

Lecture 2 -

• Fei-Fei Li

Detec*on: ¡ ¡

Does ¡this ¡image ¡contain ¡a ¡car? ¡[where?] ¡

car ¡ 8-­‑Apr-­‑13 ¡ 10 ¡

Lecture 2 -

• Fei-Fei Li

Building ¡ clock ¡ person ¡ car ¡

Detec*on: ¡ ¡

Which ¡object ¡does ¡this ¡image ¡contain? ¡[where?] ¡

8-­‑Apr-­‑13 ¡ 11 ¡

Lecture 2 -

• Fei-Fei Li

clock ¡

Detec*on: ¡ ¡

Accurate ¡localiza.on ¡(segmenta.on) ¡

8-­‑Apr-­‑13 ¡ 12 ¡

Lecture 2 -

• Fei-Fei Li

Object: ¡Person, ¡back; ¡

1-­‑2 ¡meters ¡away ¡

Object: ¡Police ¡car, ¡side ¡view, ¡4-­‑5 ¡m ¡away ¡ Object: ¡Building, ¡45º ¡pose, ¡ ¡

8-­‑10 ¡meters ¡away ¡ It ¡has ¡bricks ¡

Detec*on: ¡Es.ma.ng ¡object ¡seman.c ¡& ¡ geometric ¡abributes ¡

8-­‑Apr-­‑13 ¡ 13 ¡

Lecture 2 -

• Fei-Fei Li

Applica.ons ¡of ¡computer ¡vision ¡

Surveillance ¡

Assis.ve ¡technologies ¡

¡ ¡ ¡ Security ¡ Assis.ve ¡driving ¡

Computa.onal ¡photography ¡ 8-­‑Apr-­‑13 ¡ 14 ¡

Lecture 2 -

• Fei-Fei Li
• ­‑ ¡Detec.ng ¡faces ¡
• ­‑ ¡Computa.onal ¡photography ¡

¡

Applica.ons ¡of ¡computer ¡vision ¡

8-­‑Apr-­‑13 ¡ 15 ¡

Lecture 2 -

• Fei-Fei Li

Object: ¡car ¡ Object: ¡door; ¡almost ¡frontal ¡view ¡

• ¡Robo.cs ¡
• Naviga.on ¡
• ¡Interac.on ¡
• Manipula.on ¡

8-­‑Apr-­‑13 ¡ 16 ¡

Lecture 2 -

• Fei-Fei Li

Ac*vity ¡or ¡Event ¡recogni*on ¡

What ¡are ¡these ¡people ¡doing? ¡

8-­‑Apr-­‑13 ¡ 17 ¡

Lecture 2 -

• Fei-Fei Li

Visual ¡Recogni.on ¡

• Design ¡algorithms ¡that ¡are ¡capable ¡to ¡

– Classify ¡images ¡or ¡videos ¡ – Detect ¡and ¡localize ¡objects ¡ – Es.mate ¡seman.c ¡and ¡geometrical ¡ abributes ¡ – ¡Classify ¡human ¡ac.vi.es ¡and ¡events ¡

Why ¡is ¡this ¡challenging? ¡

8-­‑Apr-­‑13 ¡ 18 ¡

Lecture 2 -

• Fei-Fei Li

How ¡many ¡object ¡categories ¡are ¡there? ¡

8-­‑Apr-­‑13 ¡ 19 ¡

Lecture 2 -

• Fei-Fei Li

Challenges: ¡viewpoint ¡varia.on ¡

Michelangelo 1475-1564

8-­‑Apr-­‑13 ¡ 20 ¡

Lecture 2 -

• Fei-Fei Li

Challenges: ¡illumina.on ¡

image credit: J. Koenderink

8-­‑Apr-­‑13 ¡ 21 ¡

Lecture 2 -

• Fei-Fei Li

Challenges: ¡scale ¡

8-­‑Apr-­‑13 ¡ 22 ¡

Lecture 2 -

• Fei-Fei Li

Challenges: ¡deforma.on ¡

8-­‑Apr-­‑13 ¡ 23 ¡

Lecture 2 -

• Fei-Fei Li

Challenges: ¡ ¡

• cclusion ¡

Magritte, 1957 8-­‑Apr-­‑13 ¡ 24 ¡

Lecture 2 -

• Fei-Fei Li

Challenges: ¡background ¡cluber ¡

Kilmeny ¡Niland. ¡1995 ¡ ¡

8-­‑Apr-­‑13 ¡ 25 ¡

Lecture 2 -

• Fei-Fei Li

Challenges: ¡intra-­‑class ¡varia.on ¡

8-­‑Apr-­‑13 ¡ 26 ¡

Lecture 2 -

• Turk ¡and ¡Pentland, ¡1991 ¡
• Belhumeur, ¡Hespanha, ¡& ¡Kriegman, ¡1997 ¡
• Schneiderman ¡& ¡Kanade ¡2004 ¡
• Viola ¡and ¡Jones, ¡2000 ¡
• Amit ¡and ¡Geman, ¡1999 ¡
• LeCun ¡et ¡al. ¡1998 ¡
• Belongie ¡and ¡Malik, ¡2002 ¡
• Schneiderman ¡& ¡Kanade, ¡2004 ¡
• Argawal ¡and ¡Roth, ¡2002 ¡
• Poggio ¡et ¡al. ¡1993 ¡

Some ¡early ¡works ¡on ¡object ¡ categoriza.on ¡

8-­‑Apr-­‑13 ¡

Lecture 2 -

• Fei-Fei Li

Basic ¡issues ¡

• Representa.on ¡

– How ¡to ¡represent ¡an ¡object ¡category; ¡which ¡ classifica.on ¡scheme? ¡ ¡

• Learning ¡

– How ¡to ¡learn ¡the ¡classifier, ¡given ¡training ¡data ¡ ¡

• Recogni.on ¡

– How ¡the ¡classifier ¡is ¡to ¡be ¡used ¡on ¡novel ¡data ¡

8-­‑Apr-­‑13 ¡ 28 ¡

Lecture 2 -

• Fei-Fei Li

Representa*on ¡

• ­‑ ¡Building ¡blocks: ¡Sampling ¡strategies ¡

Randomly ¡ Mul.ple ¡interest ¡operators ¡ Interest ¡operators ¡ Dense, ¡uniformly ¡ ¡

Image ¡credits: ¡L. ¡Fei-­‑Fei, ¡E. ¡Nowak, ¡J. ¡Sivic ¡

8-­‑Apr-­‑13 ¡ 29 ¡

Lecture 2 -

• Fei-Fei Li

Representa*on ¡

• ­‑ ¡Building ¡blocks: ¡Choice ¡of ¡descriptors ¡

[SIFT, ¡HOG, ¡codewords….] ¡ ¡ ¡ ¡

8-­‑Apr-­‑13 ¡ 30 ¡

Lecture 2 -

• Fei-Fei Li

Representa*on ¡

– Appearance ¡only ¡or ¡loca.on ¡and ¡appearance ¡

8-­‑Apr-­‑13 ¡ 31 ¡

Lecture 2 -

• Fei-Fei Li

Representa*on ¡

– Invariances ¡

• View ¡point ¡
• Illumina.on ¡
• Occlusion ¡
• Scale ¡
• Deforma.on ¡
• Cluber ¡
• etc. ¡

8-­‑Apr-­‑13 ¡ 32 ¡

Lecture 2 -

• Fei-Fei Li

Representa*on ¡

– To ¡handle ¡intra-­‑class ¡variability, ¡it ¡is ¡convenient ¡to ¡ ¡ describe ¡an ¡object ¡categories ¡using ¡probabilis.c ¡ models ¡ – Object ¡models: ¡Genera.ve ¡vs ¡Discrimina.ve ¡vs ¡hybrid ¡

8-­‑Apr-­‑13 ¡ 33 ¡

Lecture 2 -

• Object ¡categoriza*on: ¡ ¡

the ¡sta*s*cal ¡viewpoint ¡

) | ( image zebra p ) ( e zebra|imag no p

• vs. ¡

) | ( ) | ( image zebra no p image zebra p

• Bayes ¡rule: ¡

¡

8-­‑Apr-­‑13 ¡ 34 ¡

Lecture 2 -

• Object ¡categoriza*on: ¡ ¡

the ¡sta*s*cal ¡viewpoint ¡

) | ( image zebra p ) ( e zebra|imag no p

• vs. ¡
• Bayes ¡rule: ¡

¡

) ( ) ( ) | ( ) | ( ) | ( ) | ( zebra no p zebra p zebra no image p zebra image p image zebra no p image zebra p ⋅ =

posterior ¡ra.o ¡ likelihood ¡ra.o ¡ prior ¡ra.o ¡

8-­‑Apr-­‑13 ¡

Lecture 2 -

• Object ¡categoriza*on: ¡ ¡

the ¡sta*s*cal ¡viewpoint ¡

• Bayes ¡rule: ¡

¡

) ( ) ( ) | ( ) | ( ) | ( ) | ( zebra no p zebra p zebra no image p zebra image p image zebra no p image zebra p ⋅ =

posterior ¡ra.o ¡ likelihood ¡ra.o ¡ prior ¡ra.o ¡

• Discrimina*ve ¡methods ¡model ¡posterior ¡
• Genera*ve ¡methods ¡model ¡likelihood ¡and ¡prior ¡

8-­‑Apr-­‑13 ¡

Lecture 2 -

• Fei-Fei Li

Discrimina.ve ¡models ¡

Zebra ¡ Non-­‑zebra ¡ Decision ¡ boundary ¡

) | ( ) | ( image zebra no p image zebra p

• Modeling ¡the ¡posterior ¡ra.o: ¡ ¡

8-­‑Apr-­‑13 ¡ 37 ¡

Lecture 2 -

• Fei-Fei Li

Discrimina.ve ¡models ¡

Support ¡Vector ¡Machines ¡ Guyon, ¡Vapnik, ¡ ¡Heisele, ¡ Serre, ¡Poggio… ¡

¡

Boos*ng ¡ Viola, ¡Jones ¡2001, ¡ Torralba ¡et ¡al. ¡2004, ¡ Opelt ¡et ¡al. ¡2006,… ¡

106 examples

Nearest ¡neighbor ¡ Shakhnarovich, ¡Viola, ¡Darrell ¡2003 ¡ Berg, ¡Berg, ¡Malik ¡2005... ¡ Neural ¡networks ¡

Source: ¡Viborio ¡Ferrari, ¡Kristen ¡Grauman, ¡Antonio ¡Torralba ¡

Latent ¡SVM ¡ Structural ¡ ¡SVM ¡ Felzenszwalb 00 Ramanan 03… ¡

¡

LeCun, ¡Bobou, ¡Bengio, ¡Haffner ¡1998 ¡ Rowley, ¡Baluja, ¡Kanade ¡1998 ¡ … ¡ ¡ ¡ 8-­‑Apr-­‑13 ¡ 38 ¡

Lecture 2 -

• Fei-Fei Li

Genera.ve ¡models ¡

• Modeling ¡the ¡likelihood ¡ra.o: ¡ ¡

) | ( ) | ( zebra no image p zebra image p

8-­‑Apr-­‑13 ¡ 39 ¡

Lecture 2 -

• )

| ( zebra no image p ) | ( zebra image p

Genera.ve ¡models ¡

High ¡ Low ¡ Low ¡ ¡ High ¡

8-­‑Apr-­‑13 ¡ 40 ¡

Lecture 2 -

• Fei-Fei Li

Genera.ve ¡models

• Naïve ¡Bayes ¡classifier ¡

– Csurka ¡Bray, ¡Dance ¡& ¡Fan, ¡2004 ¡

• Hierarchical ¡Bayesian ¡topic ¡models ¡ ¡(e.g. ¡pLSA ¡

and ¡LDA) ¡

– Object ¡categoriza.on: ¡Sivic ¡et ¡al. ¡2005, ¡Sudderth ¡et ¡al. ¡2005 ¡ – Natural ¡scene ¡categoriza.on: ¡Fei-­‑Fei ¡et ¡al. ¡2005 ¡

¡

• 2D ¡Part ¡based ¡models ¡
• ­‑

Constella.on ¡models: ¡Weber ¡et ¡al ¡2000; ¡Fergus ¡et ¡al ¡200 ¡

• ­‑

Star ¡models: ¡ISM (Leibe et al 05)

• 3D ¡part ¡based ¡models: ¡ ¡

¡-­‑ ¡mul.-­‑aspects: ¡Sun, ¡et ¡al, ¡2009 ¡ ¡

8-­‑Apr-­‑13 ¡ 41 ¡

Lecture 2 -

• Fei-Fei Li

Basic ¡issues ¡

• Representa.on ¡

– How ¡to ¡represent ¡an ¡object ¡category; ¡which ¡ classifica.on ¡scheme? ¡ ¡

• Learning ¡

– How ¡to ¡learn ¡the ¡classifier, ¡given ¡training ¡data ¡ ¡

• Recogni.on ¡

– How ¡the ¡classifier ¡is ¡to ¡be ¡used ¡on ¡novel ¡data ¡

8-­‑Apr-­‑13 ¡ 42 ¡

Lecture 2 -

• Fei-Fei Li
• Learning ¡parameters: ¡What ¡are ¡you ¡maximizing? ¡

Likelihood ¡(Gen.) ¡or ¡performances ¡on ¡train/ valida.on ¡set ¡(Disc.) ¡

¡

Learning ¡

8-­‑Apr-­‑13 ¡ 43 ¡

Lecture 2 -

• Fei-Fei Li
• Learning ¡parameters: ¡What ¡are ¡you ¡maximizing? ¡

Likelihood ¡(Gen.) ¡or ¡performances ¡on ¡train/ valida.on ¡set ¡(Disc.) ¡

¡

• Level ¡of ¡supervision ¡
• Manual ¡segmenta.on; ¡bounding ¡box; ¡image ¡labels; ¡

noisy ¡labels ¡

Learning ¡

• ¡ ¡Batch/incremental ¡ ¡
• ¡ ¡Priors ¡

8-­‑Apr-­‑13 ¡ 44 ¡

Lecture 2 -

• Fei-Fei Li
• Learning ¡parameters: ¡What ¡are ¡you ¡maximizing? ¡

Likelihood ¡(Gen.) ¡or ¡performances ¡on ¡train/ valida.on ¡set ¡(Disc.) ¡

¡

• Level ¡of ¡supervision ¡
• Manual ¡segmenta.on; ¡bounding ¡box; ¡image ¡labels; ¡

noisy ¡labels ¡

Learning ¡

• ¡ ¡Batch/incremental ¡ ¡
• ¡Training ¡images: ¡
• Issue ¡of ¡overfiqng ¡
• Nega.ve ¡images ¡for ¡

discrimina.ve ¡methods ¡

• ¡ ¡Priors ¡

8-­‑Apr-­‑13 ¡ 45 ¡

Lecture 2 -

• Fei-Fei Li

Basic ¡issues ¡

• Representa.on ¡

– How ¡to ¡represent ¡an ¡object ¡category; ¡which ¡ classifica.on ¡scheme? ¡ ¡

• Learning ¡

– How ¡to ¡learn ¡the ¡classifier, ¡given ¡training ¡data ¡ ¡

• Recogni.on ¡

– How ¡the ¡classifier ¡is ¡to ¡be ¡used ¡on ¡novel ¡data ¡

8-­‑Apr-­‑13 ¡ 46 ¡

Lecture 2 -

• Fei-Fei Li

– Recogni.on ¡task: ¡classifica.on, ¡detec.on, ¡etc.. ¡

¡

Recogni*on ¡

8-­‑Apr-­‑13 ¡ 47 ¡

Lecture 2 -

• Fei-Fei Li

Recogni*on ¡

– Recogni.on ¡task ¡ – Search ¡strategy: ¡Sliding ¡Windows ¡

• Simple ¡
• Computa.onal ¡complexity ¡(x,y, ¡S, ¡θ, ¡N ¡of ¡classes) ¡

¡ ¡ ¡

¡

¡-­‑ ¡BSW ¡by ¡Lampert ¡et ¡al ¡08 ¡

• ­‑ ¡Also, ¡Alexe, ¡et ¡al ¡10 ¡

Viola, ¡Jones ¡2001, ¡ ¡ 8-­‑Apr-­‑13 ¡ 48 ¡

Lecture 2 -

• Fei-Fei Li

Recogni*on ¡

– Recogni.on ¡task ¡ – Search ¡strategy: ¡Sliding ¡Windows ¡

• Simple ¡
• Computa.onal ¡complexity ¡(x,y, ¡S, ¡θ, ¡N ¡of ¡classes) ¡
• Localiza.on ¡
• Objects ¡are ¡not ¡boxes ¡

¡ ¡ ¡

¡

¡-­‑ ¡BSW ¡by ¡Lampert ¡et ¡al ¡08 ¡

• ­‑ ¡Also, ¡Alexe, ¡et ¡al ¡10 ¡

Viola, ¡Jones ¡2001, ¡ ¡ 8-­‑Apr-­‑13 ¡ 49 ¡

Lecture 2 -

• Fei-Fei Li

Recogni*on ¡

– Recogni.on ¡task ¡ – Search ¡strategy: ¡Sliding ¡Windows ¡

• Simple ¡
• Computa.onal ¡complexity ¡(x,y, ¡S, ¡θ, ¡N ¡of ¡classes) ¡
• Localiza.on ¡
• Objects ¡are ¡not ¡boxes ¡
• Prone ¡to ¡false ¡posi.ve ¡

¡ ¡ ¡

¡

¡-­‑ ¡BSW ¡by ¡Lampert ¡et ¡al ¡08 ¡

• ­‑ ¡Also, ¡Alexe, ¡et ¡al ¡10 ¡

Non ¡max ¡suppression: ¡ ¡ Canny ¡’86 ¡ …. ¡ Desai ¡et ¡al ¡, ¡2009 ¡ Viola, ¡Jones ¡2001, ¡ ¡ 8-­‑Apr-­‑13 ¡ 50 ¡

Lecture 2 -

• Fei-Fei Li

Successful ¡methods ¡using ¡sliding ¡ windows ¡

[Dalal ¡& ¡Triggs, ¡CVPR ¡2005] ¡

• ¡Subdivide ¡scanning ¡window ¡ ¡
• In ¡each ¡cell ¡compute ¡histogram ¡of ¡gradients ¡
• rienta.on. ¡

Code ¡available: ¡hbp://pascal.inrialpes.fr/sos/olt/ ¡

• ­‑ ¡Subdivide ¡scanning ¡window ¡ ¡
• ­‑ ¡In ¡each ¡cell ¡compute ¡histogram ¡of ¡

codewords ¡of ¡adjacent ¡segments ¡

[Ferrari ¡& ¡al, ¡PAMI ¡2008] ¡

Code ¡available: ¡hbp://www.vision.ee.ethz.ch/~calvin ¡ 8-­‑Apr-­‑13 ¡ 51 ¡

Lecture 2 -

• Fei-Fei Li

– Recogni.on ¡task ¡ – Search ¡strategy ¡: ¡Probabilis.c ¡“heat ¡maps” ¡

Recogni*on ¡

Original ¡ image ¡ Interest ¡ points ¡ Matched ¡patches ¡

• ¡Fergus ¡et ¡al ¡03 ¡
• ¡Leibe ¡et ¡al ¡04 ¡

8-­‑Apr-­‑13 ¡ 52 ¡

Lecture 2 -

• Fei-Fei Li

– Recogni.on ¡task ¡ – Search ¡strategy ¡: ¡ ¡

• Hypothesis ¡genera.on ¡+ ¡verifica.on ¡ ¡

Recogni*on ¡

8-­‑Apr-­‑13 ¡ 53 ¡

Lecture 2 -

• Fei-Fei Li

Recogni*on ¡

Category: ¡ ¡car ¡ Azimuth ¡= ¡225º ¡ Zenith ¡= ¡30º ¡

• Savarese, ¡2007 ¡ ¡
• Sun ¡et ¡al ¡2009 ¡
• ¡Liebelt ¡et ¡al., ¡’08, ¡10 ¡
• Farhadi ¡et ¡al ¡09 ¡
• ­‑ ¡It ¡has ¡metal ¡
• ­‑ ¡it ¡is ¡glossy ¡
• ­‑ ¡has ¡wheels ¡
• Farhadi ¡et ¡al ¡09 ¡ ¡
• ¡Lampert ¡ ¡et ¡al ¡09 ¡
• ¡Wang ¡& ¡Forsyth ¡09 ¡ ¡

– Recogni.on ¡task ¡ – Search ¡strategy ¡ – Abributes ¡

8-­‑Apr-­‑13 ¡ 54 ¡

Lecture 2 -

• Fei-Fei Li

Seman*c: ¡

• Torralba ¡et ¡al ¡03 ¡
• ¡Rabinovich ¡et ¡al ¡07 ¡
• ¡Gupta ¡& ¡Davis ¡08 ¡
• ¡Heitz ¡& ¡Koller ¡08 ¡
• ¡L-­‑J ¡Li ¡et ¡al ¡08 ¡
• ¡Yao ¡& ¡Fei-­‑Fei ¡10 ¡

¡

Recogni*on ¡

– Recogni.on ¡task ¡ – Search ¡strategy ¡ – Abributes ¡ – Context ¡

Geometric ¡

• ¡Hoiem, ¡et ¡al ¡ ¡06 ¡
• ¡Gould ¡et ¡al ¡09 ¡
• ¡Bao, ¡Sun, ¡Savarese ¡10 ¡

8-­‑Apr-­‑13 ¡ 55 ¡

Lecture 2 -

• Fei-Fei Li

Basic ¡issues ¡

• Representa.on ¡

– How ¡to ¡represent ¡an ¡object ¡category; ¡which ¡ classifica.on ¡scheme? ¡ ¡

• Learning ¡

– How ¡to ¡learn ¡the ¡classifier, ¡given ¡training ¡data ¡ ¡

• Recogni.on ¡

– How ¡the ¡classifier ¡is ¡to ¡be ¡used ¡on ¡novel ¡data ¡

8-­‑Apr-­‑13 ¡ 56 ¡

Lecture 2 -

• Fei-Fei Li

What ¡we ¡will ¡learn ¡today? ¡

• Visual ¡recogni.on ¡overview ¡

– Representa.on ¡ – Learning ¡ – Recogni.on ¡

• Implicit ¡Shape ¡Model ¡

– Representa.on ¡ – Recogni.on ¡ – Experiments ¡and ¡results ¡

¡

8-­‑Apr-­‑13 ¡ 57 ¡

Lecture 2 -

• Fei-Fei Li

Implicit ¡Shape ¡Model ¡(ISM) ¡

• Basic ¡ideas ¡

– Learn ¡an ¡appearance ¡codebook ¡ – Learn ¡a ¡star-­‑topology ¡structural ¡model ¡

• Features ¡are ¡considered ¡independent ¡given ¡obj. ¡center ¡
• Algorithm: ¡probabilis.c ¡Gen. ¡Hough ¡Transform ¡

– Exact ¡correspondences ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡→ ¡ ¡Prob. ¡match ¡to ¡object ¡part ¡ – NN ¡matching ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡→ ¡ ¡Sos ¡matching ¡ – Feature ¡loca.on ¡on ¡obj. ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡→ ¡ ¡ ¡Part ¡loca.on ¡distribu.on ¡ – Uniform ¡votes ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡→ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Probabilis.c ¡vote ¡weigh.ng ¡ – Quan.zed ¡Hough ¡array ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡→ ¡ ¡ ¡ ¡ ¡ ¡ ¡Con.nuous ¡Hough ¡space ¡

x1 x3 x4 x6 x5 x2

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 58 ¡

Lecture 2 -

• Fei-Fei Li

Implicit ¡Shape ¡Model: ¡Basic ¡Idea ¡

• Visual ¡vocabulary ¡is ¡used ¡to ¡index ¡votes ¡for ¡object ¡

posi.on ¡[a ¡visual ¡word ¡= ¡“part”]. ¡

Training ¡image ¡ Visual ¡codeword ¡with ¡ displacement ¡vectors ¡

Source: ¡Bas.an ¡Leibe ¡

• B. ¡Leibe, ¡A. ¡Leonardis, ¡and ¡B. ¡Schiele, ¡

Robust ¡Object ¡Detec.on ¡with ¡Interleaved ¡Categoriza.on ¡and ¡Segmenta.on, ¡Interna.onal ¡Journal ¡of ¡ Computer ¡Vision, ¡Vol. ¡77(1-­‑3), ¡2008. ¡

8-­‑Apr-­‑13 ¡ 59 ¡

Lecture 2 -

• Fei-Fei Li
• Objects ¡are ¡detected ¡as ¡consistent ¡configura.ons ¡of ¡

the ¡observed ¡parts ¡(visual ¡words). ¡

Test ¡image ¡

Implicit ¡Shape ¡Model: ¡Basic ¡Idea ¡

Source: ¡Bas.an ¡Leibe ¡

• B. ¡Leibe, ¡A. ¡Leonardis, ¡and ¡B. ¡Schiele, ¡

Robust ¡Object ¡Detec.on ¡with ¡Interleaved ¡Categoriza.on ¡and ¡Segmenta.on, ¡Interna.onal ¡Journal ¡of ¡ Computer ¡Vision, ¡Vol. ¡77(1-­‑3), ¡2008. ¡

8-­‑Apr-­‑13 ¡ 60 ¡

Lecture 2 -

• Fei-Fei Li

Implicit ¡Shape ¡Model ¡-­‑ ¡Representa.on ¡

• Learn ¡appearance ¡codebook ¡

– Extract ¡local ¡features ¡at ¡interest ¡points ¡ – Agglomera.ve ¡clustering ¡⇒ ¡codebook ¡

• Learn ¡spa.al ¡distribu.ons ¡

– Match ¡codebook ¡to ¡training ¡images ¡ – Record ¡matching ¡posi.ons ¡on ¡object ¡

Training images (+reference segmentation) Appearance codebook

… … … … …

Spatial occurrence distributions

x y s x y s x y s x y s

+ local figure-ground labels Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 61 ¡

Lecture 2 -

• Fei-Fei Li

Implicit ¡Shape ¡Model ¡-­‑ ¡Recogni.on ¡

Interest Points Matched Codebook Entries Probabilistic Voting 3D Voting Space (continuous)

x y s

Object Position

• ,x

Image Feature

f

Interpretation (Codebook match)

Ci

) ( f C p

i

) , , ( 

i n

C x

• p

Probabilistic vote weighting (will be explained later in detail)

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

8-­‑Apr-­‑13 ¡ 62 ¡

Lecture 2 -

• Fei-Fei Li

Implicit ¡Shape ¡Model ¡-­‑ ¡Recogni.on ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

Backprojected Hypotheses Interest Points Matched Codebook Entries Probabilistic Voting 3D Voting Space (continuous)

x y s

Backprojection

• f Maxima

8-­‑Apr-­‑13 ¡ 63 ¡

Lecture 2 -

• Fei-Fei Li

Original image

Example: ¡Results ¡on ¡Cows ¡

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 64 ¡

Lecture 2 -

• Fei-Fei Li

Original image Interest points

Example: ¡Results ¡on ¡Cows ¡

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 65 ¡

Lecture 2 -

• Fei-Fei Li

Original image Interest points Matched patches

Example: ¡Results ¡on ¡Cows ¡

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 66 ¡

Lecture 2 -

• Fei-Fei Li

Example: ¡Results ¡on ¡Cows ¡

• Prob. Votes

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 67 ¡

Lecture 2 -

• Fei-Fei Li

Example: ¡Results ¡on ¡Cows ¡

• Prob. Votes

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 68 ¡

Lecture 2 -

• Fei-Fei Li

1st hypothesis

Example: ¡Results ¡on ¡Cows ¡

Source: ¡K. ¡Grauman ¡& ¡B. ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 69 ¡

Lecture 2 -

• Fei-Fei Li

2nd hypothesis

Example: ¡Results ¡on ¡Cows ¡

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 70 ¡

Lecture 2 -

• Fei-Fei Li

Example: ¡Results ¡on ¡Cows ¡

3rd hypothesis

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 71 ¡

Lecture 2 -

• Fei-Fei Li
• Scale-­‑invariant ¡feature ¡selec.on ¡

– Scale-­‑invariant ¡interest ¡points ¡ – Rescale ¡extracted ¡patches ¡ – Match ¡to ¡constant-­‑size ¡codebook ¡

• Generate ¡scale ¡votes ¡

– Scale ¡as ¡3rd ¡dimension ¡in ¡vo.ng ¡space ¡ – Search ¡for ¡maxima ¡in ¡3D ¡vo.ng ¡space ¡

Scale ¡Invariant ¡Vo.ng ¡

Search window x y s Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 72 ¡

Lecture 2 -

• Fei-Fei Li

Scale ¡Vo.ng: ¡Efficient ¡Computa.on ¡

• Con.nuous ¡Generalized ¡Hough ¡Transform ¡

Ø Binned ¡accumulator ¡array ¡similar ¡to ¡standard ¡Gen. ¡Hough ¡Transf. ¡ Ø Quickly ¡iden.fy ¡candidate ¡maxima ¡loca.ons ¡ Ø Refine ¡loca.ons ¡by ¡Mean-­‑Shis ¡search ¡only ¡around ¡those ¡points ¡

⇒ ¡Avoid ¡quan.za.on ¡effects ¡by ¡keeping ¡exact ¡vote ¡loca.ons. ¡ ⇒ ¡Mean-­‑shis ¡interpreta.on ¡as ¡kernel ¡prob. ¡density ¡es.ma.on. ¡

y s x

Refinement (Mean-Shift)

y s x

Candidate maxima

y s

Scale votes

x y s

Binned

• accum. array

x Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 73 ¡

Lecture 2 -

• Fei-Fei Li
• Scale-­‑adap.ve ¡Mean-­‑Shis ¡search ¡for ¡refinement ¡

– Increase ¡search ¡window ¡size ¡with ¡hypothesis ¡scale ¡ – Scale-­‑adap.ve ¡balloon ¡density ¡es-mator ¡

Scale ¡Vo.ng: ¡Efficient ¡Computa.on ¡

y s x

Refinement (Mean-Shift)

y s x

Candidate maxima

y s

Scale votes

x y s

Binned

• accum. array

x Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 74 ¡

Lecture 2 -

• Detec.on ¡Results ¡
• Qualita.ve ¡Performance ¡

– Recognizes ¡different ¡kinds ¡of ¡objects ¡ – Robust ¡to ¡cluber, ¡occlusion, ¡noise, ¡low ¡contrast ¡

Source: ¡Bas.an ¡Leibe ¡

75 ¡

Lecture 2 -

• Fei-Fei Li

Figure-­‑Ground ¡Segrega.on ¡

• What ¡happens ¡first ¡– ¡segmenta.on ¡or ¡recogni.on? ¡
• Problem ¡extensively ¡studied ¡in ¡ ¡

Psychophysics ¡

• Experiments ¡with ¡ambiguous ¡

figure-­‑ground ¡s.muli ¡

• Results: ¡

– Evidence ¡that ¡object ¡recogni.on ¡can ¡ and ¡does ¡operate ¡before ¡figure-­‑ground ¡ ¡

• rganiza.on ¡

– Interpreted ¡as ¡Gestalt ¡cue ¡familiarity. ¡

M.A. Peterson, “Object Recognition Processes Can and Do Operate Before Figure- Ground Organization”, Cur. Dir. in Psych. Sc., 3:105-111, 1994.

8-­‑Apr-­‑13 ¡ 76 ¡

Lecture 2 -

• Fei-Fei Li

ISM ¡– ¡Top-­‑Down ¡Segmenta.on ¡

Backprojected Hypotheses Interest Points Matched Codebook Entries Probabilistic Voting Segmentation 3D Voting Space (continuous)

x y s

Backprojection

• f Maxima

p(figure) Probabilities

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

8-­‑Apr-­‑13 ¡ 77 ¡

Lecture 2 -

• Fei-Fei Li

Top-­‑Down ¡Segmenta.on: ¡Mo.va.on ¡

• Secondary ¡hypotheses ¡(“mixtures ¡of ¡cars/cows/etc.”) ¡

– Desired ¡property ¡of ¡algorithm! ¡ ¡⇒ ¡robustness ¡to ¡occlusion ¡ – Standard ¡solu.on: ¡reject ¡based ¡on ¡bounding ¡box ¡overlap ¡ ¡⇒ ¡Problema.c ¡-­‑ ¡may ¡lead ¡to ¡missing ¡detec.ons! ¡ ¡ ¡ ¡ ¡⇒ ¡Use ¡segmenta.ons ¡to ¡resolve ¡ambigui.es ¡instead. ¡

¡

– Basic ¡idea: ¡each ¡observed ¡pixel ¡can ¡only ¡be ¡explained ¡by ¡ ¡ (at ¡most) ¡one ¡detec.on. ¡

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 78 ¡

Lecture 2 -

• Fei-Fei Li
• Secondary ¡hypotheses ¡(“mixtures ¡of ¡cars/cows/etc.”) ¡

– Desired ¡property ¡of ¡algorithm! ¡ ¡⇒ ¡robustness ¡to ¡occlusion ¡ – Standard ¡solu.on: ¡reject ¡based ¡on ¡bounding ¡box ¡overlap ¡ ¡⇒ ¡Problema.c ¡-­‑ ¡may ¡lead ¡to ¡missing ¡detec.ons! ¡ ¡ ¡ ¡ ¡⇒ ¡Use ¡segmenta.ons ¡to ¡resolve ¡ambigui.es ¡instead. ¡

¡

– Basic ¡idea: ¡each ¡observed ¡pixel ¡can ¡only ¡be ¡explained ¡by ¡ ¡ (at ¡most) ¡one ¡detec.on. ¡

Top-­‑Down ¡Segmenta.on: ¡Mo.va.on ¡

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 79 ¡

Lecture 2 -

• Fei-Fei Li

Segmenta.on: ¡Probabilis.c ¡Formula.on ¡

• Influence ¡of ¡patch ¡on ¡object ¡hypothesis ¡(vote ¡weight) ¡

( )

( ) ( ) ( ) ( )

x

• p

f, p f C p C x

• p

x

• f

p

n i i i n n

, | | , , ,

∑

=  

( ) ( ) ( )

∑

∈

= = =

) , (

, | , , , , | , |



 

f n n n

x

• f

p x

• f

figure p x

• figure

p

p

p p

• ¡ ¡Backprojec*on ¡to ¡features ¡f ¡and ¡pixels ¡p: ¡

Segmentation information Influence on

• bject hypothesis

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

8-­‑Apr-­‑13 ¡ 80 ¡

Lecture 2 -

• Fei-Fei Li

Segmenta.on ¡

• Interpreta.on ¡of ¡p(figure) ¡map ¡

Ø per-­‑pixel ¡confidence ¡in ¡object ¡hypothesis ¡ Ø Use ¡for ¡hypothesis ¡verifica.on ¡

p(figure) p(ground)

Segmentation p(figure) p(ground) Original image

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

8-­‑Apr-­‑13 ¡ 81 ¡

Lecture 2 -

• Fei-Fei Li

Deriva.on: ¡ISM ¡Recogni.on ¡

• Algorithm ¡stages ¡

1.

Vo.ng ¡

2.

Mean-­‑shis ¡search ¡

3.

Backprojec.on ¡

• Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡f ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

Object location

• n,x

Image Feature f at location 

f

Codebook matches

Ci

) ( f C p

i

) , , ( 

i n

C x

• p

Matching probability Occurrence distribution 8-­‑Apr-­‑13 ¡ 82 ¡

Lecture 2 -

• Fei-Fei Li
• Algorithm ¡stages ¡

1.

Vo.ng ¡

2.

Mean-­‑shis ¡search ¡

3.

Backprojec.on ¡

• Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡f ¡

Ø

Probability ¡that ¡object ¡on ¡occurs ¡at ¡loca.on ¡x ¡given ¡(f,)

( , , )

n i

p o x f =∑ l ) ( f C p

i

Matching probability

) , , ( 

i n

C x

• p

Occurrence distribution

) ( f C p

i

Matching probability

) , , ( 

i n

C x

• p

Occurrence distribution

Deriva.on: ¡ISM ¡Recogni.on ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

8-­‑Apr-­‑13 ¡ 83 ¡

Lecture 2 -

• Fei-Fei Li

Deriva.on: ¡ISM ¡Recogni.on ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

• Algorithm ¡stages ¡

1.

Vo.ng ¡

2.

Mean-­‑shis ¡search ¡

3.

Backprojec.on ¡

• Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡f ¡

Ø

Probability ¡that ¡object ¡on ¡occurs ¡at ¡loca.on ¡x ¡given ¡(f,)

¡

Ø

How ¡to ¡measure ¡those ¡probabili.es? ¡ ¡

( , , )

n i

p o x f =∑ l

{ }

1 ( ) , where | ( , ) | |

i i i

p C f C C d C f C θ = = ≤ 1 ( , , ) # ( )

n i i

p o x C

• ccurrences C

= l

) ( f C p

i

) , , ( 

i n

C x

• p

θ f

Activated codebook entries 8-­‑Apr-­‑13 ¡ 84 ¡

Lecture 2 -

• Fei-Fei Li

Deriva.on: ¡ISM ¡Recogni.on ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

• Algorithm ¡stages ¡

1.

Vo.ng ¡

2.

Mean-­‑shis ¡search ¡

3.

Backprojec.on ¡

• Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡f ¡

Ø

Probability ¡that ¡object ¡on ¡occurs ¡at ¡loca.on ¡x ¡given ¡(f,)

Ø

Likelihood ¡of ¡the ¡observed ¡features ¡given ¡the ¡object ¡hypothesis ¡

( , , )

n i

p o x f =∑ l ) ( f C p

i

) , , ( 

i n

C x

• p

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

, | , | , | | , , ,

n i i n i n n n

p o x C p C f p f, p o x f, p f, p f,

• x

p o x p o x = = ∑ l l l l l

( )

,

n

p o x : Prior for the object location

( )

p f,l : Indicator variable for

sampled features 8-­‑Apr-­‑13 ¡ 85 ¡

Lecture 2 -

• Fei-Fei Li

Deriva.on: ¡ISM ¡Recogni.on ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

• Algorithm ¡stages ¡

1.

Vo.ng ¡

2.

Mean-­‑shis ¡search ¡

3.

Backprojec.on ¡

• Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡f ¡

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

, | , | , | | , , ,

n i i n i n n n

p o x C p C f p f, p o x f, p f, p f,

• x

p o x p o x = = ∑ l l l l l

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

, | , | , | | , , ,

n i i n i n n n

p o x C p C f p f, p o x f, p f, p f,

• x

p o x p o x = = ∑ l l l l l

8-­‑Apr-­‑13 ¡ 86 ¡

Lecture 2 -

• Fei-Fei Li

Deriva.on: ¡ISM ¡Recogni.on ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

• Algorithm ¡stages ¡

1.

Vo.ng ¡

2.

Mean-­‑shis ¡search ¡

3.

Backprojec.on ¡

• Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡f ¡

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

, | , | , | | , , ,

n i i n i n n n

p o x C p C f p f, p o x f, p f, p f,

• x

p o x p o x = = ∑ l l l l l

8-­‑Apr-­‑13 ¡ 87 ¡

Lecture 2 -

• Fei-Fei Li

Deriva.on: ¡ISM ¡Recogni.on ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

• Algorithm ¡stages ¡

1.

Vo.ng ¡

2.

Mean-­‑shis ¡search ¡

3.

Backprojec.on ¡

• Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡f ¡

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

, | , | , | | , , ,

n i i n i n n n

p o x C p C f p f, p o x f, p f, p f,

• x

p o x p o x = = ∑ l l l l l

x y s

8-­‑Apr-­‑13 ¡ 88 ¡

Lecture 2 -

• Fei-Fei Li

Deriva.on: ¡ISM ¡Top-­‑Down ¡Segmenta.on ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

• Algorithm ¡stages ¡

1.

Vo.ng ¡

2.

Mean-­‑shis ¡search ¡

3.

Backprojec.on ¡

• Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡f ¡
• Figure-­‑ground ¡backprojec.on ¡

Fig./Gnd. label for each occurrence Influence on

• bject hypothesis

( ) ( ) ( ) ( ) ( )

∑ ∑

∈

= =

) p

p



  

f, i n i i n i n

x

• p

f, p f C p C x

• p

C x

• fig.

p

(

, | , | , , , , |

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

, | , | , | | , , ,

n i i n i n n n

p o x C p C f p f, p o x f, p f, p f,

• x

p o x p o x = = ∑ l l l l l

( )=

=  , , , , |

i n

C f x

• figure

p p

8-­‑Apr-­‑13 ¡ 89 ¡

Lecture 2 -

• Fei-Fei Li

Deriva.on: ¡ISM ¡Top-­‑Down ¡Segmenta.on ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

• Algorithm ¡stages ¡

1.

Vo.ng ¡

2.

Mean-­‑shis ¡search ¡

3.

Backprojec.on ¡

• Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡f ¡
• Figure-­‑ground ¡backprojec.on ¡

Fig./Gnd. label for each occurrence Influence on

• bject hypothesis

( ) ( ) ( ) ( ) ( )

∑ ∑

∈

= =

) p

p



  

f, i n i i n i n

x

• p

f, p f C p C x

• p

C x

• fig.

p

(

, | , | , , , , |

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

, | , | , | | , , ,

n i i n i n n n

p o x C p C f p f, p o x f, p f, p f,

• x

p o x p o x = = ∑ l l l l l

( ) ∑

= =

i n

f x

• figure

p  , , , | p

Marginalize over all codebook entries matched to f

8-­‑Apr-­‑13 ¡ 90 ¡

Lecture 2 -

• Fei-Fei Li

Deriva.on: ¡ISM ¡Top-­‑Down ¡Segmenta.on ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

• Algorithm ¡stages ¡

1.

Vo.ng ¡

2.

Mean-­‑shis ¡search ¡

3.

Backprojec.on ¡

• Vote ¡weights: ¡contribu.on ¡of ¡a ¡single ¡feature ¡f ¡
• Figure-­‑ground ¡backprojec.on ¡

Fig./Gnd. label for each occurrence Influence on

• bject hypothesis

( ) ( ) ( ) ( ) ( )

∑ ∑

∈

= =

) p

p



  

f, i n i i n i n

x

• p

f, p f C p C x

• p

C x

• fig.

p

(

, | , | , , , , |

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

, | , | , | | , , ,

n i i n i n n n

p o x C p C f p f, p o x f, p f, p f,

• x

p o x p o x = = ∑ l l l l l

( )

∑ ∑

∈

= =

) , (

, |

 f i n x

• figure

p

p

p

Marginalize over all features contai- ning pixel p

8-­‑Apr-­‑13 ¡ 91 ¡

Lecture 2 -

• Fei-Fei Li

Top-­‑Down ¡Segmenta.on ¡Algorithm ¡

• This ¡may ¡sound ¡quite ¡complicated, ¡but ¡it ¡boils ¡down ¡to ¡a ¡

very ¡simple ¡algorithm… ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

8-­‑Apr-­‑13 ¡ 92 ¡

Lecture 2 -

• Fei-Fei Li

Example ¡Results: ¡Motorbikes ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

8-­‑Apr-­‑13 ¡ 93 ¡

Lecture 2 -

• Fei-Fei Li
• Training ¡

– 112 ¡hand-­‑segmented ¡images ¡

• Results ¡on ¡novel ¡sequences: ¡

Single-­‑frame ¡recogni.on ¡-­‑ ¡No ¡temporal ¡con.nuity ¡used! ¡

Example ¡Results: ¡Cows ¡

[Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

8-­‑Apr-­‑13 ¡ 94 ¡

Lecture 2 -

• Fei-Fei Li

Office chairs Dining room chairs

Example ¡Results: ¡Chairs ¡

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 95 ¡

Lecture 2 -

• Fei-Fei Li

Detec.ons ¡Using ¡Ground ¡Plane ¡Constraints ¡

left camera 1175 frames Battery of 5 ISM detectors for different car views [Leibe, Leonardis, Schiele, SLCV’04; IJCV’08]

8-­‑Apr-­‑13 ¡ 96 ¡

Lecture 2 -

• Fei-Fei Li

Training ¡ Test ¡ Output ¡

[Thomas, Ferrari, Tuytelaars, Leibe, Van Gool, 3DRR’07; RSS’08]

Inferring ¡Other ¡Informa.on: ¡Part ¡Labels ¡(1) ¡

8-­‑Apr-­‑13 ¡ 97 ¡

Lecture 2 -

• Fei-Fei Li

Inferring ¡Other ¡Informa.on: ¡Part ¡Labels ¡(2) ¡

[Thomas, Ferrari, Tuytelaars, Leibe, Van Gool, 3DRR’07; RSS’08]

8-­‑Apr-­‑13 ¡ 98 ¡

Lecture 2 -

• Fei-Fei Li

Inferring ¡Other ¡Informa.on: ¡Depth ¡Maps ¡

“Depth from a single image”

[Thomas, Ferrari, Tuytelaars, Leibe, Van Gool, 3DRR’07; RSS’08]

8-­‑Apr-­‑13 ¡ 99 ¡

Lecture 2 -

• Fei-Fei Li
• Try ¡to ¡fit ¡silhouebe ¡to ¡detected ¡person ¡
• Basic ¡idea ¡

– Search ¡for ¡the ¡silhouebe ¡that ¡simultaneously ¡op.mizes ¡the ¡

• Chamfer ¡match ¡to ¡the ¡distance-­‑transformed ¡edge ¡image ¡
• Overlap ¡with ¡the ¡top-­‑down ¡segmenta.on ¡

– Enforces ¡global ¡consistency ¡ – Caveat: ¡introduces ¡again ¡reliance ¡on ¡global ¡model ¡

Extension: ¡Es.ma.ng ¡Ar.cula.on ¡

[Leibe, Seemann, Schiele, CVPR’05]

8-­‑Apr-­‑13 ¡ 100 ¡

Lecture 2 -

• Fei-Fei Li
• Polar ¡instead ¡of ¡Cartesian ¡vo.ng ¡scheme ¡
• Benefits: ¡

– Recognize ¡objects ¡under ¡image-­‑plane ¡rota.ons ¡ – Possibility ¡to ¡share ¡parts ¡between ¡ar.cula.ons. ¡

• Caveats: ¡

– Rota.on ¡invariance ¡should ¡only ¡be ¡used ¡when ¡it’s ¡really ¡needed. ¡ (Also ¡increases ¡false ¡posi.ve ¡detec.ons) ¡ ¡

Extension: ¡Rota.on-­‑Invariant ¡Detec.on ¡

[Mikolajczyk, Leibe, Schiele, CVPR’06]

θq

φ

dq

φ θ

d

8-­‑Apr-­‑13 ¡ 101 ¡

Lecture 2 -

• Fei-Fei Li

Some.mes, ¡Rota.on ¡Invariance ¡Is ¡Needed… ¡

[Mikolajczyk et al., CVPR’06]

8-­‑Apr-­‑13 ¡ 102 ¡

Lecture 2 -

• Fei-Fei Li

You ¡Can ¡Try ¡It ¡At ¡Home… ¡

• Linux ¡binaries ¡available ¡ ¡

– Including ¡datasets ¡& ¡several ¡pre-­‑trained ¡detectors ¡ – hbp://www.vision.ee.ethz.ch/bleibe/code ¡

x y s

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 103 ¡

Lecture 2 -

• Fei-Fei Li

Discussion: ¡Implicit ¡Shape ¡Model ¡

• Pros: ¡

– Works ¡well ¡for ¡many ¡different ¡object ¡categories ¡

• Both ¡rigid ¡and ¡ar.culated ¡objects ¡

– Flexible ¡geometric ¡model ¡

• Can ¡recombine ¡parts ¡seen ¡on ¡different ¡training ¡examples ¡

– Learning ¡from ¡rela.vely ¡few ¡(50-­‑100) ¡training ¡examples ¡

• Cons: ¡

– Needs ¡supervised ¡training ¡data ¡

• Object ¡bounding ¡boxes ¡for ¡detec.on ¡
• Reference ¡segmenta.ons ¡for ¡top-­‑down ¡segm. ¡

– Only ¡weak ¡geometric ¡constraints ¡

• Result ¡segmenta.ons ¡may ¡contain ¡superfluous ¡ ¡

body ¡parts. ¡

– Purely ¡representa.ve ¡model ¡

• No ¡discrimina.ve ¡learning ¡

Source: ¡Bas.an ¡Leibe ¡

8-­‑Apr-­‑13 ¡ 104 ¡

Lecture 2 -

• Fei-Fei Li

What ¡we ¡have ¡learned ¡today ¡

8-­‑Apr-­‑13 ¡ 105 ¡

• Visual ¡recogni.on ¡overview ¡

– Representa.on ¡ – Learning ¡ – Recogni.on ¡

• Implicit ¡Shape ¡Model ¡

– Representa.on ¡ – Recogni.on ¡ – Experiments ¡and ¡results ¡

¡