Spa$al Pyramid Matching for Recognizing Natural Scene - - PowerPoint PPT Presentation

Spa$al ¡Pyramid ¡Matching ¡for ¡ Recognizing ¡Natural ¡Scene ¡Categories ¡ ¡

Arun ¡Shivanandan ¡ ¡Mhd ¡Amro ¡Najjar ¡

Many slides adapted from Fei-Fei Li, Rob Fergus, and Antonio Torralba, Svetlana Lazebnik, Kristen Grauman

Outline ¡

• Introduc$on ¡
• Bag ¡of ¡Features ¡
• Pyramid ¡Matching ¡
• Spa$al ¡Pyramid ¡Matching ¡
• Feature ¡Extrac$on ¡
• Experiments ¡
• Discussion ¡

Introduc$on ¡

• Objec$ve ¡ ¡

– Recognize ¡the ¡seman$c ¡category ¡of ¡an ¡image ¡ – That ¡is, ¡classify ¡the ¡scene ¡(forest, ¡street, ¡etc.) ¡or ¡ the ¡object ¡of ¡interest ¡in ¡the ¡image ¡

• Method ¡

– Extend ¡Bag ¡of ¡Features ¡by ¡incorpora$ng ¡spa$al ¡ informa$on ¡

Bag ¡of ¡Features ¡

Steps: ¡ I. Interest ¡Points ¡– ¡Harris-­‑Laplace ¡

• II. Local ¡descriptors ¡– ¡SIFT ¡etc ¡
• III. Clustering ¡– ¡K-­‑means ¡– ¡clusters, ¡visual ¡words ¡
• IV. Histogram ¡of ¡visual ¡words ¡– ¡Bag ¡of ¡Features ¡
• ¡ ¡Text: ¡Bag ¡of ¡Words ¡
• ¡ ¡Image: ¡Bag ¡of ¡Visual ¡Words ¡

Bag ¡Of ¡Features ¡cont. ¡

Outline ¡of ¡image ¡classifica$on ¡

Limita$on ¡of ¡Bag ¡of ¡Features ¡ ¡

• Discards ¡informa$on ¡about ¡spa$al ¡layout ¡of ¡

features ¡

• Incapable ¡of ¡capturing ¡a ¡shape ¡or ¡segmen$ng ¡

the ¡object ¡from ¡its ¡background ¡

• Limited ¡descrip$ve ¡ability ¡
• Need ¡to ¡take ¡spa$al ¡informa$on ¡into ¡account ¡

Pyramid ¡Matching ¡

• ¡To ¡find ¡approximate ¡correspondence ¡between ¡two ¡

sets ¡

• ¡Place ¡a ¡sequence ¡of ¡increasingly ¡finer ¡grids ¡over ¡the ¡

feature ¡space ¡(Level ¡i ¡has ¡bins ¡of ¡size ¡2i ¡) ¡

• Take ¡ ¡weighted ¡sum ¡of ¡

¡ ¡ ¡ ¡number ¡of ¡matches ¡that ¡ ¡ ¡ ¡ ¡ ¡occur ¡at ¡each ¡level ¡ ¡ ¡

Pyramid ¡Matching ¡cont… ¡

Pyramid ¡Matching ¡Kernel ¡

• ¡Matches ¡at ¡level ¡l ¡includes ¡matches ¡at ¡level ¡l+1 ¡
• ¡Subtrac$on ¡gives ¡new ¡matches ¡at ¡the ¡level ¡
• ¡Penalize ¡results ¡from ¡larger ¡cells ¡by ¡weights ¡ ¡

¡ ¡ ¡ ¡ ¡for ¡ ¡ ¡ l ¡ ¡level ¡l ¡

• ¡Kernel: ¡

Spa$al ¡pyramid ¡representa$on ¡

• Apply ¡Pyramid ¡Matching ¡on ¡image ¡space ¡

Level 0 Lazebnik, Schmid & Ponce (CVPR 2006)

Spa$al ¡pyramid ¡representa$on ¡

• Apply ¡Pyramid ¡Matching ¡on ¡image ¡space ¡

Level 0 Level 1 Lazebnik, Schmid & Ponce (CVPR 2006)

Spa$al ¡pyramid ¡representa$on ¡

• Apply ¡Pyramid ¡Matching ¡on ¡image ¡space ¡

Level 0 Level 1level 1 Level 2 Lazebnik, Schmid & Ponce (CVPR 2006)

Beyond ¡bag ¡of ¡features… ¡

• Pyramid ¡matching ¡in ¡image ¡space ¡ ¡
• K-­‑means ¡clustering ¡in ¡feature ¡space ¡
• If ¡feature ¡vectors ¡are ¡quan$zed ¡into ¡M ¡

discrete ¡types, ¡the ¡final ¡kernel ¡is: ¡ ¡

• Can ¡be ¡implemented ¡as ¡a ¡concatena$on ¡of ¡

histogram ¡intersec$ons ¡of ¡all ¡channels ¡and ¡at ¡ all ¡resolu$ons ¡

Beyond ¡bag ¡of ¡features… ¡Example ¡

Feature ¡extrac$on ¡ ¡

• Weak ¡features: ¡oriented ¡edge ¡points, ¡points ¡

whose ¡gradient ¡magnitude ¡in ¡a ¡given ¡direc$on ¡ exceeds ¡a ¡minimum ¡threshold. ¡

– 2 ¡scales ¡8 ¡orienta$ons ¡ ¡M ¡= ¡16. ¡

• Strong ¡Features: ¡SIFT ¡ ¡Descriptors ¡of ¡16*16 ¡pixel ¡

patches ¡computed ¡over ¡a ¡grid ¡of ¡spacing ¡of ¡8 ¡

• pixels. ¡

– Vocabulary ¡sizes ¡used ¡in ¡the ¡experiments ¡, ¡M=200 ¡and ¡ M=400. ¡

Experiments ¡

• Performed ¡in ¡grayscale ¡for ¡all ¡images ¡
• Mul$class ¡classifica$on ¡is ¡done ¡using ¡SVM, ¡all-­‑ ¡

versus-­‑one ¡rule. ¡ ¡

• Done ¡on ¡three ¡ ¡diverse ¡data ¡sets: ¡Scene ¡

Category ¡Recogni$on, ¡Caltech ¡-­‑101 ¡and ¡Graz ¡

Scene ¡Category ¡Recogni$on ¡– ¡15 ¡ classes ¡

Scene ¡Category ¡Recogni$on-­‑ ¡Results ¡

• Drama$c ¡improvement ¡as ¡we ¡go ¡to ¡higher ¡levels ¡
• For ¡strong ¡features, ¡drop ¡from ¡L=2 ¡to ¡L=3, ¡because ¡

L=3 ¡is ¡too ¡fine, ¡but ¡overall ¡performance ¡is ¡unaffected ¡ ¡

• ¡Increasing ¡the ¡M ¡from ¡200 ¡to ¡400 ¡gives ¡only ¡slight ¡

improvement ¡

• The ¡coarse ¡cues ¡provided ¡by ¡the ¡pyramid ¡is ¡beger ¡

than ¡enlarging ¡the ¡visual ¡vocabulary ¡

Caltech-­‑101 ¡– ¡101 ¡categories ¡

• Geometrically ¡stable, ¡cluger-­‑less ¡objects ¡
• Best ¡result ¡(64.6%) ¡, ¡beger ¡than ¡state ¡of ¡the ¡

art ¡(53.9%) ¡

• M=200 ¡to ¡400 ¡creates ¡no ¡no$ceable ¡

improvement ¡

Successful and unsuccessful classes

Graz ¡dataset ¡

• High ¡intra-­‑class ¡varia$ons ¡
• Only ¡2 ¡object ¡classes ¡and ¡1 ¡background ¡class, ¡

but ¡with ¡diverse ¡range ¡of ¡scales ¡and ¡poses ¡

• Training ¡-­‑ ¡by ¡providing ¡nega$ve ¡and ¡posi$ve ¡

examples ¡

• Improvement ¡from ¡L=0 ¡to ¡2 ¡is ¡small ¡– ¡

geometric ¡variability ¡provides ¡ligle ¡global ¡ features ¡

Discussion ¡

• Pros ¡ ¡

– Captures ¡the ¡organiza$on ¡of ¡the ¡major ¡elements ¡of ¡ the ¡image ¡ – Provides ¡beger ¡performance ¡than ¡state-­‑of-­‑the-­‑art ¡ – Recogni$on ¡quality ¡not ¡affected ¡by ¡failure ¡at ¡higher ¡ levels ¡ ¡ – Coarse ¡cues ¡provided ¡by ¡the ¡pyramid ¡can ¡be ¡beger ¡ than ¡enlarging ¡the ¡visual ¡vocabulary ¡ – The ¡pyramid ¡is ¡computed ¡at ¡the ¡original ¡resolu$on ¡of ¡ the ¡image ¡ ¡high ¡frequency ¡details ¡are ¡preserved ¡ – Can ¡be ¡used ¡in ¡a ¡search ¡algorithm ¡ ¡

Discussion ¡

• Cons ¡ ¡

– Not ¡geometrically ¡invariant ¡ – Performance ¡won’t ¡be ¡enhanced ¡by ¡the ¡pyramid ¡ levels ¡when ¡the ¡class ¡contains ¡high ¡geometric ¡ variability ¡ – Can ¡be ¡combined ¡with ¡invariant ¡features ¡