SLIDE 1 What ¡more ¡can ¡we ¡do ¡with ¡videos? ¡ ¡
Occlusion ¡and ¡Mo6on ¡Reasoning ¡for ¡Tracking ¡& ¡Human ¡Pose ¡Es6ma6on ¡
Karteek ¡Alahari ¡
Inria ¡Grenoble ¡– ¡Rhone-‑Alpes ¡
¡ ¡ Joint ¡work ¡with ¡Anoop ¡Cherian, ¡Yang ¡Hua, ¡Julien ¡Mairal, ¡Cordelia ¡Schmid ¡
SLIDE 2
But ¡before ¡that… ¡a ¡blast ¡from ¡the ¡past ¡
SLIDE 3 Scene ¡Understanding ¡
Interac6ons ¡(cliques) ¡of ¡size ¡3 ¡
c
New ¡higher ¡order ¡poten.als ¡
Joint ¡work ¡with ¡L. ¡Ladicky, ¡C. ¡Russell, ¡P. ¡Sturgess, ¡P. ¡H. ¡S. ¡Torr ¡
SLIDE 4
SLIDE 5
Sky ¡ Building ¡ Tree ¡ Tree ¡ Road ¡ Sidewalk ¡ Car ¡ Person ¡
SLIDE 6 Space-‑6me ¡video ¡(over-‑) ¡segmenta6on ¡
Hollywood ¡dataset: ¡Laptev ¡et ¡al., ¡’08 ¡
Joint ¡work ¡with ¡I. ¡Laptev, ¡J. ¡Lezama, ¡J. ¡Sivic ¡
SLIDE 7
Video ¡as ¡a ¡space-‑6me ¡volume ¡
SLIDE 8 Point-‑tracks ¡to ¡capture ¡long-‑range ¡mo6on ¡
Brox ¡and ¡Malik, ¡ECCV ¡’10 ¡ Wang ¡et ¡al., ¡CVPR ¡’11 ¡
SLIDE 9
Track ¡Clustering ¡
SLIDE 10 Outline ¡
- Use ¡the ¡tracks ¡to ¡es6mate ¡
the ¡state ¡of ¡the ¡object ¡
- Human ¡pose ¡es6ma6on ¡in ¡
videos ¡
SLIDE 11 Outline ¡
- Use ¡the ¡tracks ¡to ¡es6mate ¡
the ¡state ¡of ¡the ¡object ¡
- Human ¡pose ¡es6ma6on ¡in ¡
videos ¡
SLIDE 12 Object ¡Tracking ¡
Joint ¡work ¡with ¡Y. ¡Hua, ¡C. ¡Schmid ¡
SLIDE 13 Object ¡Tracking ¡
Joint ¡work ¡with ¡Y. ¡Hua, ¡C. ¡Schmid ¡
SLIDE 14 Object ¡Tracking ¡
Joint ¡work ¡with ¡Y. ¡Hua, ¡C. ¡Schmid ¡
SLIDE 15
Object ¡Tracking ¡
TLD ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡SPLTT ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Struck ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Ours ¡
SLIDE 16 Object ¡Tracking ¡
- Tracking-‑by-‑detec6on ¡approaches ¡
– Struck ¡[Hare ¡et ¡al., ¡ICCV ¡2011] ¡ – SPLTT ¡[Supancic ¡III ¡et ¡al., ¡CVPR ¡2013] ¡
SLIDE 17 Object ¡Tracking ¡
- Tracking-‑by-‑detec6on ¡approaches ¡
– Struck ¡[Hare ¡et ¡al., ¡ICCV ¡2011] ¡ – SPLTT ¡[Supancic ¡III ¡et ¡al., ¡CVPR ¡2013] ¡
Frame ¡1 ¡
SLIDE 18 Object ¡Tracking ¡
- Tracking-‑by-‑detec6on ¡approaches ¡
– Struck ¡[Hare ¡et ¡al., ¡ICCV ¡2011] ¡ – SPLTT ¡[Supancic ¡III ¡et ¡al., ¡CVPR ¡2013] ¡
Frame ¡1 ¡ Object ¡labelled ¡in ¡frame ¡1 ¡
SLIDE 19 Object ¡Tracking ¡
- Tracking-‑by-‑detec6on ¡approaches ¡
– Struck ¡[Hare ¡et ¡al., ¡ICCV ¡2011] ¡ – SPLTT ¡[Supancic ¡III ¡et ¡al., ¡CVPR ¡2013] ¡
Frame ¡1 ¡ Object ¡labelled ¡in ¡frame ¡1 ¡ Learn ¡a ¡model ¡with ¡this ¡annota6on ¡
SLIDE 20 Object ¡Tracking ¡
- Tracking-‑by-‑detec6on ¡approaches ¡
– Struck ¡[Hare ¡et ¡al., ¡ICCV ¡2011] ¡ – SPLTT ¡[Supancic ¡III ¡et ¡al., ¡CVPR ¡2013] ¡
Frame ¡2 ¡ Evaluate ¡the ¡model ¡on ¡new ¡frames ¡
SLIDE 21 Object ¡Tracking ¡
- Tracking-‑by-‑detec6on ¡approaches ¡
– Struck ¡[Hare ¡et ¡al., ¡ICCV ¡2011] ¡ – SPLTT ¡[Supancic ¡III ¡et ¡al., ¡CVPR ¡2013] ¡
Frame ¡2 ¡ Evaluate ¡the ¡model ¡on ¡new ¡frames ¡ Update ¡the ¡model ¡
SLIDE 22 When ¡to ¡update? ¡
- Struck ¡[Hare ¡et ¡al., ¡ICCV ¡2011] ¡
– With ¡every ¡new ¡detec6on ¡
SLIDE 23 When ¡to ¡update? ¡
- Struck ¡[Hare ¡et ¡al., ¡ICCV ¡2011] ¡
– With ¡every ¡new ¡detec6on ¡
SLIDE 24 When ¡to ¡update? ¡
- SPLTT ¡[Supancic ¡III ¡et ¡al., ¡CVPR ¡2013] ¡
– A ¡selec6on ¡of ¡detec6ons ¡
SLIDE 25 When ¡to ¡update? ¡
– Leads ¡to ¡drieing ¡
Object ¡occluded ¡or ¡leaves ¡the ¡frame ¡
SLIDE 26 When ¡to ¡update? ¡
– Leads ¡to ¡drieing ¡
Object ¡occluded ¡or ¡leaves ¡the ¡frame ¡ Object ¡changes ¡in ¡appearance ¡
SLIDE 27 When ¡to ¡update? ¡
– Leads ¡to ¡drieing ¡
Object ¡changes ¡in ¡appearance ¡ Object ¡occluded ¡or ¡leaves ¡the ¡frame ¡
SLIDE 28 Determine ¡the ¡object ¡state ¡
Hua, ¡Alahari, ¡Schmid, ¡ECCV ¡2014 ¡
SLIDE 29 Determine ¡the ¡object ¡state ¡
Hua, ¡Alahari, ¡Schmid, ¡ECCV ¡2014 ¡
SLIDE 30 Determine ¡the ¡object ¡state ¡
- e.g., ¡geometric ¡transforma6on ¡
Hua, ¡Alahari, ¡Schmid, ¡ECCV ¡2014 ¡
SLIDE 31 Determine ¡the ¡object ¡state ¡
- e.g., ¡geometric ¡transforma6on ¡
- We ¡es6mate ¡a ¡similarity ¡transform ¡
Hua, ¡Alahari, ¡Schmid, ¡ECCV ¡2014 ¡
SLIDE 32 Determine ¡the ¡object ¡state ¡
- If ¡a ¡significant ¡change ¡occurs, ¡we ¡
– train ¡a ¡new ¡detector; ¡and ¡ – maintain ¡a ¡set ¡of ¡exemplar ¡detectors ¡
¡
Hua, ¡Alahari, ¡Schmid, ¡ECCV ¡2014 ¡
SLIDE 33 Object ¡Tracking: ¡Results ¡
- Evaluated ¡on ¡a ¡benchmark ¡& ¡TLD ¡dataset ¡
Benchmark ¡dataset: ¡Wu ¡et ¡al., ¡2013 ¡ SPLTT: ¡Supancic ¡and ¡Ramanan, ¡2013 ¡ Struck: ¡Hare ¡et ¡al., ¡2011 ¡ TLD: ¡Kalal ¡et ¡al., ¡2012 ¡
SLIDE 34
Object ¡Tracking: ¡Summary ¡
SLIDE 35 Outline ¡
- Use ¡the ¡tracks ¡to ¡es6mate ¡
the ¡state ¡of ¡the ¡object ¡
- Human ¡pose ¡es6ma6on ¡in ¡
videos ¡
SLIDE 36 Human ¡Pose ¡Es6ma6on ¡
Poses ¡in ¡the ¡Wild ¡dataset ¡
Joint ¡work ¡with ¡A. ¡Cherian, ¡J. ¡Mairal, ¡C. ¡Schmid ¡
SLIDE 37 Human ¡Pose ¡Es6ma6on ¡(in ¡an ¡image) ¡
- Formulated ¡as ¡a ¡graph ¡op6miza6on ¡problem ¡
Yang ¡and ¡Ramanan, ¡CVPR ¡2011 ¡
SLIDE 38 Human ¡Pose ¡Es6ma6on ¡
- Extension ¡to ¡videos: ¡introduce ¡temporal ¡links ¡
e.g., ¡Sapp ¡et ¡al., ¡’11, ¡Tokola ¡et ¡al., ¡’13 ¡
SLIDE 39 Human ¡Pose ¡Es6ma6on ¡
- Extension ¡to ¡videos: ¡introduce ¡temporal ¡links ¡
- Inference ¡is ¡now ¡intractable ¡– ¡requires ¡
approximate ¡methods ¡
e.g., ¡Sapp ¡et ¡al., ¡’11, ¡Tokola ¡et ¡al., ¡’13 ¡
SLIDE 40 Human ¡Pose ¡Es6ma6on ¡
- Extension ¡to ¡videos: ¡introduce ¡temporal ¡links ¡
- Inference ¡is ¡now ¡intractable ¡– ¡requires ¡
approximate ¡methods ¡
– Sapp ¡et ¡al. ¡’11: ¡Convex ¡combina6on ¡of ¡trees ¡ – Park ¡& ¡Ramanan ¡’11: ¡Candidate ¡set ¡of ¡poses ¡ – Tokola ¡et ¡al. ¡’13: ¡Restrict ¡the ¡set ¡of ¡part ¡tracks ¡
SLIDE 41 Our ¡Approxima6ons ¡
- Stabilize ¡the ¡lower-‑limb ¡pose ¡es6mates ¡
- Decompose ¡poses ¡and ¡perform ¡limb-‑tracking ¡
Cherian, ¡Mairal, ¡Alahari, ¡Schmid, ¡CVPR ¡2014 ¡
SLIDE 42 Our ¡Approxima6ons ¡
- Stabilize ¡the ¡lower-‑limb ¡pose ¡es6mates ¡
- Decompose ¡poses ¡and ¡perform ¡limb-‑tracking ¡
Cherian, ¡Mairal, ¡Alahari, ¡Schmid, ¡CVPR ¡2014 ¡
SLIDE 43
Human ¡Pose ¡Es6ma6on ¡
SLIDE 44
Human ¡Pose ¡Es6ma6on ¡
SLIDE 45
Human ¡Pose ¡Es6ma6on ¡
SLIDE 46 Summary ¡
- Use ¡the ¡tracks ¡to ¡es6mate ¡
the ¡state ¡of ¡the ¡object ¡
- Human ¡pose ¡es6ma6on ¡in ¡
videos ¡
SLIDE 47
¡Thank ¡you! ¡
