Parameterized Shape Models for Clothing Stephen Miller, - - PowerPoint PPT Presentation

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡1 ¡

Parameterized ¡Shape ¡Models ¡ for ¡Clothing ¡

Stephen ¡Miller, ¡Mario ¡Fritz ¡ Trevor ¡Darrell, ¡Pieter ¡Abbeel ¡ University ¡of ¡California, ¡Berkeley ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡2 ¡

Outline ¡

§ MoEvaEon ¡/ ¡Related ¡Work ¡ § Overview ¡

§ Training ¡ § Model ¡DefiniEon ¡ § Template ¡DefiniEon ¡ § Run ¡Time ¡ § Image ¡Processing ¡ § IniEalizaEon ¡ § OpEmizaEon ¡

§ Extension: ¡Folded ¡Models ¡ § Results ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡3 ¡

Broader ¡MoEvaEon ¡

§ ManipulaEon ¡of ¡deformable ¡objects ¡is ¡difficult ¡

§ (Near) ¡infinite ¡state ¡space ¡→ ¡hard ¡to ¡detect ¡ § Complex ¡transiEon ¡model ¡→ ¡hard ¡to ¡simulate ¡

§ Our ¡goal: ¡develop ¡tools ¡to ¡allow ¡for ¡robust, ¡ ¡ ¡ ¡ ¡autonomous ¡folding ¡of ¡cloth ¡

hWp://www.saynotocrack.com/index.php/2007/04/29/towel-­‑origami/ ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡4 ¡

Related ¡Work: ¡ManipulaEon ¡

“Gravity-­‑Based ¡RoboEc ¡Cloth ¡Folding” ¡

• J. ¡van ¡den ¡Berg, ¡S. ¡Miller, ¡K. ¡Goldberg, ¡P. ¡Abbeel ¡

§ Able ¡to ¡execute ¡user-­‑specified ¡folds ¡on ¡ ¡ polygonal ¡cloth, ¡given ¡N-­‑grippers. ¡ § Includes ¡parameterized ¡fold ¡sequences ¡for ¡ sweaters, ¡shirts, ¡pants, ¡and ¡towels ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡5 ¡

Related ¡Work: ¡ManipulaEon ¡

§ Problems: ¡

• 1. Relies ¡on ¡human ¡input ¡

§ User ¡must ¡specify ¡iniEal ¡polygon ¡by ¡hand ¡

• 2. Open-­‑loop ¡control ¡

§ Minor ¡errors ¡in ¡ calibraEon ¡ ¡ compound ¡over ¡ ¡ successive ¡folds ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡6 ¡

Related ¡Work: ¡DetecEon ¡

“AcEve ¡shape ¡models ¡– ¡their ¡training ¡and ¡ applicaEon” ¡ T.F. ¡Cootes ¡and ¡C.J. ¡Taylor ¡and ¡D.H. ¡Cooper ¡and ¡J. ¡ Graham ¡(1995) ¡

§ Strategy: ¡

§ Train ¡deformable ¡models, ¡annotated ¡with ¡key ¡ landmark ¡points ¡on ¡contour ¡ § When ¡new ¡contour ¡is ¡observed, ¡iteraEvely ¡deform ¡ model ¡to ¡fit ¡it ¡

§ Key ¡differences: ¡

§ More ¡emphasis ¡on ¡shape ¡than ¡func3on ¡ § Cannot ¡capture ¡folded ¡configuraEons ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡7 ¡

Goal: ¡Close ¡the ¡Loop ¡

§ Given ¡an ¡observed ¡arEcle ¡of ¡clothing, ¡find ¡a ¡low-­‑ level ¡polygonal ¡representaEon, ¡such ¡that ¡the ¡ clothing ¡may ¡be ¡folded ¡as ¡if ¡it ¡were ¡the ¡polygon ¡ § Detect ¡folded ¡as ¡well ¡as ¡spread-­‑out ¡ configuraEons ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡8 ¡

§ For ¡each ¡category ¡of ¡clothing, ¡define ¡a ¡ parameterized ¡skeletal ¡model ¡ § Fit ¡model ¡to ¡every ¡new ¡observed ¡contour ¡

Overview: ¡Our ¡Approach ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡9 ¡

Outline ¡

§ MoEvaEon ¡/ ¡Related ¡Work ¡ § Overview ¡

§ Training ¡ § Model ¡DefiniEon ¡ § Template ¡DefiniEon ¡ § Run ¡Time ¡ § Image ¡Processing ¡ § IniEalizaEon ¡ § OpEmizaEon ¡

§ Extension: ¡Folded ¡Models ¡ § Results ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡10 ¡

Designing ¡a ¡Model ¡

§ For ¡each ¡clothing ¡category, ¡design ¡a ¡model ¡ § Components: ¡

§ Set ¡of ¡parameters, ¡P ¡ § Landmark ¡Generator ¡ § Given ¡input ¡P, ¡output ¡landmark ¡points ¡ § Contour ¡Generator ¡ § Given ¡input ¡P, ¡output ¡uniformly-­‑sampled ¡ contour ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡11 ¡

Designing ¡a ¡Model ¡

§ For ¡each ¡clothing ¡category, ¡design ¡a ¡model ¡ § Components: ¡

§ Legality ¡set: ¡constrains ¡model ¡to ¡reasonable ¡ configuraEons ¡ § TransformaEon ¡FuncEons ¡to ¡Translate, ¡Rotate, ¡ and ¡Scale ¡parameters ¡s.t. ¡contour ¡is ¡Translated, ¡ Rotated, ¡and ¡Scaled ¡accordingly ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡12 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ 24 ¡Parameters ¡

§ 11 ¡skeletal ¡points ¡(2D) ¡ § 2 ¡sleeve ¡widths ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡13 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ 24 ¡Parameters ¡

§ 11 ¡skeletal ¡points ¡(2D) ¡ § 2 ¡sleeve ¡widths ¡

§ 13 ¡landmark ¡points ¡

§ BoWom ¡L/R ¡ § L/R ¡Armpit ¡ § L/R ¡Sleeve ¡T/B ¡ § L/R ¡Shoulder ¡ § L/R ¡Collar ¡ § Neck ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡14 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ 24 ¡Parameters ¡

§ 11 ¡skeletal ¡points ¡(2D) ¡ § 2 ¡sleeve ¡widths ¡

§ 13 ¡landmark ¡points ¡

§ BoWom ¡L/R ¡ § L/R ¡Armpit ¡ § L/R ¡Sleeve ¡T/B ¡ § L/R ¡Shoulder ¡ § L/R ¡Collar ¡ § Neck ¡

§ Associated ¡contour ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡15 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡16 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ No ¡self-­‑intersecEons ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡17 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ No ¡self-­‑intersecEons ¡ § Neck ¡above ¡shoulder ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡18 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ No ¡self-­‑intersecEons ¡ § Neck ¡above ¡shoulder ¡ § Collar ¡above ¡neck ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡19 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ No ¡self-­‑intersecEons ¡ § Neck ¡above ¡shoulder ¡ § Collar ¡above ¡neck ¡ § Collar ¡above ¡ ¡ shoulder ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡20 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ No ¡self-­‑intersecEons ¡ § Neck ¡above ¡shoulder ¡ § Collar ¡above ¡neck ¡ § Collar ¡above ¡ ¡ shoulder ¡ § Constrain ¡spine/horiz ¡ angle ¡within ¡pi/8 ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡21 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ No ¡self-­‑intersecEons ¡ § Neck ¡above ¡shoulder ¡ § Collar ¡above ¡neck ¡ § Collar ¡above ¡ ¡ shoulder ¡ § Constrain ¡spine/horiz ¡ angle ¡within ¡pi/8 ¡ § Constrain ¡shoulder/ spine ¡ angle ¡within ¡pi/15 ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡22 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ No ¡self-­‑intersecEons ¡ § Neck ¡above ¡shoulder ¡ § Collar ¡above ¡neck ¡ § Collar ¡above ¡ ¡ shoulder ¡ § Constrain ¡spine/horiz ¡ angle ¡within ¡pi/8 ¡ § Constrain ¡shoulder/spine ¡ angle ¡within ¡pi/15 ¡ § Constrain ¡shoulder/side ¡angle ¡within ¡pi/8 ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡23 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ Constrain ¡spine/boWom ¡ angle ¡within ¡pi/8 ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡24 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ Constrain ¡spine/boWom ¡ angle ¡within ¡pi/8 ¡ § Constrain ¡sleeve/side ¡ angle ¡> ¡pi/8 ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡25 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ Constrain ¡spine/boWom ¡ angle ¡within ¡pi/8 ¡ § Constrain ¡sleeve/side ¡ angle ¡> ¡pi/8 ¡ § Constrain ¡sleeve ¡ ¡ widths ¡within ¡20% ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡26 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ Constrain ¡spine/boWom ¡ angle ¡within ¡pi/8 ¡ § Constrain ¡sleeve/side ¡ angle ¡> ¡pi/8 ¡ § Constrain ¡sleeve ¡ ¡ widths ¡within ¡20% ¡ § Shoulder ¡width ¡at ¡least ¡ 1/10th ¡horizontal ¡width ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡27 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ Constrain ¡spine/boWom ¡ angle ¡within ¡pi/8 ¡ § Constrain ¡sleeve/side ¡ angle ¡> ¡pi/8 ¡ § Constrain ¡sleeve ¡ ¡ widths ¡within ¡20% ¡ § Shoulder ¡width ¡at ¡least ¡ 1/10th ¡horizontal ¡width ¡ § Shoulder ¡width ¡greater ¡than ¡sleeve ¡width ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡28 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ Legality ¡Constraints ¡

§ Constrain ¡spine/boWom ¡ angle ¡within ¡pi/8 ¡ § Constrain ¡sleeve/side ¡ angle ¡> ¡pi/8 ¡ § Constrain ¡sleeve ¡ ¡ widths ¡within ¡20% ¡ § Shoulder ¡width ¡at ¡least ¡ 1/10th ¡horizontal ¡width ¡ § Shoulder ¡width ¡greater ¡than ¡sleeve ¡width ¡ § Sleeve ¡at ¡least ¡twice ¡as ¡long ¡as ¡it ¡is ¡wide ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡29 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ TransformaEon ¡ FuncEons ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡30 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ TransformaEon ¡ FuncEons ¡

§ Translate ¡contour ¡ ↕ ¡ ¡ Translate ¡skeletal ¡points ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡31 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ TransformaEon ¡ FuncEons ¡

§ Translate ¡contour ¡ ↕ ¡ ¡ Translate ¡skeletal ¡points ¡ § Rotate ¡contour ¡ ↕ ¡ ¡ Rotate ¡skeletal ¡points ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡32 ¡

Example ¡Model: ¡Long-­‑Sleeve ¡

§ TransformaEon ¡ FuncEons ¡

§ Translate ¡contour ¡ ↕ ¡ ¡ Translate ¡skeletal ¡points ¡ § Rotate ¡contour ¡ ↕ ¡ ¡ Rotate ¡skeletal ¡points ¡ § Scale ¡contour ¡ ↕ ¡ ¡ Scale ¡skeletal ¡points ¡& ¡ Scale ¡sleeve ¡widths ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡33 ¡

Other ¡Models ¡

§ Designed ¡similar ¡models ¡for ¡short-­‑sleeved ¡ shirts, ¡pants, ¡and ¡towels ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡34 ¡

Outline ¡

§ MoEvaEon ¡/ ¡Related ¡Work ¡ § Overview ¡

§ Training ¡ § Model ¡DefiniEon ¡ § Template ¡DefiniEon ¡ § Run ¡Time ¡ § Image ¡Processing ¡ § IniEalizaEon ¡ § OpEmizaEon ¡

§ Extension: ¡Folded ¡Models ¡ § Results ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡35 ¡

Designing ¡a ¡Template ¡

§ For ¡each ¡model, ¡want ¡a ¡ ¡ “go-­‑to” ¡set ¡of ¡iniEal ¡ parameters ¡ § Define ¡a ¡template, ¡ ¡ meant ¡to ¡represent ¡the ¡ “average” ¡instance ¡of ¡a ¡

• model. ¡

§ Not ¡fine-­‑tuned: ¡user ¡ can ¡eyeball ¡a ¡ reasonable ¡template ¡ ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡36 ¡

Outline ¡

§ MoEvaEon ¡/ ¡Related ¡Work ¡ § Overview ¡

§ Training ¡ § Model ¡DefiniEon ¡ § Template ¡DefiniEon ¡ § Run ¡Time ¡ § Image ¡Processing ¡ § IniEalizaEon ¡ § OpEmizaEon ¡

§ Extension: ¡Folded ¡Models ¡ § Results ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡37 ¡

Image ¡Processing ¡

§ Begin ¡with ¡image ¡of ¡clothing ¡arEcle ¡ § Perform ¡birds-­‑eye ¡transformaEon ¡to ¡remove ¡ perspecEve ¡effects ¡ § Extract ¡contour ¡via ¡background ¡segmentaEon ¡

§ For ¡green ¡background, ¡we ¡used ¡hue ¡thresholding ¡ § Could ¡use ¡grabcut ¡for ¡more ¡complex ¡backgrounds ¡

¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡38 ¡

Outline ¡

§ MoEvaEon ¡/ ¡Related ¡Work ¡ § Overview ¡

§ Training ¡ § Model ¡DefiniEon ¡ § Template ¡DefiniEon ¡ § Run ¡Time ¡ § Image ¡Processing ¡ § IniEalizaEon ¡ § OpEmizaEon ¡

§ Extension: ¡Folded ¡Models ¡ § Results ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡39 ¡

PCA ¡IniEalizaEon ¡

§ Start ¡with ¡template ¡

§ Provides ¡reasonable ¡guess ¡for ¡rela3ve ¡starEng ¡ configuraEon ¡ § Not ¡displacement-­‑, ¡rotaEon-­‑, ¡or ¡scale-­‑ ¡invariant ¡

§ Accommodate ¡for ¡this ¡with ¡PCA ¡iniEalizaEon ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡40 ¡

PCA ¡IniEalizaEon: ¡Translate ¡

§ Begin ¡in ¡arbitrary ¡ start ¡locaEon ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡41 ¡

PCA ¡IniEalizaEon: ¡Translate ¡

§ Begin ¡in ¡arbitrary ¡ start ¡locaEon ¡ § Calculate ¡center ¡

• f ¡gravity ¡of ¡both ¡

contours ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡42 ¡

PCA ¡IniEalizaEon: ¡Translate ¡

§ Begin ¡in ¡arbitrary ¡ start ¡locaEon ¡ § Calculate ¡center ¡

• f ¡gravity ¡of ¡both ¡

contours ¡ § Translate ¡model ¡ such ¡that ¡centers ¡ are ¡aligned ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡43 ¡

PCA ¡IniEalizaEon: ¡Rotate ¡

§ Use ¡PCA ¡to ¡ compute ¡the ¡ principal ¡axes ¡of ¡ both ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡44 ¡

PCA ¡IniEalizaEon: ¡Rotate ¡

§ Use ¡PCA ¡to ¡ compute ¡the ¡ principle ¡axes ¡of ¡ both ¡ § Rotate ¡such ¡that ¡ axes ¡are ¡aligned ¡

§ Note: ¡assumes ¡ clothing ¡is ¡upright ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡45 ¡

PCA ¡IniEalizaEon: ¡Scale ¡

§ Compute ¡“top ¡ point”: ¡

§ Topmost ¡intersect ¡ between ¡principle ¡ axis ¡and ¡contour ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡46 ¡

PCA ¡IniEalizaEon: ¡Scale ¡

§ Compute ¡“top ¡ point”: ¡

§ Topmost ¡intersect ¡ between ¡principle ¡ axis ¡and ¡contour ¡

§ Scale ¡model ¡ uniformly ¡about ¡ center, ¡such ¡that ¡ top ¡points ¡are ¡ aligned ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡47 ¡

Outline ¡

§ MoEvaEon ¡/ ¡Related ¡Work ¡ § Overview ¡

§ Training ¡ § Model ¡DefiniEon ¡ § Template ¡DefiniEon ¡ § Run ¡Time ¡ § Image ¡Processing ¡ § IniEalizaEon ¡ § OpEmizaEon ¡

§ Extension: ¡Folded ¡Models ¡ § Results ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡48 ¡

OpEmizaEon ¡

§ Idea: ¡pose ¡model-­‑fiong ¡as ¡opEmizaEon ¡ problem ¡over ¡our ¡parameter ¡space ¡ § Entails: ¡

§ A ¡cost ¡funcEon, ¡quanEfying ¡the ¡fit ¡of ¡our ¡model ¡ § Method ¡of ¡formulaEng ¡and ¡imposing ¡constraints ¡ § Numerical ¡solver ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡49 ¡

Cost ¡FuncEon ¡

§ Average ¡nn ¡distance ¡from ¡model ¡to ¡observed: ¡

¡ ¡

∑

∈ →

=

M m O M

• m

dist M P F )) , ( min( | | 1 ) (

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡50 ¡

Cost ¡FuncEon ¡

§ Average ¡nn ¡distance ¡from ¡observed ¡to ¡model: ¡

¡ ¡

∑

∈ →

=

O

• M

O

m

• dist

O P F )) , ( min( | | 1 ) (

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡51 ¡

Cost ¡FuncEon ¡

§ Score ¡fit ¡as ¡weighted ¡sum: ¡

¡ ¡

) ( ) 1 ( ) ( ) ( P F P F P F

M O O M → →

− + = α α

+ ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡52 ¡

Impose ¡Constraints ¡

§ Normalize ¡fit ¡funcEon ¡

¡ § Simple ¡bound ¡ for ¡h ¡x ¡w ¡image: ¡

§ Violated ¡constraints ¡each ¡add ¡cost ¡of ¡1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡[constraint ¡violaEon ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡indicators ¡c(P)] ¡ § Guaranteed ¡to ¡favor ¡legal ¡states ¡over ¡illegal ¡

)) ( max( ) ( ) ( ~ P F P F P F =

2 2

) ( w h P F + ≤

∑

+ =

c

P c P F P C ) ( ) ( ~ ) (

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡53 ¡

§ Use ¡a ¡simple ¡variant ¡of ¡coordinate ¡descent ¡ § OpEmize ¡over ¡each ¡ parameter ¡individually ¡ § Step-­‑size ¡increases ¡if ¡cost ¡ funcEon ¡decreases ¡ § Typically ¡converges ¡in ¡ ¡ <15 ¡iteraEons ¡

Numerical ¡OpEmizaEon ¡

Image: ¡hWp://en.wikipedia.org/wiki/Gradient_Descent ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡54 ¡

MulE-­‑Phase ¡OpEmizaEon ¡

§ Problem: ¡Local ¡Minima ¡

§ Cost ¡funcEon ¡is ¡not ¡convex ¡ § Model ¡may ¡quickly ¡converge ¡to ¡subopEmal ¡result ¡

§ SoluEon: ¡MulE-­‑Phase ¡OpEmizaEon ¡

§ Overconstrain ¡model, ¡relax ¡over ¡Eme ¡ § Higher ¡exploraEon ¡done ¡in ¡lower-­‑dimensional ¡ state ¡space ¡ § Ensures ¡more ¡reasonable ¡soluEons ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡55 ¡

Phase ¡1: ¡OrientaEon ¡

OpEmize ¡over ¡net ¡rotaEon: ¡constrain ¡rest ¡to ¡template ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡56 ¡

Phase ¡1: ¡OrientaEon ¡

OpEmize ¡over ¡net ¡rotaEon: ¡constrain ¡rest ¡to ¡template ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡57 ¡

Phase ¡1: ¡OrientaEon ¡

OpEmize ¡over ¡net ¡rotaEon: ¡constrain ¡rest ¡to ¡template ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡58 ¡

Phase ¡1: ¡OrientaEon ¡

OpEmize ¡over ¡net ¡rotaEon: ¡constrain ¡rest ¡to ¡template ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡59 ¡

Phase ¡1: ¡OrientaEon ¡

Complete! ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡60 ¡

Phase ¡2: ¡Symmetric ¡

OpEmize ¡over ¡half ¡parameters, ¡constrain ¡rest ¡by ¡ symmetry ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡61 ¡

Phase ¡2: ¡Symmetric ¡

OpEmize ¡over ¡half ¡parameters, ¡constrain ¡rest ¡by ¡ symmetry ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡62 ¡

Phase ¡2: ¡Symmetric ¡

OpEmize ¡over ¡half ¡parameters, ¡constrain ¡rest ¡by ¡ symmetry ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡63 ¡

Phase ¡2: ¡Symmetric ¡

OpEmize ¡over ¡half ¡parameters, ¡constrain ¡rest ¡by ¡ symmetry ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡64 ¡

Phase ¡2: ¡Symmetric ¡

OpEmize ¡over ¡half ¡parameters, ¡constrain ¡rest ¡by ¡ symmetry ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡65 ¡

Phase ¡2: ¡Symmetric ¡

OpEmize ¡over ¡half ¡parameters, ¡constrain ¡rest ¡by ¡ symmetry ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡66 ¡

Phase ¡2: ¡Symmetric ¡

OpEmize ¡over ¡half ¡parameters, ¡constrain ¡rest ¡by ¡ symmetry ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡67 ¡

Phase ¡2: ¡Symmetric ¡

Complete! ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡68 ¡

Phase ¡3: ¡Asymmetric ¡

Break ¡symmetry: ¡opEmize ¡over ¡all ¡parameters ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡69 ¡

Phase ¡3: ¡Asymmetric ¡

Break ¡symmetry: ¡opEmize ¡over ¡all ¡parameters ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡70 ¡

Phase ¡3: ¡Asymmetric ¡

Break ¡symmetry: ¡opEmize ¡over ¡all ¡parameters ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡71 ¡

Phase ¡3: ¡Asymmetric ¡

Break ¡symmetry: ¡opEmize ¡over ¡all ¡parameters ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡72 ¡

Phase ¡3: ¡Asymmetric ¡

Break ¡symmetry: ¡opEmize ¡over ¡all ¡parameters ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡73 ¡

Phase ¡3: ¡Asymmetric ¡

Break ¡symmetry: ¡opEmize ¡over ¡all ¡parameters ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡74 ¡

Phase ¡3: ¡Asymmetric ¡

Break ¡symmetry: ¡opEmize ¡over ¡all ¡parameters ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡75 ¡

Phase ¡3: ¡Asymmetric ¡

Break ¡symmetry: ¡opEmize ¡over ¡all ¡parameters ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡76 ¡

Phase ¡3: ¡Asymmetric ¡

Complete! ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡77 ¡

Outline ¡

§ MoEvaEon ¡/ ¡Related ¡Work ¡ § Overview ¡

§ Training ¡ § Model ¡DefiniEon ¡ § Template ¡DefiniEon ¡ § Run ¡Time ¡ § Image ¡Processing ¡ § IniEalizaEon ¡ § OpEmizaEon ¡

§ Extension: ¡Folded ¡Models ¡ § Results ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡78 ¡

Extension: ¡Folded ¡Models ¡

§ How ¡to ¡account ¡for ¡folds? ¡ § From ¡any ¡model, ¡can ¡generate ¡a ¡folded ¡model: ¡

§ “Freeze” ¡iniEal ¡model ¡parameters ¡(opEonal) ¡ § Introduce ¡parameters ¡represenEng ¡fold ¡line ¡ § Compute ¡contour/landmark ¡by ¡folding ¡iniEal ¡ model ¡contour/landmark ¡about ¡fold ¡line ¡

§ MulEple ¡folds ¡defined ¡recursively ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡79 ¡

Extension: ¡Folded ¡Models ¡

§ IniEalize ¡folded ¡model ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡80 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡81 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡82 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡83 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡84 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡85 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡86 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡87 ¡

Extension: ¡Folded ¡Models ¡

Complete! ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡88 ¡

Extension: ¡Folded ¡Models ¡

§ IniEalize ¡new ¡folded ¡model, ¡using ¡last ¡as ¡seed ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡89 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡90 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡91 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡92 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡93 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡94 ¡

Extension: ¡Folded ¡Models ¡

§ OpEmize ¡over ¡fold ¡line ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡95 ¡

Extension: ¡Folded ¡Models ¡

Complete! ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡96 ¡

Outline ¡

§ MoEvaEon ¡/ ¡Related ¡Work ¡ § Overview ¡

§ Training ¡ § Model ¡DefiniEon ¡ § Template ¡DefiniEon ¡ § Run ¡Time ¡ § Image ¡Processing ¡ § IniEalizaEon ¡ § OpEmizaEon ¡

§ Extension: ¡Folded ¡Models ¡ § Results ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡97 ¡

Results: ¡Image ¡Set ¡

§ Tested ¡on ¡400 ¡images. ¡

§ 10 ¡Long-­‑sleeved ¡shirts ¡x ¡10 ¡configuraEons ¡ § 10 ¡Short ¡sleeved ¡shirts ¡x ¡10 ¡configuraEons ¡ § 10 ¡Pants ¡x ¡10 ¡configuraEons ¡ § 10 ¡Towels ¡x ¡10 ¡configuraEons ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡98 ¡

Results: ¡Image ¡Set ¡

§ Hand-­‑annotated ¡locaEon ¡of ¡landmark ¡points ¡

• n ¡each ¡image ¡

§ Compared ¡to ¡landmark ¡points ¡our ¡code ¡found ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡99 ¡

Results: ¡Image ¡Set ¡

§ RepresentaEve ¡matches: ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡100 ¡

Results: ¡Image ¡Set ¡

§ Our ¡approach: ¡ ¡ § Comparison: ¡Polygonal ¡Approach ¡

Clothing ¡Type ¡ Accuracy ¡(pixels) ¡ Accuracy ¡(cm) ¡ Towel ¡ 2.87 ¡± ¡1.81 ¡ 0.75 ¡± ¡0.47 ¡ Pants ¡ 4.26 ¡± ¡1.66 ¡ 1.11 ¡± ¡ ¡0.43 ¡ Short-­‑Sleeved ¡Shirt ¡ 5.83 ¡± ¡3.24 ¡ 1.51 ¡± ¡0.84 ¡ Long-­‑Sleeved ¡Shirt ¡ 5.68 ¡± ¡2.95 ¡ 1.48 ¡± ¡0.77 ¡ Clothing ¡Type ¡ Accuracy ¡(pixels) ¡ Accuracy ¡(cm) ¡ Towel ¡ ¡ ¡2.87 ¡± ¡1.81 ¡ ¡ ¡0.75 ¡± ¡0.47 ¡ Pants ¡ 15.45 ¡± ¡36.09 ¡ ¡ ¡4.02 ¡± ¡9.38 ¡ Short-­‑Sleeved ¡Shirt ¡ 86.10 ¡± ¡46.44 ¡ 22.39 ¡± ¡12.07 ¡ Long-­‑Sleeved ¡Shirt ¡ 12.77 ¡± ¡9.29 ¡ ¡ ¡3.32 ¡± ¡2.41 ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡101 ¡

Results: ¡End-­‑to-­‑End ¡System ¡

§ Integrated ¡into ¡pre-­‑exisEng ¡folding ¡code ¡on ¡the ¡ PR2 ¡ § Open-­‑Loop: ¡ § Closed-­‑Loop: ¡

User-­‑Input ¡ Polygon ¡ Fold ¡1 ¡ Fold ¡2 ¡ Fit ¡IniEal ¡ Model ¡ Fold ¡1 ¡ Fit ¡ Folded ¡ Model ¡ Fold ¡2 ¡ Fold ¡… ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡102 ¡

Results: ¡End-­‑to-­‑End ¡System ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡103 ¡

Conclusion ¡

§ Our ¡contribuEon ¡

§ Defined ¡a ¡novel ¡approach ¡to ¡cloth ¡detecEon, ¡using ¡ skeletal ¡models ¡ § Provided ¡visual ¡feedback ¡to ¡roboEc ¡folding ¡ procedure, ¡making ¡it ¡more ¡robust ¡ § Tested ¡on ¡large ¡dataset ¡of ¡images ¡

§ Future ¡work: ¡

§ More ¡principled ¡iniEalizaEon ¡ § Incorporate ¡appearance ¡(texture) ¡informaEon ¡ § AutomaEcally ¡learn ¡model ¡

Stephen ¡Miller, ¡Parameterized ¡Shape ¡Models ¡for ¡Clothing, ¡104 ¡

Thank ¡You ¡