Domain ¡Adapta,on ¡for ¡Upper ¡Body ¡Pose ¡ Tracking ¡in ¡Signed ¡TV ¡Broadcasts James ¡Charles 1 , ¡ Tomas ¡Pfister 2 , ¡Derek ¡Magee 1 , ¡David ¡Hogg 1 , ¡Andrew ¡Zisserman 2 1 School ¡of ¡Compu=ng 2 ¡ Visual ¡Geometry ¡Group ¡ ¡University ¡of ¡Leeds ¡University ¡of ¡Oxford Friday, 13 September 13
Mo=va=on: ¡ Automa,c ¡sign ¡language ¡recogni,on Idea: automatically learn signs by watching TV using weak supervision from subtitles Friday, 13 September 13
Mo=va=on: ¡ Automa,c ¡sign ¡language ¡recogni,on Idea: automatically learn signs by watching TV using weak supervision from subtitles Friday, 13 September 13
Introduc=on Given a large amount of annotated joint training data Accurate real-time joint tracking with Random Forest Method is similar to Kinect, but without depth Friday, 13 September 13
Problem There ¡is ¡only ¡training ¡data ¡for ¡one ¡ type ¡of ¡signer ¡(domain) Friday, 13 September 13
Problem There ¡is ¡only ¡training ¡data ¡for ¡one ¡ type ¡of ¡signer ¡(domain) Can’t ¡generalise ¡to ¡some ¡new ¡signers ¡(new ¡domains) Different build Different sleeve length Different hair length Friday, 13 September 13
Problem There ¡is ¡only ¡training ¡data ¡for ¡one ¡ type ¡of ¡signer ¡(domain) Can’t ¡generalise ¡to ¡some ¡new ¡signers ¡(new ¡domains) Different build Different sleeve length Different hair length Example: ¡ signers ¡with ¡short ¡sleeves Friday, 13 September 13
One ¡solu=on Annotate new training data Friday, 13 September 13
One ¡solu=on Annotate new training data Problem: annotation is very expensive! Friday, 13 September 13
One ¡solu=on Annotate new training data Problem: annotation is very expensive! Several hours of manual annotation per video Friday, 13 September 13
Key ¡idea ¡in ¡this ¡paper Synthesise training data for new domain by reusing existing training data Several hours of manual annotation per video Friday, 13 September 13
Key ¡idea ¡in ¡this ¡paper Synthesise training data for new domain by reusing existing training data Several hours of manual annotation per video Annotation = 1 NUMBER Friday, 13 September 13
Example: ¡ Tracking ¡signers ¡wearing ¡short ¡sleeves Original ¡forests ¡ Friday, 13 September 13
Example: ¡ Tracking ¡signers ¡wearing ¡short ¡sleeves Personalised ¡forests ¡ Training ¡COMPLETELY ¡AUTOMATIC Friday, 13 September 13
Related ¡work ¡ on ¡synthesising ¡training ¡data ¡for ¡discrimina=ve ¡predic=on • Kinect (CVPR’11): synthesise depth images • Everingham & Zisserman ICCV’05: synthesise using head model • Lepetit & Fua PAMI’06: synthesise affine distortions to classify interest points Kinect • Agarwal & Triggs PAMI’06: synthesise human pose for pose estimation • Pishchulin et al. CVPR’12: synthesise photorealistic images with different human poses Everingham & Zisserman ICCV’05 Friday, 13 September 13
METHOD ¡ Running ¡example: ¡ signers ¡wearing ¡sleeves ¡of ¡various ¡length Sleeve length (decreasing) Friday, 13 September 13
Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves Accurate real-time tracking with Random Forest Friday, 13 September 13
Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves Accurate real-time tracking with Random Forest Why colour posterior? Abstracts ¡away ¡ colour ¡of ¡clothes Friday, 13 September 13
Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves Accurate real-time tracking with Random Forest Why colour Why not just posterior? segmentation? ? Abstracts ¡away ¡ Cannot colour ¡of ¡clothes locate hands Friday, 13 September 13
Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves Accurate real-time tracking with Random Forest Why colour Why not just Problem with short sleeves: posterior? segmentation? ? Abstracts ¡away ¡ Cannot Colour posterior looks very different colour ¡of ¡clothes locate hands Friday, 13 September 13
Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves Solution: Accurate real-time tracking with Random Forest Synthesise training data for short sleeved signers using already tracked long sleeved videos Why colour Why not just Problem with short sleeves: + joint positions + joint positions posterior? segmentation? ? Abstracts ¡away ¡ Cannot Colour posterior looks very different colour ¡of ¡clothes locate hands Friday, 13 September 13
Method ¡overview Input: 0.5 Video ¡from ¡ Source ¡domain ¡ Target ¡label ¡ Colour ¡posterior ¡& ¡joint ¡ target ¡domain colour ¡posterior (sleeve ¡length) posi,ons ¡in ¡source ¡domain Friday, 13 September 13
Method ¡overview Input: 0.5 Video ¡from ¡ Source ¡domain ¡ Target ¡label ¡ Colour ¡posterior ¡& ¡joint ¡ target ¡domain colour ¡posterior (sleeve ¡length) posi,ons ¡in ¡source ¡domain Output: ¡ ¡ ¡ synthesised ¡training ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(with ¡target ¡sleeve ¡length) Friday, 13 September 13
Method ¡overview Input: 0.5 Video ¡from ¡ Source ¡domain ¡ Target ¡label ¡ Colour ¡posterior ¡& ¡joint ¡ target ¡domain colour ¡posterior (sleeve ¡length) posi,ons ¡in ¡source ¡domain Output: ¡ ¡ ¡ synthesised ¡training ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(with ¡target ¡sleeve ¡length) 1. ¡Train ¡joint ¡tracker ¡for ¡target ¡domain Friday, 13 September 13
Method ¡overview Input: 0.5 Video ¡from ¡ Source ¡domain ¡ Target ¡label ¡ Colour ¡posterior ¡& ¡joint ¡ target ¡domain colour ¡posterior (sleeve ¡length) posi,ons ¡in ¡source ¡domain Output: ¡ ¡ ¡ synthesised ¡training ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(with ¡target ¡sleeve ¡length) 1. ¡Train ¡joint ¡tracker ¡for ¡target ¡domain 2. ¡Apply ¡tracker ¡to ¡target ¡domain Friday, 13 September 13
Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) Friday, 13 September 13
Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) 2. ¡Template ¡personalisa,on ¡ Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior + Ini=al ¡synthesised ¡CP ¡image Friday, 13 September 13
Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) Friday, 13 September 13
Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) Friday, 13 September 13
Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) 2. ¡Template ¡personalisa,on ¡ Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior + Ini=al ¡synthesised ¡CP ¡image Friday, 13 September 13
Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) 2. ¡Template ¡personalisa,on ¡ Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior + Ini=al ¡synthesised ¡CP ¡image Friday, 13 September 13
Method ¡detail 1. ¡Colour ¡posterior ¡synthesis ¡ Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves + Source ¡signer Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons) (Known ¡joint ¡loca=ons) 2. ¡Template ¡personalisa,on ¡ Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior + Ini=al ¡synthesised ¡CP ¡image Friday, 13 September 13
Recommend
More recommend
