Domain Adapta,on for Upper Body Pose Tracking in Signed TV - - PowerPoint PPT Presentation

Domain ¡Adapta,on ¡for ¡Upper ¡Body ¡Pose ¡ Tracking ¡in ¡Signed ¡TV ¡Broadcasts

James ¡Charles1, ¡Tomas ¡Pfister2, ¡Derek ¡Magee1, ¡David ¡Hogg1, ¡Andrew ¡Zisserman2

2 ¡Visual ¡Geometry ¡Group

¡University ¡of ¡Oxford

1School ¡of ¡Compu=ng

¡ ¡University ¡of ¡Leeds

Friday, 13 September 13

using weak supervision from subtitles

Mo=va=on: ¡Automa,c ¡sign ¡language ¡recogni,on

Idea: automatically learn signs by watching TV

Friday, 13 September 13

using weak supervision from subtitles

Mo=va=on: ¡Automa,c ¡sign ¡language ¡recogni,on

Idea: automatically learn signs by watching TV

Friday, 13 September 13

Introduc=on

Given a large amount of annotated joint training data Method is similar to Kinect, but without depth Accurate real-time joint tracking with Random Forest

Friday, 13 September 13

Problem

There ¡is ¡only ¡training ¡data ¡for ¡one ¡type ¡of ¡signer ¡(domain)

Friday, 13 September 13

Problem

There ¡is ¡only ¡training ¡data ¡for ¡one ¡type ¡of ¡signer ¡(domain) Can’t ¡generalise ¡to ¡some ¡new ¡signers ¡(new ¡domains)

Different build Different hair length Different sleeve length

Friday, 13 September 13

Problem

There ¡is ¡only ¡training ¡data ¡for ¡one ¡type ¡of ¡signer ¡(domain) Can’t ¡generalise ¡to ¡some ¡new ¡signers ¡(new ¡domains)

Example: ¡signers ¡with ¡short ¡sleeves Different build Different hair length Different sleeve length

Friday, 13 September 13

One ¡solu=on

Annotate new training data

Friday, 13 September 13

One ¡solu=on

Annotate new training data Problem: annotation is very expensive!

Friday, 13 September 13

One ¡solu=on

Annotate new training data

Several hours of manual annotation per video

Problem: annotation is very expensive!

Friday, 13 September 13

Several hours of manual annotation per video

Key ¡idea ¡in ¡this ¡paper

Synthesise training data for new domain by reusing existing training data

Friday, 13 September 13

Several hours of manual annotation per video

Key ¡idea ¡in ¡this ¡paper

Synthesise training data for new domain by reusing existing training data

Annotation =

1 NUMBER

Friday, 13 September 13

Original ¡forests ¡

Example: ¡Tracking ¡signers ¡wearing ¡short ¡sleeves

Friday, 13 September 13

Example: ¡Tracking ¡signers ¡wearing ¡short ¡sleeves

Personalised ¡forests ¡ Training ¡COMPLETELY ¡AUTOMATIC

Friday, 13 September 13

• Kinect (CVPR’11):

synthesise depth images

• Everingham & Zisserman ICCV’05:

synthesise using head model

• Lepetit & Fua PAMI’06: synthesise

affine distortions to classify interest points

• Agarwal & Triggs PAMI’06:

synthesise human pose for pose estimation

• Pishchulin et al. CVPR’12:

synthesise photorealistic images with different human poses

Related ¡work ¡

• n ¡synthesising ¡training ¡data ¡for ¡discrimina=ve ¡predic=on

Everingham & Zisserman ICCV’05 Kinect

Friday, 13 September 13

METHOD ¡

Sleeve length (decreasing)

Running ¡example: ¡signers ¡wearing ¡sleeves ¡of ¡various ¡length

Friday, 13 September 13

Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves

Accurate real-time tracking with Random Forest

Friday, 13 September 13

Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves

Accurate real-time tracking with Random Forest

Abstracts ¡away ¡ colour ¡of ¡clothes Why colour posterior?

Friday, 13 September 13

Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves

Accurate real-time tracking with Random Forest

Abstracts ¡away ¡ colour ¡of ¡clothes Why colour posterior?

?

Why not just segmentation? Cannot locate hands

Friday, 13 September 13

Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves

Accurate real-time tracking with Random Forest Problem with short sleeves:

Colour posterior looks very different Abstracts ¡away ¡ colour ¡of ¡clothes Why colour posterior?

?

Why not just segmentation? Cannot locate hands

Friday, 13 September 13

Exis=ng ¡method ¡for ¡signers ¡with ¡long ¡sleeves

Accurate real-time tracking with Random Forest Problem with short sleeves:

Colour posterior looks very different Abstracts ¡away ¡ colour ¡of ¡clothes Why colour posterior?

?

Why not just segmentation? Cannot locate hands

Solution:

Synthesise training data for short sleeved signers using already tracked long sleeved videos

+ joint positions + joint positions

Friday, 13 September 13

Method ¡overview

Input:

Video ¡from ¡ target ¡domain Colour ¡posterior ¡& ¡joint ¡ posi,ons ¡in ¡source ¡domain

0.5

Target ¡label ¡ (sleeve ¡length) Source ¡domain ¡ colour ¡posterior

Friday, 13 September 13

Method ¡overview

Input:

Video ¡from ¡ target ¡domain Colour ¡posterior ¡& ¡joint ¡ posi,ons ¡in ¡source ¡domain

Output: ¡ ¡ ¡synthesised ¡training ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(with ¡target ¡sleeve ¡length)

0.5

Target ¡label ¡ (sleeve ¡length) Source ¡domain ¡ colour ¡posterior

Friday, 13 September 13

Method ¡overview

Input:

Video ¡from ¡ target ¡domain Colour ¡posterior ¡& ¡joint ¡ posi,ons ¡in ¡source ¡domain

Output: ¡ ¡ ¡synthesised ¡training ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(with ¡target ¡sleeve ¡length)

• 1. ¡Train ¡joint ¡tracker ¡for ¡target ¡domain

0.5

Target ¡label ¡ (sleeve ¡length) Source ¡domain ¡ colour ¡posterior

Friday, 13 September 13

Method ¡overview

Input:

Video ¡from ¡ target ¡domain Colour ¡posterior ¡& ¡joint ¡ posi,ons ¡in ¡source ¡domain

Output: ¡ ¡ ¡synthesised ¡training ¡data ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(with ¡target ¡sleeve ¡length)

• 1. ¡Train ¡joint ¡tracker ¡for ¡target ¡domain

0.5

Target ¡label ¡ (sleeve ¡length) Source ¡domain ¡ colour ¡posterior

• 2. ¡Apply ¡tracker ¡to ¡target ¡domain

Friday, 13 September 13

Method ¡detail

• 1. ¡Colour ¡posterior ¡synthesis ¡

Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves

Source ¡signer (Known ¡joint ¡loca=ons) Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons)

+

Friday, 13 September 13

Method ¡detail

• 1. ¡Colour ¡posterior ¡synthesis ¡

Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves

Source ¡signer (Known ¡joint ¡loca=ons) Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons)

• 2. ¡Template ¡personalisa,on ¡

Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior

+

Ini=al ¡synthesised ¡CP ¡image

+

Friday, 13 September 13

Method ¡detail

• 1. ¡Colour ¡posterior ¡synthesis ¡

Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves

Source ¡signer (Known ¡joint ¡loca=ons) Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons)

+

Friday, 13 September 13

Method ¡detail

• 1. ¡Colour ¡posterior ¡synthesis ¡

Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves

Source ¡signer (Known ¡joint ¡loca=ons) Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons)

+

Friday, 13 September 13

Method ¡detail

• 1. ¡Colour ¡posterior ¡synthesis ¡

Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves

Source ¡signer (Known ¡joint ¡loca=ons) Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons)

+

• 2. ¡Template ¡personalisa,on ¡

Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior

Ini=al ¡synthesised ¡CP ¡image

+

Friday, 13 September 13

Method ¡detail

• 1. ¡Colour ¡posterior ¡synthesis ¡

Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves

Source ¡signer (Known ¡joint ¡loca=ons) Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons)

+

• 2. ¡Template ¡personalisa,on ¡

Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior

Ini=al ¡synthesised ¡CP ¡image

+

Friday, 13 September 13

Method ¡detail

• 1. ¡Colour ¡posterior ¡synthesis ¡

Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves

Source ¡signer (Known ¡joint ¡loca=ons) Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons)

+

• 2. ¡Template ¡personalisa,on ¡

Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior

Ini=al ¡synthesised ¡CP ¡image

+

Friday, 13 September 13

1: ¡Train ¡Random ¡Forest ¡on ¡synthe=c ¡colour ¡posterior ¡& ¡apply ¡to ¡target ¡signer

Method ¡– ¡Template ¡personalisa=on

Friday, 13 September 13

1: ¡Train ¡Random ¡Forest ¡on ¡synthe=c ¡colour ¡posterior ¡& ¡apply ¡to ¡target ¡signer

Method ¡– ¡Template ¡personalisa=on

2: ¡Sample ¡and ¡verify ¡joint ¡loca=ons

Friday, 13 September 13

1: ¡Train ¡Random ¡Forest ¡on ¡synthe=c ¡colour ¡posterior ¡& ¡apply ¡to ¡target ¡signer

Method ¡– ¡Template ¡personalisa=on

2: ¡Sample ¡and ¡verify ¡joint ¡loca=ons

RGB ¡input Colour ¡posterior ¡image Joint ¡confidence ¡map Most ¡confident ¡joints

Friday, 13 September 13

1: ¡Train ¡Random ¡Forest ¡on ¡synthe=c ¡colour ¡posterior ¡& ¡apply ¡to ¡target ¡signer

Method ¡– ¡Template ¡personalisa=on

2: ¡Sample ¡and ¡verify ¡joint ¡loca=ons

RGB ¡input Colour ¡posterior ¡image Joint ¡confidence ¡map Most ¡confident ¡joints Sampling

+

Friday, 13 September 13

1: ¡Train ¡Random ¡Forest ¡on ¡synthe=c ¡colour ¡posterior ¡& ¡apply ¡to ¡target ¡signer

Method ¡– ¡Template ¡personalisa=on

2: ¡Sample ¡and ¡verify ¡joint ¡loca=ons

RGB ¡input Colour ¡posterior ¡image Joint ¡confidence ¡map Most ¡confident ¡joints

+

Best ¡sample Best ¡sample (most ¡similar ¡to ¡colour ¡posterior ¡image)

Friday, 13 September 13

1: ¡Train ¡Random ¡Forest ¡on ¡synthe=c ¡colour ¡posterior ¡& ¡apply ¡to ¡target ¡signer

Method ¡– ¡Template ¡personalisa=on

2: ¡Sample ¡and ¡verify ¡joint ¡loca=ons

RGB ¡input Colour ¡posterior ¡image Joint ¡confidence ¡map Most ¡confident ¡joints

+

Best ¡sample Best ¡sample (most ¡similar ¡to ¡colour ¡posterior ¡image)

3: ¡Personalise ¡arm ¡templates

Use ¡current ¡detected ¡body ¡joints ¡to ¡extract ¡windows ¡of ¡arms ¡for ¡training

Friday, 13 September 13

1: ¡Train ¡Random ¡Forest ¡on ¡synthe=c ¡colour ¡posterior ¡& ¡apply ¡to ¡target ¡signer

Method ¡– ¡Template ¡personalisa=on

2: ¡Sample ¡and ¡verify ¡joint ¡loca=ons

RGB ¡input Colour ¡posterior ¡image Joint ¡confidence ¡map Most ¡confident ¡joints

+

Best ¡sample Best ¡sample (most ¡similar ¡to ¡colour ¡posterior ¡image)

3: ¡Personalise ¡arm ¡templates

Use ¡current ¡detected ¡body ¡joints ¡to ¡extract ¡windows ¡of ¡arms ¡for ¡training Update

Friday, 13 September 13

Method ¡detail

• 1. ¡Colour ¡posterior ¡synthesis ¡

Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves

Source ¡signer (Known ¡joint ¡loca=ons) Ini=al ¡synthesised ¡CP ¡image (Known ¡joint ¡loca=ons)

• 2. ¡Template ¡personalisa,on ¡

Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior

+

Ini=al ¡synthesised ¡CP ¡image

+

Friday, 13 September 13

Method ¡detail

• 1. ¡Colour ¡posterior ¡synthesis ¡

Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves

Source ¡signer (Known ¡joint ¡loca=ons)

• 2. ¡Template ¡personalisa,on ¡

Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior

+

Personalised ¡CP ¡image Ini=al ¡synthesised ¡CP ¡image

+

Friday, 13 September 13

Method ¡detail

• 1. ¡Colour ¡posterior ¡synthesis ¡

Synthesise ¡bare ¡arms ¡on ¡signers ¡wearing ¡long ¡sleeves

Source ¡signer (Known ¡joint ¡loca=ons)

• 2. ¡Template ¡personalisa,on ¡

Personalise ¡arm ¡templates ¡by ¡refining ¡ini=al ¡colour ¡posterior

+

Personalised ¡CP ¡image Ini=al ¡synthesised ¡CP ¡image

+

Iterate until convergence

Friday, 13 September 13

Method ¡– ¡example ¡output

Sleeve length = 0.2 Sleeve length = 0.5

Friday, 13 September 13

RESULTS

Sleeve length (decreasing)

Running ¡example: ¡signers ¡wearing ¡sleeves ¡of ¡various ¡length

Friday, 13 September 13

Dataset

Source ¡domain ¡(training ¡data)

Friday, 13 September 13

Dataset

Source ¡domain ¡(training ¡data)

Decreasing ¡ sleeve ¡length

Target ¡domain ¡(tes=ng ¡data)

Friday, 13 September 13

5 pixels

Evalua,on ¡measure

Quan=ta=ve ¡results

Friday, 13 September 13

5 pixels

Evalua,on ¡measure

Quan=ta=ve ¡results

4 8 12 16 20 20 40 60 80 100 Accuracy (%) d Wrists Direct Initial Personal

Distance from GT (px)

Effect ¡of ¡template ¡refinement

Original

Friday, 13 September 13

Accuracy ¡(averaged ¡over ¡all ¡videos)

5 pixels

Evalua,on ¡measure

Quan=ta=ve ¡results

Friday, 13 September 13

Conclusion

Automatic method for measuring side-information (e.g. sleeve length) Future work: Track upper body pose in new domains by transferring from existing training material

Friday, 13 September 13