SLIDE 1 Data-driven Control of Flapping Flight
Jehee Lee
Seoul National University
Collaboration with Eunjung Ju, Jungdam Won, Byungkuk Choi, Junyong Noh, Min Gyu Choi (ACM Transactions on Graphics 2013, presented at SIGGRAPH 2014)
SLIDE 2 Flying Animation
[ ¡How ¡to ¡train ¡your ¡dragon, ¡2010 ¡] [ ¡Avatar, ¡2009 ¡] [ ¡Rio, ¡2011 ¡] [ ¡Rio ¡2, ¡2014 ¡] [ ¡How ¡to ¡train ¡your ¡dragon ¡2, ¡2014 ¡] [ ¡Kung ¡Fu ¡Panda ¡2, ¡2011 ¡]
SLIDE 3
Motivation
SLIDE 4
- Realistic Simulation and Control
- Steering and Balancing
- Interactive performance
- Generalization
Challenges
SLIDE 5
SLIDE 6
Overview
Physics-based model & simulation Training data Data-driven controller Bird motion capture data
SLIDE 7
Overview
Physics-based model & simulation Training data Data-driven controller Bird motion capture data
SLIDE 8
SLIDE 9
10m 10m 7m
SLIDE 10
Overview
Physics-based model & simulation Training data Data-driven controller Bird motion capture data
SLIDE 11
What makes the bird fly
SLIDE 12 What makes the bird fly
Close/Spread at downstroke Open/Gather at upstroke
SLIDE 13
SLIDE 14 Bird Modeling
Wrist (1 DOF) Tail (2 DOFs) Shoulder (3 DOFs) Elbow (2 DOFs) Primary Feathers (10) Secondary Feathers (8) Tail Feathers (12)
SLIDE 15
Bird Modeling
SLIDE 16 Parameterized Wingbeat
Average wingbeat Left arm Right arm Tail Scale Translation Time warping
SLIDE 17
SLIDE 18
Overview
Physics-based model & simulation Training data Data-driven controller Bird motion capture data
SLIDE 19
Control Problem
current state Sc wingbeat Pc desired state Sd
SLIDE 20 Differential Regression
…
SLIDE 21 Data-driven Approach
…
SLIDE 22 Ascend Descend Right Left
SLIDE 23
SLIDE 24 Improving Steerability
Right Left
SLIDE 25
SLIDE 27
SLIDE 28 Controller Design Paradigm
Data-driven Optimization based
Simple Easy-to-implement Computationally efficient Flexible Versatile Easy-to-generalize
Ours
SLIDE 29
- Accurate simulation model
– Aero dynamics (Turbulence, vortex)
- Generalization to other behavior/species
– Perching, souring, diving – Imaginary bird
- 3D printing of mechanical birds
Future Study
SLIDE 30
- Generating and Ranking Diverse Multi-Character
Interactions
- Locomotion Control for Many-Muscle Humanoids
Two SNU papers at SIGGRAPH Aia 2014
SLIDE 31 Generating and Ranking Diverse Multi-Character Interactions
Jungdam ¡Won ¡ ¡ ¡Kyungho ¡Lee ¡ ¡ ¡Jehee ¡Lee ¡ Seoul ¡National ¡University Carol ¡O’Sullivan ¡ ¡ ¡Jessica ¡K. ¡Hodgins ¡ Disney ¡Research
SLIDE 32
Two ¡pedestrians, ¡Tom ¡and ¡John, ¡bumped ¡into ¡ each ¡other. ¡Tom ¡pointed ¡at ¡John ¡and ¡yelled. ¡ John ¡pushed ¡Tom ¡on ¡his ¡shoulder. ¡Meanwhile, ¡ David ¡watched ¡them ¡in ¡quarrel. ¡Tom ¡punched ¡ John ¡and ¡then ¡kicked ¡him. ¡David ¡jumped ¡in ¡the ¡ fight ¡and ¡punched ¡Tom ¡on ¡his ¡face.
SLIDE 33 Event Graph
Object Subject Transition
SLIDE 34
SLIDE 35
Challenges
Script-to-Animation
many plausible scenes generate-and-rank no natural language processing yet
Scene Synthesis
multiple actors, physical contacts, realistic human motion high-dimensional configuration space
SLIDE 36
Event Graph
SLIDE 37
SLIDE 38 LOCOMOTION ¡CONTROL ¡FOR ¡
MANY-‑MUSCLE ¡HUMANOIDS
Yoonsang ¡Lee1,2 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Moon ¡Seok ¡Park3 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Taesoo ¡Kwon4 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Jehee ¡Lee1
1Seoul ¡National ¡University ¡ ¡ 2Samsung ¡Electronics ¡Co., ¡Ltd. ¡ ¡ 3Seoul ¡National ¡University ¡Bundang ¡Hospital ¡ ¡ 4Hanyang ¡University
SLIDE 39 Human Movements
Complex musculoskeletal system
many bones and muscles coordination of muscle actuation highly nonlinear dynamics
Variety of locomotor skills
locomotion is a policy, not a pattern balancing strategy predicting new gait patterns under varied conditions
SLIDE 40 [SIGGRAPH 2007] Sok et al, Simulating Biped Behaviors from Human Motion Data
SLIDE 41 [SIGGRAPH 2010] Lee et al, Data-driven biped control
SLIDE 42 [SIGGRAPH 2010] Lee et al, Data-driven biped control
SLIDE 43 L
Gait2562 ¡ (25 ¡DOFs, ¡62 ¡muscles) Gait2592 ¡ (25 ¡DOFs, ¡92 ¡muscles) Fullbody ¡ (39 ¡DOFs, ¡120 ¡muscles)
SLIDE 44
Hill-‑Type ¡Muscle ¡Model
SLIDE 45 Hill-‑Type ¡Muscle ¡Model
SE ¡: ¡serial ¡element ¡ CE ¡: ¡contractile ¡element ¡ PE ¡: ¡passive ¡element ¡ α: ¡pennation ¡angle
SLIDE 46 Hill-‑Type ¡Muscle ¡Model
SE ¡: ¡serial ¡element ¡ CE ¡: ¡contractile ¡element ¡ PE ¡: ¡passive ¡element ¡ α: ¡pennation ¡angle
SLIDE 47 Hill-‑Type ¡Muscle ¡Model
SE ¡: ¡serial ¡element ¡ CE ¡: ¡contractile ¡element ¡ PE ¡: ¡passive ¡element ¡ α: ¡pennation ¡angle
SLIDE 49 Unilateral ¡Painful ¡Ankle ¡Plantar ¡Flexor
Patients ¡tend ¡to ¡reduce ¡the ¡use ¡
- f ¡the ¡ankle ¡plantar ¡flexors
SLIDE 50
SLIDE 51
Painful ¡Joints ¡on ¡Unilateral ¡Limb
Patients ¡tend ¡to ¡reduce ¡contact ¡force
SLIDE 52
SLIDE 53 Painful ¡Left ¡Ankle ¡Plantar ¡Flexor Painful ¡Joints ¡on ¡Left ¡Leg
SLIDE 54
Waddling ¡Gait
Bilateral ¡Gluteus ¡Medius ¡& ¡ Minimus ¡Weakness ¡ Upper ¡body ¡swing ¡laterally
SLIDE 55
SLIDE 56
Trendelenburg ¡Gait
Unilateral ¡Gluteus ¡Medius ¡& ¡
Minimus ¡Weakness
SLIDE 57
SLIDE 58 Surgery Simulation
Surgery improves cerebral palsy gaits
lengthen muscles/tendons and fix bone deformity
Predictive simulation of post-operative gaits
from pre-operative motion capture and surgery planning
SLIDE 59
Data-driven Control of Flapping Flight
Data & Code are available at
http://mrl.snu.ac.kr/
SLIDE 61 Event Graph
POINT WALK WALK WALK BUMP PUSH PUNCH KICK KICK
WATCH
David Tom John
