Learning 2D Linear Dynamics in Image Space Using Neural - - PowerPoint PPT Presentation

▶
learning 2d linear dynamics in image space using neural
SMART_READER_LITE
LIVE PREVIEW

Learning 2D Linear Dynamics in Image Space Using Neural - - PowerPoint PPT Presentation

Aug 30, 2022 190 likes •342 views

Learning 2D Linear Dynamics in Image Space Using Neural Networks Jeffrey Mahler, Michael Laskey, John Schulman, Sergey Levine, Jeff Donahue, Sachin Pa:l,

slide-1
SLIDE 1

Learning ¡2D ¡Linear ¡Dynamics ¡in ¡ Image ¡Space ¡Using ¡Neural ¡Networks ¡

Jeffrey ¡Mahler, ¡Michael ¡Laskey, ¡John ¡Schulman, ¡Sergey ¡Levine, ¡Jeff ¡ Donahue, ¡Sachin ¡Pa:l, ¡Pieter ¡Abbeel, ¡and ¡Ken ¡Goldberg ¡ UC ¡Berkeley ¡EECS ¡ RSS ¡Workshop ¡on ¡Informa:on-­‑Based ¡Grasp ¡and ¡Manipula:on ¡Planning ¡ July ¡13th, ¡2014 ¡ ¡

slide-2
SLIDE 2

Mo:va:on ¡

  • Planning ¡for ¡grasping ¡and ¡

manipula:on ¡tasks ¡with ¡ unknown ¡objects ¡

  • Only ¡sensor ¡data ¡and ¡

applied ¡controls ¡available ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 2 ¡

slide-3
SLIDE 3

Objec:ve ¡

  • Predict ¡future ¡observa:ons ¡from ¡current ¡
  • bserva:ons ¡and ¡control ¡inputs ¡

Future ¡Image? ¡ Current ¡Image ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 3 ¡

slide-4
SLIDE 4

Approach ¡

  • Learn ¡the ¡parameters ¡of ¡a ¡dynamical ¡system: ¡

– Sensory ¡data ¡(e.g., ¡images) ¡

¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 4 ¡

slide-5
SLIDE 5

Approach ¡

  • Learn ¡the ¡parameters ¡of ¡a ¡dynamical ¡system: ¡

– Sensory ¡data ¡(e.g., ¡images) ¡ – Learned ¡feature ¡representa:ons ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 4 ¡

slide-6
SLIDE 6

Approach ¡

  • Learn ¡the ¡parameters ¡of ¡a ¡dynamical ¡system: ¡

– Sensory ¡data ¡(e.g., ¡images) ¡ – Learned ¡feature ¡representa:ons ¡ – Control ¡inputs ¡(e.g., ¡torques) ¡ ¡ ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 4 ¡

slide-7
SLIDE 7

Approach ¡

  • Learn ¡the ¡parameters ¡of ¡a ¡dynamical ¡system: ¡

– Sensory ¡data ¡(e.g., ¡images) ¡ – Learned ¡feature ¡representa:ons ¡ – Control ¡inputs ¡(e.g., ¡torques) ¡ – Linear ¡dynamics ¡ ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 4 ¡

slide-8
SLIDE 8

Approach ¡

  • Learn ¡the ¡parameters ¡of ¡a ¡dynamical ¡system: ¡

– Sensory ¡data ¡(e.g., ¡images) ¡ – Learned ¡feature ¡representa:ons ¡ – Control ¡inputs ¡(e.g., ¡torques) ¡ – Linear ¡dynamics ¡ ¡ – Neural ¡network-­‑generated ¡image ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 4 ¡

slide-9
SLIDE 9

Algorithm ¡

  • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡

maximum-­‑likelihood ¡parameters ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

E-­‑Step ¡

… ¡

slide-10
SLIDE 10

Algorithm ¡

  • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡

maximum-­‑likelihood ¡parameters ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

E-­‑Step ¡

… ¡

slide-11
SLIDE 11

Algorithm ¡

  • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡

maximum-­‑likelihood ¡parameters ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

E-­‑Step ¡

… ¡

slide-12
SLIDE 12

Algorithm ¡

  • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡

maximum-­‑likelihood ¡parameters ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

E-­‑Step ¡

… ¡

slide-13
SLIDE 13

Algorithm ¡

  • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡

maximum-­‑likelihood ¡parameters ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

E-­‑Step ¡

… ¡

slide-14
SLIDE 14

Algorithm ¡

  • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡

maximum-­‑likelihood ¡parameters ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

E-­‑Step ¡

… ¡

M-­‑Step ¡

Neural ¡Network ¡

slide-15
SLIDE 15

Discussion ¡

  • Ini:al ¡results ¡

¡ ¡ ¡

  • Future ¡Work ¡

– Natural ¡images ¡and ¡depth ¡images ¡ – Planning ¡a ¡manipula:on ¡task ¡ – Alterna:ve ¡dynamics ¡func:ons ¡

Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 6 ¡

Predicted Ground Truth

T = 0 1 2 3 4 5 6 7 8 9