Learning 2D Linear Dynamics in Image Space Using Neural - PowerPoint PPT Presentation

Learning ¡2D ¡Linear ¡Dynamics ¡in ¡ Image ¡Space ¡Using ¡Neural ¡Networks ¡ Jeffrey ¡Mahler, ¡Michael ¡Laskey, ¡John ¡Schulman, ¡Sergey ¡Levine, ¡Jeff ¡ Donahue, ¡Sachin ¡Pa:l, ¡Pieter ¡Abbeel, ¡and ¡Ken ¡Goldberg ¡ UC ¡Berkeley ¡EECS ¡ RSS ¡Workshop ¡on ¡Informa:on-­‑Based ¡Grasp ¡and ¡Manipula:on ¡Planning ¡ July ¡13 th , ¡2014 ¡ ¡

Mo:va:on ¡ • Planning ¡for ¡grasping ¡and ¡ manipula:on ¡tasks ¡with ¡ unknown ¡objects ¡ • Only ¡sensor ¡data ¡and ¡ applied ¡controls ¡available ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 2 ¡

Objec:ve ¡ • Predict ¡future ¡observa:ons ¡from ¡current ¡ observa:ons ¡and ¡control ¡inputs ¡ Current ¡Image ¡ Future ¡Image? ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 3 ¡

Approach ¡ • Learn ¡the ¡parameters ¡of ¡a ¡dynamical ¡system: ¡ – Sensory ¡data ¡(e.g., ¡images) ¡ ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 4 ¡

Approach ¡ • Learn ¡the ¡parameters ¡of ¡a ¡dynamical ¡system: ¡ – Sensory ¡data ¡(e.g., ¡images) ¡ – Learned ¡feature ¡representa:ons ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 4 ¡

Approach ¡ • Learn ¡the ¡parameters ¡of ¡a ¡dynamical ¡system: ¡ – Sensory ¡data ¡(e.g., ¡images) ¡ – Learned ¡feature ¡representa:ons ¡ – Control ¡inputs ¡(e.g., ¡torques) ¡ ¡ ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 4 ¡

Approach ¡ • Learn ¡the ¡parameters ¡of ¡a ¡dynamical ¡system: ¡ – Sensory ¡data ¡(e.g., ¡images) ¡ – Learned ¡feature ¡representa:ons ¡ – Control ¡inputs ¡(e.g., ¡torques) ¡ – Linear ¡dynamics ¡ ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 4 ¡

Approach ¡ • Learn ¡the ¡parameters ¡of ¡a ¡dynamical ¡system: ¡ – Sensory ¡data ¡(e.g., ¡images) ¡ – Learned ¡feature ¡representa:ons ¡ – Control ¡inputs ¡(e.g., ¡torques) ¡ – Linear ¡dynamics ¡ ¡ – Neural ¡network-­‑generated ¡image ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 4 ¡

Algorithm ¡ • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡ maximum-­‑likelihood ¡parameters ¡ … ¡ E-­‑Step ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

Algorithm ¡ • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡ maximum-­‑likelihood ¡parameters ¡ … ¡ E-­‑Step ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

Algorithm ¡ • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡ maximum-­‑likelihood ¡parameters ¡ … ¡ E-­‑Step ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

Algorithm ¡ • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡ maximum-­‑likelihood ¡parameters ¡ … ¡ E-­‑Step ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

Algorithm ¡ • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡ maximum-­‑likelihood ¡parameters ¡ … ¡ E-­‑Step ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 5 ¡

Algorithm ¡ • Expecta:on ¡maximiza:on ¡for ¡(approximate) ¡ maximum-­‑likelihood ¡parameters ¡ … ¡ E-­‑Step ¡ M-­‑Step ¡ Neural ¡Network ¡ 5 ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡

Discussion ¡ • Ini:al ¡results ¡ T = 0 1 2 3 4 5 6 7 8 9 ¡ Predicted ¡ Ground Truth ¡ • Future ¡Work ¡ – Natural ¡images ¡and ¡depth ¡images ¡ – Planning ¡a ¡manipula:on ¡task ¡ – Alterna:ve ¡dynamics ¡func:ons ¡ Mahler, ¡Laskey, ¡Abbeel, ¡Goldberg ¡ 6 ¡