R E A L - T I M E P E R C E P T I O N F O R A U T O M AT E D - PowerPoint PPT Presentation

R E A L -­‑ T I M E ¡ P E R C E P T I O N F O R ¡ A U T O M AT E D ¡ D R I V I N G Forrest ¡Iandola Co-­‑founder ¡and ¡CEO, ¡DeepScale deepscale.ai

Forrest ¡Iandola Sammy ¡Sidhu Romi Phadte CEO HEAD ¡OF ¡ADVANCED ¡ENGINEERING ENGINEER BS ¡in ¡EECS. ¡Built ¡low-­‑latency ¡ML ¡at ¡ BS ¡in ¡EECS. ¡Launched ¡mobile ¡consumer ¡ PhD ¡in ¡CS. ¡Published ¡20+ ¡papers ¡that ¡ Apple and ¡high-­‑frequency ¡trading ¡ products ¡reaching ¡100M+ ¡users ¡at ¡ focus ¡on ¡accelerating ¡and ¡improving ¡ systems ¡at ¡Two ¡Sigma ¡Investments. Pinterest. deep ¡learning ¡for ¡computer ¡vision. Daisyca Woe Paras ¡Jain Kurt ¡Keutzer EXEC ¡ASSISTANT ENGINEER CHIEF ¡STRATEGY ¡OFFICER BS ¡in ¡Biology. ¡Managed ¡multiple ¡ BS ¡in ¡CS. ¡Shipped ¡ads ¡product ¡managing ¡ UC ¡Berkeley ¡EECS ¡Professor. ¡Former ¡CTO ¡ offices ¡and ¡studios ¡in ¡health ¡& ¡ $100M+ ¡at ¡Twitter; ¡accelerated ¡low-­‑ THE ¡DEEPSCALE of ¡Synopsys. ¡Advisor ¡to ¡20+ ¡startups. wellness ¡industry. latency ¡trading ¡at ¡Two ¡Sigma ¡Investments. TEAM Paden ¡Tomasello Judy ¡Thrasher Lisa ¡Brughera ENGINEER MANAGER ¡OF ¡HR ¡OPERATIONS DIR ¡OF ¡FINANCE BS ¡in ¡EECS. ¡Developed ¡high-­‑ BS ¡in ¡Business ¡Administration. Director ¡of ¡ MS ¡in ¡Global ¡Policy. ¡Project ¡Manager ¡for ¡ performance ¡software ¡at ¡Graphistry HR ¡and ¡Head ¡of ¡Global ¡Staffing ¡at ¡A10 ¡ non-­‑profit ¡housing ¡sector; ¡managed ¡ and ¡Cloudera. Networks from ¡pre-­‑IPO ¡to ¡post-­‑IPO. multi-­‑million ¡$, ¡multi-­‑asset ¡class ¡budgets. Ed ¡O'Donnell Nobie Redmon Ben ¡Landen HEAD ¡OF ¡PRODUCT ¡MANAGEMENT ENGINEER HEAD ¡OF ¡BIZ ¡DEV MBA, ¡Yale ¡BA. ¡Product ¡Management ¡at ¡ MS ¡in ¡Physics. ¡Implemented ¡scaled ¡ MBA, ¡BS ¡in ¡EE. ¡Managed ¡$100M ¡P&L ¡of ¡ MapD (GPU ¡analytics), ¡Telenav (GPS ¡nav), ¡ anti-­‑abuse ¡workflows ¡at ¡Google. ADAS/Infotainment ¡semiconductors ¡at ¡ DoubleClick, other ¡early ¡stage ¡startups. Maxim ¡Integrated. Anting ¡Shen Matt ¡Moskewicz Angie ¡Nucci Mullen HEAD ¡OF ¡PRODUCT ¡ENGINEERING PRINCIPAL ¡ENGINEER PR/MARKETING ¡MANAGER MS ¡in ¡CS. ¡Developed ¡ML ¡applications ¡at ¡ PhD ¡in ¡EECS. ¡Author ¡of ¡SAT ¡Chaff ¡ B.A., ¡Public ¡Relations. ¡Led ¡Honda ¡advanced ¡ Yelp. ¡Researched ¡computer ¡vision ¡and ¡ algorithm ¡(3K+ ¡citations); ¡Co-­‑founder ¡ product ¡PR ¡initiatives. ¡Established ¡company ¡ launched ¡ML ¡startup ¡at ¡UC ¡Berkeley. of ¡CommandCAD (sold ¡to ¡Cadence). as ¡leader ¡in ¡safety, ¡electrified, ¡autonomous, ¡ and ¡connected ¡vehicle ¡technology.

Overview • The ¡rise ¡of ¡the ¡software-­‑defined ¡car • How ¡to ¡build ¡a ¡good ¡perception ¡system ¡for ¡automated ¡ driving • DeepScale's ¡approach ¡to ¡building ¡redundant ¡and ¡ efficient ¡perception ¡systems

C O N F I D E N T I A L THE ¡SOFTWARE-­‑DEFINED ¡CAR Ubiquitous ¡sensors ¡in ¡cars Fast ¡in-­‑vehicle ¡data ¡network Central ¡compute ¡in ¡cars Over-­‑The-­‑Air ¡(OTA) ¡update ¡adoption Market ¡adoption ¡of ¡driver-­‑assistance ¡& ¡automated ¡driving Tesla ¡ Te ¡Auto-­‑ -­‑Pi Pilot Au Auto ¡ ¡Emergency ¡ ¡ Subar Su aru ¡ ¡Ey EyeSight Backup ¡ Ba ¡cameras ¡ ¡ GM GM ¡ ¡Su SuperCruis ise OT OTA ¡ ¡offered, ¡ ¡ Br Braking ¡ ¡required ¡ ¡in ¡ ¡ >80% ¡ >80% ¡Jap apan an ¡ ¡ re require red ¡ ¡in ¡ ¡all ¡ ¡new ¡ ¡ OTA ¡ OT ¡offered >75% ¡ >75% ¡ad adoptio ion ad adoptio ion ca cars all ¡new ¡ all ¡ ¡car ars 1986 1986 2006 2006 2014 2014 2015 2015 2016 2016 2017 2017 2018 2018 2019 2019 2022 2022 1 ¡ 1 ¡mb mbit/s /s >500 ¡mb >500 ¡ mbit/s /s ¡ ¡in-­‑ -­‑ >1 ¡ >1 ¡Gbi Gbit/s /s ¡ ¡in-­‑ -­‑ Mass ¡ Ma ¡Product ction ¡ ¡ >10 ¡Gbi >10 ¡ Gbit/s /s ¡ ¡in-­‑ -­‑ in-­‑ -­‑ve vehicle ¡ ¡ ve vehicle ¡ ¡ ve vehicle ¡ ¡ Ge German ¡ n ¡vehi hicles ¡ ¡w/ ¡ ¡ ve vehicle ¡ ¡ ne network network ne network ne centralized ¡ ce ¡comp mpute ne network

LEVEL ¡1 DRIVER ASSISTANCE PASSENGER LEVEL ¡2 PARTIAL ¡AUTOMATION CARS LEVEL ¡3 CONDITIONAL ¡AUTOMATION LEVEL ¡4 HIGH ¡AUTOMATION ROBOTAXIS LEVEL ¡5 FULL ¡AUTOMATION LEVELS ¡OF ¡AUTOMATED ¡DRIVING De DeepScale ¡ ¡develops ¡ ¡technology ¡ ¡for ¡ ¡every ¡ ¡level

OFFLINE ¡MAPS SENSORS PATH ¡PLANNING & ACTUATION CAMERA ULTRASONIC REAL-­‑TIME PERCEPTION RADAR LIDAR THE ¡FLOW All ¡ Al ¡levels ¡ ¡of ¡ ¡vehicle ¡ ¡automation ¡ ¡require ¡ ¡this ¡ ¡flow ¡ ¡to ¡ ¡work. De DeepScale ¡ ¡specializes ¡ ¡in ¡ ¡Real-­‑ -­‑Ti Time ¡ ¡Perception.

WHAT ¡ARE ¡THE ¡DESIGN ¡PRINCIPLES ¡FOR ¡ AN ¡IDEAL ¡PERCEPTION ¡SYSTEM?

Good ¡perception ¡systems ¡are ¡RARE Robust Accurate Redundant Efficient

A ¡perception ¡system's ¡hierarchy ¡of ¡needs FOR ¡SOFTWARE ¡REDUNDANCY Predictive ¡Perception Semantic ¡Perception Shape ¡Perception

OVERVIEW ¡OF ¡DEEPSCALE'S ¡APPROACH ¡TO ¡ REDUNDANCY ¡& ¡EFFICIENCY

SENSOR REDUNDANCY

Approach ¡#1 TRADITIONAL ¡COMPUTER ¡VISION • Dedicated ¡processor ¡bundled ¡with ¡specific ¡camera ¡in ¡a ¡closed ¡module • Pre-­‑dates ¡Deep ¡Neural ¡Networks ¡ à narrow ¡capability ¡based ¡on ¡hard-­‑coded ¡ algorithms ¡(e.g. ¡only ¡detect ¡cars ¡from ¡certain ¡angles) • Major ¡revisions ¡dictated ¡by ¡hardware ¡development ¡cycles ¡of ¡2-­‑3 ¡years ¡(an ¡ eternity ¡given ¡how ¡fast ¡AI ¡is ¡changing)

Similar ¡ ¡accu ccuracy cy ¡ ¡im improvements ¡ ¡ IMAGENET ¡TOP-­‑5 ¡ERROR on ¡ ¡tasks ¡ ¡such ch ¡ ¡as: -­‑ semantic ¡ c ¡segmentation -­‑ object ct ¡ ¡detect ction -­‑ 3D ¡ ¡reconstruct ction -­‑ …th …the ¡ ¡list ¡ t ¡goes ¡ ¡on DEEP ¡LEARNING ¡IS ¡THE ¡TECHNOLOGY ¡THAT ¡WILL ¡ BRING ¡BREAKTHROUGHS ¡IN ¡PERCEPTION

Approach ¡#2 OPEN-­‑SOURCE DEEP ¡NEURAL ¡NETWORKS • Modern ¡Deep ¡Neural ¡Networks ¡(DNNs) ¡have ¡ brought ¡order-­‑of-­‑magnitude ¡improvements ¡ in ¡perception ¡accuracy …but, ¡real-­‑time ¡DNNs ¡for ¡object ¡detection ¡ require ¡250W+ ¡of ¡GPU ¡computing ¡[1,2,3] • This ¡leads ¡to ¡a ¡trunk ¡full ¡of ¡hot, ¡expensive, ¡ power-­‑hungry ¡servers [1] ¡S ¡Ren, ¡K ¡He, ¡R ¡Girshick, ¡J ¡Sun. ¡Faster ¡R-­‑CNN. ¡NIPS, ¡2015. [2] ¡J ¡Redmon, ¡A ¡Farhadi. ¡YOLO9000. ¡CVPR, ¡2016. [3] ¡W ¡Liu, ¡et ¡al. ¡SSD: ¡Single ¡shot ¡multibox detector. ¡ECCV, ¡2016

DeepScale's ¡Unique ¡Advantage: Small, ¡efficient ¡DNNs ¡on ¡low-­‑cost, ¡ automotive-­‑grade ¡processors 50-­‑500x ¡smaller ¡DNN ¡models ¡for ¡ image ¡classification 30x ¡speedup ¡for object ¡detection ¡DNNs Implementing ¡DNNs ¡on ¡ embedded ¡processors DeepScale's playbook ¡for ¡creating ¡ small ¡and ¡efficient ¡DNN ¡models

DeepScale ¡Captures ¡Best ¡Attributes ¡of ¡Camera ¡Systems TRADITIONAL OPEN-­‑SOURCE COMPUTER ¡VISION RESEARCH MAIN ¡ Object Detection ¡using ¡ Object ¡Detection ¡using ¡ Object ¡Detection ¡using ¡ conventional ¡methods Deep ¡Neural ¡Networks Deep ¡Neural ¡Networks CAPABILITIES ERROR ¡RATE ¡ Improves ¡with ¡hardware ¡ Improves ¡all ¡the ¡time Improves ¡all ¡the ¡time revisions ¡every ¡3 ¡years TREND COMPUTE Custom ¡ASICs ¡or ¡FGPAs ¡ One ¡high-­‑end ¡GPU per ¡camera One ¡NVIDIA ¡automotive ¡GPU ¡ ($$) ($$$) per ¡multi-­‑camera ¡set ¡($) HARDWARE POWER <10W 250W+ <10W ¡per camera PORTABILITY Tied to ¡supplier's Varies Portable across ¡cameras ¡and ¡ camera ¡and ¡ASIC ¡bundle processors AUTOMOTIVE ¡ Yes No In ¡progress CERTIFICATON 16