R E A L - T I M E P E R C E P T I O N F O R A U T O M AT E D - - PowerPoint PPT Presentation

R E A L -­‑ T I M E ¡ P E R C E P T I O N

F O R ¡ A U T O M AT E D ¡ D R I V I N G

deepscale.ai

Forrest ¡Iandola

Co-­‑founder ¡and ¡CEO, ¡DeepScale

TEAM

THE ¡DEEPSCALE

Forrest ¡Iandola

CEO PhD ¡in ¡CS. ¡Published ¡20+ ¡papers ¡that ¡ focus ¡on ¡accelerating ¡and ¡improving ¡ deep ¡learning ¡for ¡computer ¡vision.

Kurt ¡Keutzer

CHIEF ¡STRATEGY ¡OFFICER UC ¡Berkeley ¡EECS ¡Professor. ¡Former ¡CTO ¡

• f ¡Synopsys. ¡Advisor ¡to ¡20+ ¡startups.

Lisa ¡Brughera

DIR ¡OF ¡FINANCE MS ¡in ¡Global ¡Policy. ¡Project ¡Manager ¡for ¡ non-­‑profit ¡housing ¡sector; ¡managed ¡ multi-­‑million ¡$, ¡multi-­‑asset ¡class ¡budgets.

Anting ¡Shen

HEAD ¡OF ¡PRODUCT ¡ENGINEERING MS ¡in ¡CS. ¡Developed ¡ML ¡applications ¡at ¡

• Yelp. ¡Researched ¡computer ¡vision ¡and ¡

launched ¡ML ¡startup ¡at ¡UC ¡Berkeley.

Sammy ¡Sidhu

HEAD ¡OF ¡ADVANCED ¡ENGINEERING BS ¡in ¡EECS. ¡Built ¡low-­‑latency ¡ML ¡at ¡ Apple and ¡high-­‑frequency ¡trading ¡ systems ¡at ¡Two ¡Sigma ¡Investments.

Ben ¡Landen

HEAD ¡OF ¡BIZ ¡DEV MBA, ¡BS ¡in ¡EE. ¡Managed ¡$100M ¡P&L ¡of ¡ ADAS/Infotainment ¡semiconductors ¡at ¡ Maxim ¡Integrated.

Paden ¡Tomasello

ENGINEER BS ¡in ¡EECS. ¡Developed ¡high-­‑ performance ¡software ¡at ¡Graphistry and ¡Cloudera.

Nobie Redmon

ENGINEER MS ¡in ¡Physics. ¡Implemented ¡scaled ¡ anti-­‑abuse ¡workflows ¡at ¡Google.

Daisyca Woe

EXEC ¡ASSISTANT BS ¡in ¡Biology. ¡Managed ¡multiple ¡

• ffices ¡and ¡studios ¡in ¡health ¡& ¡

wellness ¡industry.

Matt ¡Moskewicz

PRINCIPAL ¡ENGINEER PhD ¡in ¡EECS. ¡Author ¡of ¡SAT ¡Chaff ¡ algorithm ¡(3K+ ¡citations); ¡Co-­‑founder ¡

• f ¡CommandCAD (sold ¡to ¡Cadence).

Romi Phadte

ENGINEER BS ¡in ¡EECS. ¡Launched ¡mobile ¡consumer ¡ products ¡reaching ¡100M+ ¡users ¡at ¡ Pinterest.

Paras ¡Jain

ENGINEER BS ¡in ¡CS. ¡Shipped ¡ads ¡product ¡managing ¡ $100M+ ¡at ¡Twitter; ¡accelerated ¡low-­‑ latency ¡trading ¡at ¡Two ¡Sigma ¡Investments.

Judy ¡Thrasher

MANAGER ¡OF ¡HR ¡OPERATIONS BS ¡in ¡Business ¡Administration. Director ¡of ¡ HR ¡and ¡Head ¡of ¡Global ¡Staffing ¡at ¡A10 ¡ Networks from ¡pre-­‑IPO ¡to ¡post-­‑IPO.

Ed ¡O'Donnell

HEAD ¡OF ¡PRODUCT ¡MANAGEMENT MBA, ¡Yale ¡BA. ¡Product ¡Management ¡at ¡ MapD (GPU ¡analytics), ¡Telenav (GPS ¡nav), ¡ DoubleClick, other ¡early ¡stage ¡startups.

Angie ¡Nucci Mullen

PR/MARKETING ¡MANAGER B.A., ¡Public ¡Relations. ¡Led ¡Honda ¡advanced ¡ product ¡PR ¡initiatives. ¡Established ¡company ¡ as ¡leader ¡in ¡safety, ¡electrified, ¡autonomous, ¡ and ¡connected ¡vehicle ¡technology.

Overview

• The ¡rise ¡of ¡the ¡software-­‑defined ¡car
• How ¡to ¡build ¡a ¡good ¡perception ¡system ¡for ¡automated ¡

driving

• DeepScale's ¡approach ¡to ¡building ¡redundant ¡and ¡

efficient ¡perception ¡systems

THE ¡SOFTWARE-­‑DEFINED ¡CAR

Ubiquitous ¡sensors ¡in ¡cars Fast ¡in-­‑vehicle ¡data ¡network Central ¡compute ¡in ¡cars Over-­‑The-­‑Air ¡(OTA) ¡update ¡adoption Market ¡adoption ¡of ¡driver-­‑assistance ¡& ¡automated ¡driving

1 ¡ 1 ¡mb mbit/s /s in-­‑

• ­‑ve

vehicle ¡ ¡ ne network

1986 1986 2006 2006

>500 ¡ >500 ¡mb mbit/s /s ¡ ¡in-­‑

• ­‑

ve vehicle ¡ ¡ ne network

2014 2014 2015 2015 2016 2016 2017 2017 2018 2018 2019 2019 2022 2022

>1 ¡ >1 ¡Gbi Gbit/s /s ¡ ¡in-­‑

• ­‑

ve vehicle ¡ ¡ ne network Te Tesla ¡ ¡Auto-­‑

• ­‑Pi

Pilot OT OTA ¡ ¡offered, ¡ ¡ >75% >75% ¡ ¡ad adoptio ion Ma Mass ¡ ¡Product ction ¡ ¡ Ge German ¡ n ¡vehi hicles ¡ ¡w/ ¡ ¡ ce centralized ¡ ¡comp mpute GM GM ¡ ¡Su SuperCruis ise OT OTA ¡ ¡offered Su Subar aru ¡ ¡Ey EyeSight >80% >80% ¡ ¡Jap apan an ¡ ¡ ad adoptio ion >10 ¡ >10 ¡Gbi Gbit/s /s ¡ ¡in-­‑

• ­‑

ve vehicle ¡ ¡ ne network Ba Backup ¡ ¡cameras ¡ ¡ re require red ¡ ¡in ¡ ¡all ¡ ¡new ¡ ¡ ca cars Au Auto ¡ ¡Emergency ¡ ¡ Br Braking ¡ ¡required ¡ ¡in ¡ ¡ all ¡ all ¡new ¡ ¡car ars

C O N F I D E N T I A L

LEVELS ¡OF ¡AUTOMATED ¡DRIVING

LEVEL ¡1 DRIVER ASSISTANCE LEVEL ¡2 PARTIAL ¡AUTOMATION LEVEL ¡3 CONDITIONAL ¡AUTOMATION LEVEL ¡4 HIGH ¡AUTOMATION LEVEL ¡5 FULL ¡AUTOMATION

PASSENGER CARS ROBOTAXIS

De DeepScale ¡ ¡develops ¡ ¡technology ¡ ¡for ¡ ¡every ¡ ¡level

THE ¡FLOW

Al All ¡ ¡levels ¡ ¡of ¡ ¡vehicle ¡ ¡automation ¡ ¡require ¡ ¡this ¡ ¡flow ¡ ¡to ¡ ¡work. De DeepScale ¡ ¡specializes ¡ ¡in ¡ ¡Real-­‑

• ­‑Ti

Time ¡ ¡Perception.

SENSORS

LIDAR ULTRASONIC CAMERA RADAR

OFFLINE ¡MAPS REAL-­‑TIME PERCEPTION PATH ¡PLANNING & ACTUATION

WHAT ¡ARE ¡THE ¡DESIGN ¡PRINCIPLES ¡FOR ¡ AN ¡IDEAL ¡PERCEPTION ¡SYSTEM?

Good ¡perception ¡systems ¡are ¡RARE

Robust Accurate Redundant Efficient

A ¡perception ¡system's ¡hierarchy ¡of ¡needs

Predictive ¡Perception

Semantic ¡Perception

Shape ¡Perception

FOR ¡SOFTWARE ¡REDUNDANCY

OVERVIEW ¡OF ¡DEEPSCALE'S ¡APPROACH ¡TO ¡

REDUNDANCY ¡& ¡EFFICIENCY

SENSOR REDUNDANCY

TRADITIONAL ¡COMPUTER ¡VISION

• Dedicated ¡processor ¡bundled ¡with ¡specific ¡camera ¡in ¡a ¡closed ¡module
• Pre-­‑dates ¡Deep ¡Neural ¡Networks ¡à narrow ¡capability ¡based ¡on ¡hard-­‑coded ¡

algorithms ¡(e.g. ¡only ¡detect ¡cars ¡from ¡certain ¡angles)

• Major ¡revisions ¡dictated ¡by ¡hardware ¡development ¡cycles ¡of ¡2-­‑3 ¡years ¡(an ¡

eternity ¡given ¡how ¡fast ¡AI ¡is ¡changing) Approach ¡#1

DEEP ¡LEARNING ¡IS ¡THE ¡TECHNOLOGY ¡THAT ¡WILL ¡ BRING ¡BREAKTHROUGHS ¡IN ¡PERCEPTION

IMAGENET ¡TOP-­‑5 ¡ERROR

Similar ¡ ¡accu ccuracy cy ¡ ¡im improvements ¡ ¡

• n ¡

¡tasks ¡ ¡such ch ¡ ¡as:

• ­‑

semantic ¡ c ¡segmentation

• ­‑
• bject

ct ¡ ¡detect ction

• ­‑

3D ¡ ¡reconstruct ction

• ­‑

…th …the ¡ ¡list ¡ t ¡goes ¡ ¡on

OPEN-­‑SOURCE

DEEP ¡NEURAL ¡NETWORKS

[1] ¡S ¡Ren, ¡K ¡He, ¡R ¡Girshick, ¡J ¡Sun. ¡Faster ¡R-­‑CNN. ¡NIPS, ¡2015. [2] ¡J ¡Redmon, ¡A ¡Farhadi. ¡YOLO9000. ¡CVPR, ¡2016. [3] ¡W ¡Liu, ¡et ¡al. ¡SSD: ¡Single ¡shot ¡multibox detector. ¡ECCV, ¡2016

• Modern ¡Deep ¡Neural ¡Networks ¡(DNNs) ¡have ¡

brought ¡order-­‑of-­‑magnitude ¡improvements ¡ in ¡perception ¡accuracy …but, ¡real-­‑time ¡DNNs ¡for ¡object ¡detection ¡ require ¡250W+ ¡of ¡GPU ¡computing ¡[1,2,3]

• This ¡leads ¡to ¡a ¡trunk ¡full ¡of ¡hot, ¡expensive, ¡

power-­‑hungry ¡servers Approach ¡#2

50-­‑500x ¡smaller ¡DNN ¡models ¡for ¡ image ¡classification 30x ¡speedup ¡for

• bject ¡detection ¡DNNs

Implementing ¡DNNs ¡on ¡ embedded ¡processors DeepScale's playbook ¡for ¡creating ¡ small ¡and ¡efficient ¡DNN ¡models

DeepScale's ¡Unique ¡Advantage:

Small, ¡efficient ¡DNNs ¡on ¡low-­‑cost, ¡ automotive-­‑grade ¡processors

16

DeepScale ¡Captures ¡Best ¡Attributes ¡of ¡Camera ¡Systems

TRADITIONAL COMPUTER ¡VISION OPEN-­‑SOURCE RESEARCH MAIN ¡ CAPABILITIES

Object Detection ¡using ¡ conventional ¡methods Object ¡Detection ¡using ¡ Deep ¡Neural ¡Networks Object ¡Detection ¡using ¡ Deep ¡Neural ¡Networks

ERROR ¡RATE ¡ TREND

Improves ¡with ¡hardware ¡ revisions ¡every ¡3 ¡years Improves ¡all ¡the ¡time Improves ¡all ¡the ¡time

COMPUTE HARDWARE

Custom ¡ASICs ¡or ¡FGPAs ¡ ($$) One ¡high-­‑end ¡GPU per ¡camera ($$$) One ¡NVIDIA ¡automotive ¡GPU ¡ per ¡multi-­‑camera ¡set ¡($)

POWER

<10W 250W+ <10W ¡per camera

PORTABILITY

Tied to ¡supplier's camera ¡and ¡ASIC ¡bundle Varies Portable across ¡cameras ¡and ¡ processors

AUTOMOTIVE ¡ CERTIFICATON

Yes No In ¡progress

Summary

• The ¡rise ¡of ¡the ¡software-­‑defined ¡car
• Good ¡perception ¡systems ¡for ¡automated ¡driving ¡are ¡

RARE

• Robust
• Accurate
• Redundant
• Efficient
• DeepScale ¡is ¡building ¡RARE ¡perception ¡systems
• As ¡the ¡creators ¡of ¡SqueezeNet, ¡it's ¡no ¡surprise ¡that ¡DeepScale ¡

excels ¡in ¡Efficiency

Where ¡to ¡catch ¡us ¡next

• May: ¡AutoSens ¡Detroit
• June: ¡CVPR ¡Efficient ¡Deep ¡Learning ¡Workshop ¡(organizers)
• ShiftNet: ¡arxiv.org/pdf/1711.08141.pdf ¡
• SqueezeNext: ¡arxiv.org/abs/1803.10615 ¡

Our ¡latest ¡papers ¡on ¡small ¡neural ¡nets

@DeepScale_