The Case for Offloading Con1nuous ON High-Datarate - - PowerPoint PPT Presentation

▶

Mar 15, 2023 264 likes •373 views

The Case for Offloading Con1nuous ON High-Datarate Percep1on to the Cloud Phone Seungyeop Han and Ma<hai Philipose University of Washington and

SLIDE 1

The ¡Case ¡for ¡Offloading ¡Con1nuous ¡ High-‑Datarate ¡Percep1on ¡to ¡the ¡Cloud ¡

Seungyeop ¡Han ¡and ¡Ma<hai ¡Philipose ¡

University ¡of ¡Washington ¡and ¡MicrosoA ¡Research ¡

¡

ON ¡ Phone ¡

SLIDE 2

2013. ¡5. ¡13 ¡

HotOS ¡XIV ¡ 2 ¡

Who? ¡ Where? ¡ What? ¡

SLIDE 3

It’s ¡Worth ¡It! ¡

2013. ¡5. ¡13 ¡

HotOS ¡XIV ¡ 3 ¡

Change ¡behaviors ¡ Aid ¡in ¡complex ¡tasks ¡ Augment ¡cogni1on ¡

SLIDE 4

The ¡Performance ¡Gap ¡

2013. ¡5. ¡13 ¡

HotOS ¡XIV ¡ 4 ¡

Speech ¡ Face ¡ Object ¡ Loca9on ¡ Model ¡Size ¡ 0.5 ¡– ¡600 ¡GB ¡ 1M/person ¡ 3-‑6 ¡GB ¡ 20M/floor ¡ Compute ¡ 16kHz ¡@ ¡160% ¡ Xeon ¡E5640 ¡ ¡ 30fps ¡@ ¡8-‑core ¡ SandyBridge ¡ 30fps ¡@ ¡Nvidia ¡ 580 ¡GPU ¡ 30fps ¡@ ¡2-‑core ¡ 2.4 ¡GHz ¡‘09 ¡ Intel ¡CPU ¡

Resource ¡use ¡of ¡today’s ¡best ¡systems: ¡

1000x ¡CPU, ¡100x ¡memory ¡ rela9ve ¡to ¡today’s ¡phone ¡

SLIDE 5

Offloading ¡Does ¡Not ¡Bridge ¡the ¡Gap ¡

Con%nuous ¡vision ¡requires: ¡

High ¡availability ¡
High ¡core ¡network ¡capacity ¡
High ¡compute ¡capacity ¡
A ¡good ¡privacy ¡story ¡
2013. ¡5. ¡13 ¡

HotOS ¡XIV ¡ 5 ¡

SLIDE 6

Bridging ¡the ¡gap ¡

2013. ¡5. ¡13 ¡

HotOS ¡XIV ¡ 6 ¡

Drop ¡frames ¡if ¡ Frac9on ¡to ¡process ¡ None ¡ 100% ¡ No ¡voice ¡ 6% ¡ High ¡ accelera1on ¡ 2.5% ¡ Low ¡light ¡ 1.5% ¡

Most ¡bytes ¡are ¡irrelevant ¡ Processors ¡geJng ¡more ¡efficient ¡

0.1 ¡ 1 ¡ 10 ¡ 100 ¡ 512 ¡ 4096 ¡ 32768 ¡ 262144 ¡ 2097152 ¡

2008 ¡ 2011 ¡ 2015 ¡ WaLs ¡ MIPS ¡ Intel ¡Notebook ¡MIPS ¡ Atom ¡MIPS ¡ Intel ¡Wa<s ¡ Atom ¡Wa<s ¡

Gaining ¡~50x ¡efficiency ¡ Gaining ¡~50x ¡efficiency ¡

SLIDE 7

Vision ¡algorithms ¡are ¡reaching ¡maturity ¡
Applica1ons ¡could ¡add ¡huge ¡value ¡
Vision ¡on ¡the ¡phone ¡likely ¡necessary ¡+ ¡feasible ¡

¡

2013. ¡5. ¡13 ¡

HotOS ¡XIV ¡ 7 ¡

What ¡does ¡the ¡OS ¡do? ¡

SLIDE 8

The ¡OS ¡Mul1plexes ¡Across ¡Apps ¡… ¡

… ¡while ¡providing ¡efficient ¡access ¡to: ¡

Heterogeneous ¡resources ¡
Sensor ¡ga1ng ¡services ¡
2013. ¡5. ¡13 ¡

HotOS ¡XIV ¡ 8 ¡

Model ¡Cache ¡

Cached ¡cloud-‑scale ¡models ¡
Privacy ¡primi1ves ¡

GPU ¡ DSP ¡ CPU ¡ ASIC ¡ CPU ¡ Accelerometer ¡ Light ¡sensor ¡ GPS ¡

X ¡

CPU ¡

SLIDE 9

Vision ¡algorithms ¡are ¡reaching ¡maturity ¡
Applica1ons ¡could ¡add ¡huge ¡value ¡
Vision ¡on ¡the ¡phone ¡likely ¡necessary ¡+ ¡feasible ¡
OS ¡provides ¡efficient, ¡private ¡cross-‑app ¡access: ¡

– processors, ¡models, ¡low-‑power ¡sensors ¡

2013. ¡5. ¡13 ¡

HotOS ¡XIV ¡ 9 ¡

The ¡Case ¡for ¡Offloading ¡Con1nuous ¡ High-­‑Datarate ¡Percep1on ¡to ¡the ¡Cloud ¡