ENERGY-PROPORTIONAL IMAGE SENSING FOR CONTINUOUS - - PowerPoint PPT Presentation

▶
energy proportional
SMART_READER_LITE
LIVE PREVIEW

ENERGY-PROPORTIONAL IMAGE SENSING FOR CONTINUOUS - - PowerPoint PPT Presentation

Sep 06, 2023 6 likes •367 views

ENERGY-PROPORTIONAL IMAGE SENSING FOR CONTINUOUS MOBILE VISION Robert LiKamW Robert LiKamWa a Bodhi Bodhi Priyantha Priyantha Matthai Matthai Philipose Philipose Victor ictor

slide-1
SLIDE 1

ENERGY-­‑PROPORTIONAL ¡ ¡ IMAGE ¡ ¡SENSING ¡

¡

FOR ¡

¡

¡

Robert LiKamW Robert LiKamWa a Bodhi Bodhi Priyantha Priyantha Matthai Matthai Philipose Philipose Victor ictor Bahl Bahl Lin Lin Zhong Zhong

CONTINUOUS ¡ ¡MOBILE ¡ ¡VISION ¡

h#p://roblkw.com ¡ h#p://research.microso4.com ¡

slide-2
SLIDE 2

CONTINUOUS ¡ ¡MOBILE ¡ ¡VISION ¡ ¡CONTINUOUS ¡ ¡MOBILE ¡ ¡ ¡VISION ¡

2 ¡of ¡33 ¡

slide-3
SLIDE 3

CONTINUOUS ¡ ¡MOBILE ¡ ¡VISION ¡ ¡CONTINUOUS ¡ ¡MOBILE ¡ ¡ ¡VISION ¡

Gestures Object Memory

3 ¡of ¡33 ¡

Face Recognition

Victor ictor

Fine-grained Localization

slide-4
SLIDE 4

BATTERY ¡DEATH ¡

Google Glass 2-3 hours LooxCie 2-3 hours GoPro Hero 2-3 hours

4 ¡of ¡33 ¡

slide-5
SLIDE 5

Image Sensor Goal < 25 mW Sensors

~ 5 mW

Processor

~150 mW ~150 mW

Network Stack

~20 mW

5 ¡of ¡33 ¡

slide-6
SLIDE 6

Image Sensor Goal < 25 mW

6 ¡of ¡33 ¡

Image Sensor Reality > 250 mW

slide-7
SLIDE 7

KEY ¡IDEA: ¡ENERGY ¡α ¡QUALITY ¡

Power Frame rate Power Resolution

slide-8
SLIDE 8

ENERGY ¡PROFILE ¡OF ¡AN ¡IMAGE ¡SENSOR ¡

1 MP, 5 fps 250 mW 0.3 MP, 15 fps 245 mW 1 MP, 15 fps 295 mW

< 25 mW Goal: Reality: > 230 mW > 230 mW

0.3 MP, 5 fps 232 mW

8 ¡of ¡38 ¡

slide-9
SLIDE 9

ENERGY-­‑EFFICIENT ¡ IMAGE ¡SENSING ¡

Image Sensor Characterization Energy Reduction Techniques Energy vs. Vision Performance

9 ¡of ¡38 ¡

slide-10
SLIDE 10

IMAGE ¡SENSOR ¡MEASUREMENT ¡

Camera Camera Module Module Programmable Clock Programmable Clock (I2C) (I2C) NI DAQ Device NI DAQ Device Power Rail Power Rail Resistors Resistors

Power VDD CLK

* Profiled 5 state-of-the-art image sensors from 2 manufacturers *

10 ¡of ¡38 ¡

slide-11
SLIDE 11

Camera Camera Module Module Programmable Clock Programmable Clock (I2C) (I2C) NI DAQ Device NI DAQ Device Power Rail Power Rail Resistors Resistors

IMAGE ¡SENSOR ¡MEASUREMENT ¡

11 ¡of ¡38 ¡

slide-12
SLIDE 12

IMAGE ¡SENSOR ¡WAVEFORMS ¡

Active Period Idle Period

Analog Digital PLL

12 ¡of ¡38 ¡

slide-13
SLIDE 13

IMAGE ¡SENSOR ¡WAVEFORMS ¡

Active Period Idle Period

Pixel Count

divided by

Clock Frequency Frame Time

minus

Active Time

Eframe = PactiveTactive + PidleTidle

slide-14
SLIDE 14

IMAGE ¡SENSOR ¡PIXEL ¡COUNT ¡(N) ¡

Region-of-Interest (Windowing)

Active Active Power Time Power Time

14 ¡of ¡38 ¡

Scaled Resolution (Pixel Skipping)

slide-15
SLIDE 15

IMAGE ¡SENSOR ¡PIXEL ¡COUNT ¡(N) ¡

Active Active Power Time Power Time

5 10 x 10

6

100 200 300 Power (mW) Npixels

Video (30 FPS) Power vs. Resolution

15 ¡of ¡38 ¡

slide-16
SLIDE 16

Ac@ve ¡ Frame ¡ Readout ¡ Active Power Time Active

IMAGE ¡SENSOR ¡FRAME ¡RATE ¡(R) ¡

10 20 30 50 100 150 200 FPS Power (mW)

Video (0.1 MP) Power vs. FPS

Ac@ve ¡ Frame ¡ Readout ¡ Active Power Time Active Active Active Active

1.0s

16 ¡of ¡38 ¡

slide-17
SLIDE 17

CHARACTERIZATION ¡CONCLUSION: ¡

NO ¡ENERGY ¡PROPORTIONALITY ¡

10 20 30 50 100 150 200 FPS Power (mW)

Video (0.1 MP) Power vs. FPS

5 10 x 10

6

100 200 300 Power (mW) Npixels

Video (30 FPS) Power vs. Resolution

17 ¡of ¡38 ¡

slide-18
SLIDE 18

ENERGY-­‑EFFICIENT ¡ IMAGE ¡SENSING ¡

Image Sensor Characterization Energy Reduction T Energy Reduction Techniques echniques Energy vs. Vision Performance

18 ¡of ¡38 ¡

slide-19
SLIDE 19

TECHNIQUE ¡#1: ¡AGGRESSIVE ¡STANDBY ¡

Active Active Active Active

19 ¡of ¡38 ¡

slide-20
SLIDE 20

Active Active Active Active

CAVEAT ¡TO ¡ ¡

AGGRESSIVE ¡STANDBY ¡

Active Active

Not enough exposure time This won’t work for long active periods, i.e., high resolution, high frame rate.

20 ¡of ¡38 ¡

slide-21
SLIDE 21

¡TECHNIQUE ¡#2: ¡CLOCK ¡SCALING ¡(f) ¡

One pixel per clock period

21 ¡of ¡38 ¡

slide-22
SLIDE 22

¡TECHNIQUE ¡#2: ¡CLOCK ¡SCALING ¡(f) ¡

Faster clock Lower Active Time Higher Active Power Higher Idle Power Slower clock Higher Active Time Lower Active Power Lower Idle Power

22 ¡of ¡38 ¡

slide-23
SLIDE 23

TECHNIQUE ¡#2: ¡CLOCK ¡SCALING ¡(f) ¡

Active Active

Low ¡Pixel ¡Count ¡ Low ¡Frame ¡Rate ¡ Slowed ¡Clock ¡

Optimal clock frequency depends on Pixel Count & Frame Rate

23 ¡of ¡38 ¡

slide-24
SLIDE 24

AGGRESSIVE ¡STANDBY ¡+ ¡CLOCK ¡OPTIMIZATION ¡

Sped-­‑up ¡ Clock ¡ Aggressive ¡ ¡ Standby ¡

Active Readout Active Read

  • ut

Optimal clock frequency depends on Pixel Count & Frame Rate

Exposure Time

24 ¡of ¡38 ¡

slide-25
SLIDE 25

ENERGY ¡α ¡QUALITY ¡

Frame rate (FPS) Resolution (MP) Resolution (MP)

30 30 25 25 20 20 15 15 10 10 5 5 2 2 1 1 3 3 4 4 5 5

Frame rate (FPS) Frame rate (FPS) Resolution (MP) Resolution (MP)

30 30 25 25 20 20 15 15 10 10 5 5 2 2 1 1 3 3 4 4 5 5

Power (mW) Power (mW)

350 350 300 300 250 250 200 200 150 150 100 100 50 50

Aggressive Standby & Clock Optimization Unoptimized

Power (mW) Power (mW)

350 350 300 300 250 250 200 200 150 150 100 100 50 50

25 ¡of ¡38 ¡

slide-26
SLIDE 26

CPU Driver ¡

26 ¡of ¡37 ¡

slide-27
SLIDE 27

27 ¡of ¡38 ¡

slide-28
SLIDE 28

CURRENT ¡IMAGE ¡SENSOR ¡DESIGN ¡

Image Processor Pixel Array Column Output Gain, ADC

Analog Signal Chain

70-85% Power Consumption

28 ¡of ¡38 ¡

slide-29
SLIDE 29

Image Processor Pixel Array Column Output High-Speed ADC Mid-Speed ADC Low-Speed ADC Gain

HETEROGENEOUS ¡SENSOR ¡DESIGN ¡

Analog Signal Chain Heterogeneous

29 ¡of ¡38 ¡

slide-30
SLIDE 30

ENERGY ¡α ¡QUALITY ¡

10 20 30 50 100 150 200 250 FPS Power (mW)

Default Clock select Standby HW Fix

Power vs. Framerate (at 0.1 MP)

0.5 1 1.5 2 x 10

6

100 200 300 Npixels Power (mW)

Power vs. Resolution (at 5 FPS)

Default Clock select Standby HW Fix

30 ¡of ¡36 ¡

slide-31
SLIDE 31

ENERGY-­‑EFFICIENT ¡ IMAGE ¡SENSING ¡

Image Sensor Characterization Energy Reduction Techniques Energy vs. V Energy vs. Vision Performance ision Performance

31 ¡of ¡38 ¡

slide-32
SLIDE 32

ENERGY ¡vs. ¡VISION: ¡VISION ¡TASK ¡

IMAGE ¡REGISTRATION ¡

32 ¡of ¡36 ¡

slide-33
SLIDE 33

ENERGY ¡vs. ¡VISION: ¡PERFORMANCE ¡

Image Registration Image Registration Success Success Power Reduction with Power Reduction with software assist software assist Estimated Power Estimated Power Reduction with hardware Reduction with hardware assist assist

Full VGA Resolution 0.1 MP 0.1 MP, 30 FPS , 30 FPS

99.9% 51% 84%

Frame Rate Reduction 0.1 MP 0.1 MP, 3 FPS , 3 FPS

95.7% 95.7% 95% 98%

30% Window 0.06 MP 0.06 MP, 30 FPS , 30 FPS

96.5% 63% 91%

Subsampled by 2 0.3 MP 0.3 MP, 30 FPS , 30 FPS

91.8% 71% 94%

185 mW

Typical Average Power

10 mW

With aggr. standby & optimal clock

3 mW

With heterogeneous analog signal chain

slide-34
SLIDE 34

S c a l a b l e C

  • m

p u t e r V i s i

  • n

A l g

  • r

i t h m s I n t e g r a t e d S y s t e m s D e s i g n D e v e l

  • p

e r S u p p

  • r

t E n e r g y P r

  • p
  • r

t i

  • n

a l I m a g e S e n s i n g

34 ¡of ¡36 ¡

slide-35
SLIDE 35

Continuous Continuous Mobile V Mobile Vision ision

slide-36
SLIDE 36

ENERGY-­‑PROPORTIONAL ¡IMAGE ¡ ¡SENSING ¡

¡

FOR ¡

¡

CONTINUOUS ¡ ¡MOBILE ¡ ¡VISION ¡

¡

¡

h#p://roblkw.com ¡ h#p://research.microso4.com ¡

Image sensors are not energy-proportional…

Frame rate (FPS) Frame rate (FPS) Resolution (MP) Resolution (MP)

30 30 20 20 10 10 1 1 3 3 5 5

…but we can make them energy-proportional…

Aggressive Standby Clock Optimization Sensor Modifications

… and this is just the beginning.

CMV CMV