CSE5390 & 7390 Special Topics in Ubiquitous Computing more - - PowerPoint PPT Presentation

Special Topics in Ubiquitous Computing

CSE5390 & 7390

Eric C. Larson, Lyle School of Engineering, Computer Science and Engineering, Southern Methodist University

1

more health and wellness examples

2

for next class...

• next time: no class on Monday — work on final projects!
• final projects are due Tuesday, December 16
• bring videos in on a thumb drive
• OR upload them the night before
• Come ready to give presentation OR turn in final paper by 8AM on

the 16th

3

agenda

• sleep sensing
• jaundice sensing

4

SleepHunter

5

slides courtesy of Weixi Gu

Background: the Zeo

6

Zeo ran an experiment in which sleepers were simultaneously monitored by a prototype of the Zeo, by an older technology called an actigraph, and by sleep researchers using a polysomnograph. The calculations by the Zeo prototype came fairly close to the accuracy of the other forms of measurement. For instance, the machine agreed with researchers about 75% of the time about the difference between light sleep, REM sleep, and deep sleep. This looks pretty good when you learn that the two sleep researchers agreed with each other 85% of the time.

Outline Related ¡work

Advantage： ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ High ¡accurate ¡ ¡ Fine ¡Grained ¡ Disadvantage: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Expensive ¡ ¡ ¡ Intrusive

• 1. ¡Polysomnography(PSG)-­‑based ¡work:
• 2. ¡Actigraphy-­‑based ¡work:

ZEO Jawbone ¡Up Sleep ¡As ¡ ¡Android

Advantage： ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Cheap ¡ ¡ ¡ Nonintrusive ¡ Disadvantage: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Not ¡accurate ¡ ¡ Coarse ¡Grained

¡ ¡Motivation ¡

REM Light ¡Sleep ¡ Deep ¡Sleep ¡

¡1. ¡Slower ¡Breathing ¡

¡2. ¡Micro ¡Body ¡ ¡ ¡ ¡ ¡ ¡ movement ¡ ¡3.Some ¡Cough

¡ ¡ ¡ ¡

¡ ¡1. ¡Rapid ¡Breathing ¡ ¡2. ¡Micro/Macro ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Body ¡movement ¡ ¡3.Somniloquy ¡ ¡4. ¡Some ¡Cough ¡

¡ ¡

¡ ¡1. ¡Slow ¡and ¡stable ¡ ¡ ¡ ¡ ¡ ¡ ¡Breathing ¡ ¡2. ¡Little ¡Body ¡ ¡ ¡ movement ¡ ¡ ¡ ¡

SleepHunter: impacts

9

• sleep apnea detection
• restless leg detection
• drowsiness, tracking of wakefulness
• why do we sleep?

When cells do their daily cell-type work, they produce waste product. The rest of the body has this waste cleared out by the lymphatic system, but the brain is disconnected from that, so it needs another way to wipe out the waste. The brain has it’s own garbage men, carried on the waves of cerebrospinal fluid, who surf the leftovers straight down to your liver for elimination. As it turns out, the brain’s garbage men move twice as fast when you’re sleeping, because your neurons shrink by half, making the fluid channels wider. “This study shows that the brain has different functional states when asleep and when awake,” said U

• f R researcher Maiken Nedergaard. “In fact, the restorative nature of sleep appears to be the result of

the active clearance of the by-products of neural activity that accumulate during wakefulness.” So get lots of rest, or else your brain’s spinal-fluid surfing street cleaners can’t get their gig done right.

¡Principles ¡

Acoustic ¡Events

Microphone

Personal ¡Information ¡

User ¡interaction

¡Body ¡movements

Accelerometer Long ¡breath ¡ ¡ ¡ ¡ ¡ Short ¡breath ¡ ¡ ¡ ¡ ¡ Cough ¡ ¡ ¡ ¡ ¡ ¡ Snore ¡ Somniloquy Age Macro ¡body ¡ movement ¡ Micro ¡body ¡ ¡movement

Illumination ¡ ¡ ¡

Light ¡sensor Weak ¡ Moderate ¡ Strong

Time

Clock Sleep ¡duration

REM Light ¡Sleep Deep ¡Sleep

¡Principles ¡

Model

Acoustic ¡Events

Microphone

Illumination ¡

Light ¡sensor

Personal ¡Information ¡

User ¡interaction

¡Body ¡movements

Accelerometer

Time

Clock

The ¡construction ¡of ¡the ¡relations ¡ between ¡sleep ¡related ¡events ¡and ¡ sleep ¡stages ¡ ¡ Leveraging ¡Conditional ¡Random ¡ Field ¡to ¡parse ¡the ¡relations ¡behind ¡ these ¡events ¡according ¡to ¡the ¡ dataset.

Challenges

Discriminative ¡sleep ¡related ¡ ¡ activities ¡identification

Feature-­‑extraction ¡ ¡mechanism ¡for ¡ each ¡of ¡sleep-­‑related ¡events ¡based ¡

• n ¡the ¡corresponding ¡physical ¡

characters.

The ¡Architecture ¡of ¡Sleep ¡Hunter

Smart call ¡ service Sleep quality ¡ report Acoustic sampling

Personal information

Clock Light ¡ sensor

Accelerometer

Microphone Vibration ¡ sampling Illumination ¡ sampling Duration ¡ sampling User ¡ interaction Acoustic ¡ features Acoustic ¡ event Movement ¡ features Body ¡ movement Illumination ¡ features Illumination ¡ condition Sleep ¡ duration ¡ Personal ¡ factor ¡ Light Deep REM

The ¡Architecture ¡of ¡Sleep ¡Hunter

Smart call ¡ service Sleep quality ¡ report Acoustic sampling

Personal information

Clock Light ¡ sensor

Accelerometer

Microphone Vibration ¡ sampling Illumination ¡ sampling Duration ¡ sampling User ¡ interaction Acoustic ¡ features Acoustic ¡ event Movement ¡ features Body ¡ movement Illumination ¡ features Illumination ¡ condition Sleep ¡ duration ¡ Personal ¡ factor ¡ Light Deep REM

The ¡Architecture ¡of ¡Sleep ¡Hunter

Smart call ¡ service Sleep quality ¡ report Acoustic sampling

Personal information

Clock Light ¡ sensor

Accelerometer

Microphone Vibration ¡ sampling Illumination ¡ sampling Duration ¡ sampling User ¡ interaction Acoustic ¡ features Acoustic ¡ event Movement ¡ features Body ¡ movement Illumination ¡ features Illumination ¡ condition Sleep ¡ duration ¡ Personal ¡ factor ¡ Light Deep REM

The ¡Architecture ¡of ¡Sleep ¡Hunter

Smart call ¡ service Sleep quality ¡ report Acoustic sampling

Personal information

Clock Light ¡ sensor

Accelerometer

Microphone Vibration ¡ sampling Illumination ¡ sampling Duration ¡ sampling User ¡ interaction Acoustic ¡ features Acoustic ¡ event Movement ¡ features Body ¡ movement Illumination ¡ features Illumination ¡ condition Sleep ¡ duration ¡ Personal ¡ factor ¡ Light Deep REM

Acoustic ¡event ¡detection

Smart call ¡ service Sleep quality ¡ report Acoustic sampling

Personal information

Clock Light ¡ sensor

Accelerometer

Microphone Vibration ¡ sampling Illumination ¡ sampling Duration ¡ sampling User ¡ interaction Acoustic ¡ features Acoustic ¡ event Movement ¡ features Body ¡ movement Illumination ¡ features Illumination ¡ condition Sleep ¡ duration ¡ Personal ¡ factor ¡ Light Deep REM

Acoustic ¡event ¡detection

• ­‑ ¡Provide ¡as ¡blind spot hints

Noise ¡ elimination Acoustic ¡event ¡ classification Acoustic ¡events ¡ record Feature ¡ selection ¡ Sample ¡rate: ¡16KHz ¡ Frame: ¡1024 ¡samples

Acoustic ¡event ¡detection

• ­‑ ¡Provide ¡as ¡blind spot hints

Noise ¡ elimination Acoustic ¡event ¡ classification Acoustic ¡events ¡ record Feature ¡ selection ¡ RMS: ¡ ¡<0.006 ¡ Entropy: ¡>25 ¡ Ambient ¡noise ¡ ¡ ¡ ¡ ¡

• Air ¡condition; ¡
• Foot ¡step; ¡
• Fan ¡sound;

Body ¡movement ¡noise ¡

• Simultaneity ¡of ¡the ¡

body ¡movement ¡and ¡

• noise. ¡

Simultaneity:ε ¡ <0.5s ¡ ¡ Traffic ¡noise: ¡

• Classify ¡it ¡with ¡

sleep ¡related ¡ events.

Acoustic ¡event ¡detection

• ­‑ ¡Provide ¡as ¡blind spot hints

Noise ¡ elimination Acoustic ¡event ¡ classification Acoustic ¡events ¡ record Feature ¡ selection ¡

• Spectral ¡Entropy; ¡
• Spectral ¡Centroid; ¡
• Bandwidth; ¡
• Zero ¡Crossing ¡Rate ¡(ZCR); ¡
• Spectral ¡Flux; ¡
• Spectral ¡Rolloff;

Acoustic ¡event ¡detection

• ­‑ ¡Provide ¡as ¡blind spot hints

Noise ¡ elimination Acoustic ¡event ¡ classification Acoustic ¡events ¡ record Feature ¡ selection ¡

• Tachypneic ¡breath ¡ ¡ ¡ ¡ ¡
• Apneustic ¡breath ¡ ¡ ¡ ¡ ¡
• Cough ¡ ¡ ¡ ¡ ¡ ¡
• Snore ¡
• Somniloquy ¡
• Traffic

Traffic ¡events: ¡F1: ¡97.6% ¡(REMOVE) ¡ Snore,Tachypneic,Apneustic, ¡Somniloquy ¡: ¡F1: ¡70%~ ¡88% ¡ Cough ¡：F1：66%

Body ¡Movement ¡Detection

Smart call ¡ service Sleep quality ¡ report Acoustic sampling

Personal information

Clock Light ¡ sensor

Accelerometer

Microphone Vibration ¡ sampling Illumination ¡ sampling Duration ¡ sampling User ¡ interaction Acoustic ¡ features Acoustic ¡ event Movement ¡ features Body ¡ movement Illumination ¡ features Illumination ¡ condition Sleep ¡ duration ¡ Personal ¡ factor ¡ Light Deep REM

Body ¡Movement ¡Detection

• ­‑ ¡Provide ¡as ¡blind spot hints

Body ¡ ¡ movement ¡ ¡ classification ¡ Body ¡ movement ¡ extraction Macro ¡body ¡ movement Micro ¡body ¡ movement Body ¡ movement ¡ record Sample ¡rate: ¡100Hz

Body ¡Movement ¡Detection

• ­‑ ¡Provide ¡as ¡blind spot hints

Body ¡ ¡ movement ¡ ¡ classification ¡ Body ¡ movement ¡ extraction Macro ¡body ¡ movement Micro ¡body ¡ movement Body ¡ movement ¡ record ¡Threshold: ¡η

Body ¡Movement ¡Detection

• ­‑ ¡Provide ¡as ¡blind spot hints

2800 4000 5200 6400 0.05 0.10 0.15 0.20 0.25 0.30

Body ¡ ¡ movement ¡ ¡ classification ¡ Body ¡ movement ¡ extraction Macro ¡body ¡ movement Micro ¡body ¡ movement Body ¡ movement ¡ record ¡Threshold: ¡1s

Body ¡Movement ¡Detection

• ­‑ ¡Provide ¡as ¡blind spot hints

Body ¡ ¡ movement ¡ ¡ classification ¡ Body ¡ movement ¡ extraction Macro ¡body ¡ ¡movement Micro ¡body ¡ movement Body ¡ movement ¡ record

Body ¡movement ¡features: ¡

1) ¡Macro ¡body ¡movement: ¡

• Body ¡roller ¡
• raising ¡legs ¡

2) ¡Micro ¡body ¡movement: ¡

• Hand ¡tremble ¡
• Head ¡moving

Illumination ¡condition ¡detection


Smart call ¡ service Sleep quality ¡ report Acoustic sampling

Personal information

Clock Light ¡ sensor

Accelerometer

Microphone Vibration ¡ sampling Illumination ¡ sampling Duration ¡ sampling User ¡ interaction Acoustic ¡ features Acoustic ¡ event Movement ¡ features Body ¡ movement Illumination ¡ features Illumination ¡ condition Sleep ¡ duration ¡ Personal ¡ factor ¡ Light Deep REM

Illumination ¡condition ¡detection

• ­‑ ¡Provide ¡as ¡blind spot hints

Average ¡ illumination ¡intensity ¡ calculation

Illumination ¡ ¡ record

Weak ¡illumination ¡ Moderate ¡ illumination ¡ Strong ¡ illumination ¡

Sample ¡rate: ¡100 ¡Hz

Illumination ¡condition ¡detection

• ­‑ ¡Provide ¡as ¡blind spot hints

Average ¡ illumination ¡intensity ¡ calculation

Illumination ¡ ¡ record

Weak ¡illumination ¡ Moderate ¡ illumination ¡ Strong ¡ illumination ¡

detection ¡phase ¡ ¡ ¡ ¡ ¡ lcur llatest

Illumination ¡condition ¡detection

Average ¡ illumination ¡intensity ¡ calculation

Illumination ¡ ¡ record

Weak ¡illumination ¡ Moderate ¡ illumination ¡ Strong ¡ illumination ¡

Illumination samples Illumination intensity Log Y (Lux)

weak illumination moderate illumination strong illumination

Threshold: ¡β1, ¡β2

Sleep ¡duration ¡& ¡Personal ¡factor

Smart call ¡ service Sleep quality ¡ report Acoustic sampling

Personal information

Clock Light ¡ Sensor

Accelerometer

Microphone Vibration ¡ sampling Illumination ¡ sampling Duration ¡ sampling User ¡ interaction Acoustic ¡ features Acoustic ¡ event Movement ¡ features Body ¡ movement Illumination ¡ features Illumination ¡ condition Sleep ¡ duration ¡ Personal ¡ factor ¡ Light Deep REM

Driver ¡Classification ¡Pipeline Sleep ¡duration ¡& ¡Personal ¡factor

REM

1st ¡REM ¡usually ¡lasts ¡ ¡ from ¡70 ¡to ¡90 ¡min. ¡ A ¡complete ¡cycle ¡usually ¡ ¡ takes ¡ ¡90 ¡to ¡110 ¡min. ¡ Deep ¡sleep ¡stage ¡decreases. REM ¡increases. Sleep ¡duration Personal ¡factor

The ¡Architecture ¡of ¡Sleep ¡Hunter

Smart call ¡ service Sleep quality ¡ report Acoustic sampling

Personal Information

Clock Light ¡ Sensor

Accelerometer

Microphone Vibration ¡ sampling Illumination ¡ sampling Duration ¡ sampling User ¡ Interaction Acoustic ¡ features Acoustic ¡ event Movement ¡ features Body ¡ movement Illumination ¡ features Illumination ¡ condition Sleep ¡ duration ¡ Personal ¡ Factor ¡ Light Deep REM

Driver ¡Classification ¡Pipeline Sleep ¡stage ¡detection ¡

Yt#3 Yt#2 Yt#1 Yt

X

Conditional ¡Random ¡Field ¡Model Advantages: ¡ ¡ ¡ 1) ¡ ¡CRFs ¡could ¡characterize ¡the ¡sequence ¡process. ¡ ¡ 2) ¡ ¡CRFs ¡are ¡more ¡suitable ¡for ¡sequences ¡that ¡have ¡long ¡ ¡ ¡ ¡ ¡ ¡interdependencies ¡than ¡other ¡models ¡such ¡as ¡HMMs.

REM Light Deep REM

Feature

Evaluation

• Demonstrate ¡Sleep ¡Hunter ¡under ¡real-­‑world ¡

conditions ¡where ¡people ¡use ¡the ¡application ¡in ¡ the ¡daily ¡life. ¡

– Overall ¡accuracies ¡of ¡each ¡sleep ¡stage ¡detection. ¡ – Effectiveness ¡of ¡the ¡feature ¡selection. ¡ – Performance ¡of ¡CPU ¡and ¡system ¡delay. ¡ ¡

Evaluation

Data ¡Collection

¡Two ¡datasets ¡

• 1. Training ¡Data ¡

– 90 ¡sets ¡of ¡nocturnal ¡sleep ¡data ¡ ¡(>6h); ¡ – ¡45 ¡volunteers ¡from ¡10 ¡years ¡old ¡to ¡60 ¡years ¡old; ¡

• 2. ¡Testing ¡Data ¡

– ¡30 ¡sets ¡of ¡nocturnal ¡sleep ¡data ¡ ¡(>6h); ¡ – ¡15 ¡volunteers ¡from ¡10 ¡years ¡old ¡to ¡60 ¡years ¡old; ¡ – Each ¡volunteer ¡in ¡training ¡and ¡testing ¡dataset ¡wears ¡ZEO ¡to ¡collect ¡ground ¡truth; ¡ – Each ¡volunteer ¡in ¡testing ¡datasets ¡wear ¡ ¡Jawbone ¡Up ¡and ¡Sleep ¡As ¡Android.

Data ¡collection

Manually ¡labeled ¡sleep ¡related ¡events ¡

Overall ¡CarSafe ¡Accuracy

REM Light ¡Sleep Deep ¡Sleep Recall REM

538 206 39 68.71%

Light ¡Sleep

246 630 77 66.11%

Deep ¡Sleep

61 108 174 50.73% 63.67% 66.74% 60.00%

Precision

Overall ¡Sleep ¡Hunter ¡accuracy

¡Prediction ¡ ¡Ground ¡Truth

Accuracy

¡64.55%

Performance ¡of ¡sleep ¡stage ¡detection

• Mean ¡precision ¡and ¡recall ¡are ¡84% ¡and ¡76% ¡respectively ¡

Light ¡Sleep

Deep ¡Sleep

Precision Recall Precision ¡ Recall ¡ ¡ ¡ ¡Sleep ¡Hunter 66.74% 66.11% 60.00% 50.73% ¡ ¡ ¡Jawbone ¡UP 37.74% 65.14% 34.62% 29.03% ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Sleep ¡As ¡Android 25.71% 32.14% 36.36% 49.61%

Performance ¡comparison

Stage Device

Performance ¡comparison

Sleep ¡Hunter ¡achieves ¡best ¡performance ¡!

¡ ¡ ¡ ¡ ¡ ¡REM Light ¡Sleep Deep ¡Sleep Features Precision Recall Precision Recall ¡ ¡Precision Recall BM 39.62% ¡34.91% 37.84% 47.11% 30.12% ¡28.27% BM+AE 45.41% ¡39.67% 47.83% 49.31% 38.34% ¡33.27% BM+AE+IC 46.13% 41.81% 49.10% ¡ ¡ ¡52.27% ¡ ¡42.91% ¡35.84% BM+AE+IC+SD 60.89% ¡67.99% 63.36% 59.15% ¡ ¡57.96% ¡46.53% BM+AE+IC+SD+PF ¡ 63.67% 68.71% 66.74% 66.11% ¡ ¡60.00% ¡50.73%

Effectiveness ¡of ¡Feature ¡Selection

Evaluation ¡of ¡sleep-­‑related ¡features With ¡the ¡increase ¡of ¡feature, ¡the ¡Precision ¡and ¡Recall ¡improve.

Case ¡study

Smart call ¡ service Sleep quality ¡ report Acoustic sampling

Personal Information

Clock Light ¡ Sensor

Accelerometer

Microphone Vibration ¡ sampling Illumination ¡ sampling Duration ¡ sampling User ¡ Interaction Acoustic ¡ features Acoustic ¡ event Movement ¡ features Body ¡ movement Illumination ¡ features Illumination ¡ condition Sleep ¡ duration ¡ Personal ¡ Factor ¡ Light Deep REM

• Sleep ¡Quality ¡Report: ¡

¡ ¡ SQ= ¡(REM*0.5+Light*0.75+Deep) ¡⁄(REM+Light+Deep)

Case ¡study

1) ¡Sleep ¡quality ¡with ¡deep ¡sleep If ¡the ¡deep ¡sleep ¡occur ¡in ¡the ¡first ¡hour, ¡ ¡ sleep ¡quality ¡is ¡high. ¡ ¡ Otherwise, ¡it ¡is ¡not. 2) ¡Sleep ¡quality ¡with ¡age 1) Sleep ¡score ¡decrease ¡with ¡ ¡ ¡ ¡ ¡ ¡the ¡increase ¡of ¡age. 2) ¡ ¡Two ¡sharp ¡drop ¡points: ¡30, ¡40; ¡

• Smart ¡call ¡service:

Case ¡study

Case ¡ ¡ ¡ ¡Explanation Sleep ¡ Hunter Sleep ¡As ¡ Android Case ¡1 There ¡are ¡actual ¡some ¡light ¡sleep ¡stages ¡in ¡the ¡preset ¡wake-­‑up ¡period ¡and ¡the ¡app ¡ detect ¡these ¡light ¡sleep ¡stage ¡rightly. ¡86.67% 42.33% Case ¡2 There ¡are ¡actual ¡some ¡light ¡sleep ¡stages ¡in ¡the ¡preset ¡wake-­‑up ¡period ¡but ¡the ¡app ¡ does ¡not ¡detect ¡these ¡light ¡sleep ¡stage ¡in ¡the ¡right ¡time ¡or ¡does ¡not ¡find ¡any ¡light ¡ sleep ¡stages ¡at ¡all. 6.67% 36.33% Case ¡3 There ¡are ¡no ¡light ¡sleep ¡stage ¡in ¡the ¡preset ¡wake ¡up ¡period ¡actually ¡but ¡the ¡app ¡ mistakes ¡some ¡other ¡sleep ¡stages ¡as ¡light ¡sleep. 6.67% 21.33% Case ¡4 There ¡are ¡no ¡light ¡sleep ¡stage ¡in ¡the ¡preset ¡wake ¡up ¡period ¡actually ¡and ¡the ¡app ¡also ¡ does ¡not ¡find ¡them. ¡ ¡0% 0%

Conclusion Conclusion

Menu ¡ ¡ ¡ ¡ ¡ ¡ ¡Setting ¡ Sleep ¡Stage ¡Mining Sleep ¡Score ¡

SleepHunter

44

SleepHunter: strengths and weaknesses

45

+good analysis of different features +integration of sensors from phone +excellent comparison to prior art +good use of ML and DSP without overpowering paper +real people in the wild for train and test

• ground truth was not medical standard
• not a great discussion of the impact and benefits
• who cares about battery?
• limitations of placing phone near head?

BiliCam

46

Kernicterus Statistics

Kernicterus:+ 21+($8+mill)+ Hazardous+ jaundice:++1158+ ($50,000)+ Extreme+jaundice:++ 2,317+($20,000)+ Severe+jaundice:+35,000+ ($8,500)+ Phototherapy:+290,000++($1,000)+ Visible+jaundice:+3.5+million+ Births/year:+4.1+million+

In the US Middle- & low-income countries:

• 75,000 cases

kernicterus/year

• 114,000 newborn

deaths/year

• 65% newborn deaths

from kernicterus

kernicterus 21 ($8 million)

Bhutani et al., Pediatric Research 2010

Total Serum Bilirubin

Medical Gold Standard

Transcutaneous

TcB

Bilirubinometer

TcB

Non-invasive Correlates 0.75-0.93

$7000

Quick results Screening tool for TSB

20 15 10 5

0.5 1 2 3 4 5 6

Age (days)

In Hospital

Bilirubin (mg/dL)

Newborn Bilirubin Levels

7 5 t h p e r c e n t i l e 25th percentile

Visual Assessment

• Parents
• Many physicians
• Traveling practitioners

In Hospital At Home

Screening Challenges

Tend to underestimate

bilirubin level in blood jaundice level blood draw yellowness camera processing estimated

bilicam

Study Evaluation

100 newborn participants

• <1 day old when

enrolled

• 59% white

2 medical centers Data collected by medical professionals using iPhone 4S

Photos: with & 
 without flash TSB (ground truth) TcB (control)

3 - 5 days old

Data Collection App

!

Standardize

• white balance
• card position
• phone position

!

Noisy Data

Automatic Quality Control

✔

✖

✖

✖ ✖ ✖

Ideal Glare Overexposed Occlusion Shadow Underexposed

Algorithm Overview

Bilirubin 
 Estimate Color Balance Extract Features Apply Regressions

400 500 600

Wavelength (nm)

Relative Bilirubin Absorption Probability

Bilirubin Absorption Properties

Feature Extraction

Gradient

(of RGB channels)

with & without flash skin RGB

Cr Cb Y

YCbCr

a* b* L*

L*a*b*

Extract Features Apply Regressions Color Balance

Algorithm Overview

Bilirubin 
 Estimate

Regression Ensemble

Regression Regression Regression Regression Regression

Bilirubin 
 Estimate

Combine

Regression Ensemble

No

90th percentile

Yes

regressions agree mean

Least Angle Regressions LARS-Lasso Elastic Net Support Vector Regressions k-Nearest Neighbor

Random Forest Regression

Bilirubin 
 Estimate

Results

5 10 15 20 25 5 10 15 20 25

TSB Ground Truth (mg/dl) Estimated Bilirubin (mg/dl)

Results

5 10 15 20 25 5 10 15 20 25

TSB Ground Truth (mg/dl) Estimated Bilirubin (mg/dl)

Results

5 10 15 20 25 5 10 15 20 25

TSB Ground Truth (mg/dl) Estimated Bilirubin (mg/dl)

BiliCam

rank order

0.85 correlation

Results

5 10 15 20 25 5 10 15 20 25

TSB Ground Truth (mg/dl) Estimated Bilirubin (mg/dl)

TcBs correlate 0.75 - 0.93

BiliCam

rank order

0.85 correlation

TcB

rank order

0.92 correlation

Interpretation

20 15 10 5

high risk

high intermediate risk l

• w

i n t e r m e d i a t e r i s k

low risk

Bilirubin (mg/dL)

0.5 1 2 3 4 5 6

Age (days)

20 15 10 5

high risk

high intermediate risk l

• w

i n t e r m e d i a t e r i s k

low risk

Bilirubin (mg/dL)

0.5 1 2 3 4 5 6

Age (days)

Bhutani Nomogram

20 15 10 5

high risk

high intermediate risk

l

• w

i n t e r m e d i a t e r i s k

low risk

Bilirubin (mg/dL)

0.5 1 2 3 4 5 6

Age (days)

Interpretation

9 high risk cases based on TSB

20 15 10 5

high risk

high intermediate risk

l

• w

i n t e r m e d i a t e r i s k

low risk

Bilirubin (mg/dL)

0.5 1 2 3 4 5 6

Age (days)

Interpretation

BiliCam

2/9 missed high risk (22%) 85% blood draws avoided

20 15 10 5

high risk

high intermediate risk

l

• w

i n t e r m e d i a t e r i s k

low risk

Bilirubin (mg/dL)

0.5 1 2 3 4 5 6

Age (days)

Interpretation

BiliCam

2/9 missed high risk (22%) 85% blood draws avoided

TcB

2/8 missed high risk (25%) 88% blood draws avoided

BiliCam is sufficient for newborn Jaundice screening, but it is unknown how user error affects reliability

Special Topics in Ubiquitous Computing

CSE5390 & 7390

83

Eric C. Larson, Lyle School of Engineering, Computer Science and Engineering, Southern Methodist University

more health and wellness examples

an example health system

84

• integrated heart health into a single system
• assumptions:
• off the shelf technology is key
• alerts are integral
• local processing == reliable, continuous inference

• ther systems

85

• AMON
• Epi-medics
• Molec

the new system

86

accelerometer

what the system infers

87

• continuous
• falls, general activity, arrhythmia, location GPS
• periodic
• blood pressure, weight, pulse oximetry
• polled
• meals, indoor location
• personalized
• doctor and patient can set thresholds of sensing

strength and weaknesses

88

• +focus on the alert system, not sensing
• +uses local inference from “validated” designs
• -no validation of their integration or discussion of appropriateness
• -patient and doctor are afterthoughts in design
• -focus on sensor values
• -no sensor fusion

pervasive health

89

defining pervasive health

90

• Jakob Bardram
• using ubicomp, ambient intelligence, or proactive computing for

health and wellness

• making health care available anywhere and at any time
• health integrated seamlessly into our everyday lives
• overlapping dichotomy:
• 1. help clinicians better treat and care
• 2. empower and enable the patients

defining pervasive health

91

• Gregory Abowd
• anything targeted at health challenges using
• wearables, mobile, and/or environmental sensors
• dichotomy:
• enables or contributes to medical knowledge (more rare)
• assists in healthcare delivery
• Bill Kaiser
• wireless (cloud based) sensing of health baselines

examples of pervasive health

92

• Alex “Sandy” Pentland

sensing behavior

examples of pervasive health

93

• Steven Intille

examples of pervasive health

94

• Kevin Patrick

examples of pervasive health

95

• Gillian Hayes

for the future

96

• mobile technology and health
• wireless on body sensing
• sensor fusion and social networks
• health analytics for massive data input
• feedback and behavior change
• balancing privacy and sharing
• supporting diagnosis