CSE5390 & 7390 Special Topics in Ubiquitous Computing more - PowerPoint PPT Presentation

CSE5390 & 7390 Special Topics in Ubiquitous Computing more health and wellness examples Eric C. Larson, Lyle School of Engineering, Computer Science and Engineering, Southern Methodist University 1

CSE5390 & 7390 Special Topics in 2 Ubiquitous Computing

for next class... • next time : no class on Monday — work on final projects! • final projects are due Tuesday, December 16 • bring videos in on a thumb drive • OR upload them the night before • Come ready to give presentation OR turn in final paper by 8AM on the 16th CSE5390 & 7390 Special Topics in 3 Ubiquitous Computing

agenda • sleep sensing • jaundice sensing CSE5390 & 7390 Special Topics in 4 Ubiquitous Computing

SleepHunter slides courtesy of Weixi Gu CSE5390 & 7390 Special Topics in 5 Ubiquitous Computing

Background: the Zeo Zeo ran an experiment in which sleepers were simultaneously monitored by a prototype of the Zeo, by an older technology called an actigraph, and by sleep researchers using a polysomnograph. The calculations by the Zeo prototype came fairly close to the accuracy of the other forms of measurement. For instance, the machine agreed with researchers about 75% of the time about the difference between light sleep, REM sleep, and deep sleep. This looks pretty good when you learn that the two sleep researchers agreed with each other 85% of the time. CSE5390 & 7390 Special Topics in 6 Ubiquitous Computing

Related ¡work Outline 1. ¡Polysomnography(PSG)-­‑based ¡work: Advantage ： ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ZEO ¡ High ¡accurate ¡ ¡ Fine ¡Grained ¡ Disadvantage: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Expensive ¡ ¡ ¡ Intrusive 2. ¡Actigraphy-­‑based ¡work: Advantage ： ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Jawbone ¡Up ¡ Cheap ¡ ¡ ¡ Nonintrusive ¡ Disadvantage: ¡ ¡ ¡ ¡ ¡ ¡ ¡ Sleep ¡As ¡ ¡Android ¡ Not ¡accurate ¡ ¡ Coarse ¡Grained

¡ ¡Motivation ¡ ¡ 1. ¡Slower ¡Breathing ¡ ¡2. ¡Micro ¡Body ¡ ¡ ¡ ¡ ¡ ¡ movement ¡ ¡3.Some ¡Cough Light ¡Sleep ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡1. ¡Rapid ¡Breathing ¡ ¡ ¡1. ¡Slow ¡and ¡stable ¡ ¡ ¡ ¡ ¡2. ¡Micro/Macro ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Breathing ¡ Body ¡movement ¡ ¡2. ¡Little ¡Body ¡ ¡ ¡ ¡3.Somniloquy ¡ movement ¡ ¡4. ¡Some ¡Cough ¡ ¡ ¡ ¡ Deep ¡Sleep ¡ REM 6 (c)StartYourDoc.com

SleepHunter: impacts • sleep apnea detection • restless leg detection • drowsiness, tracking of wakefulness • why do we sleep? When cells do their daily cell-type work, they produce waste product. The rest of the body has this waste cleared out by the lymphatic system, but the brain is disconnected from that, so it needs another way to wipe out the waste. The brain has it’s own garbage men, carried on the waves of cerebrospinal fluid, who surf the leftovers straight down to your liver for elimination. As it turns out, the brain’s garbage men move twice as fast when you’re sleeping, because your neurons shrink by half, making the fluid channels wider. “This study shows that the brain has different functional states when asleep and when awake,” said U of R researcher Maiken Nedergaard. “In fact, the restorative nature of sleep appears to be the result of the active clearance of the by-products of neural activity that accumulate during wakefulness.” So get lots of rest, or else your brain’s spinal-fluid surfing street cleaners can’t get their gig done right. CSE5390 & 7390 Special Topics in 9 Ubiquitous Computing

¡Principles ¡ Time ¡ Body ¡movements Acoustic ¡Events Illumination ¡ ¡ ¡ Personal ¡Information ¡ User ¡interaction Clock Microphone Light ¡sensor Accelerometer Age Sleep ¡duration Long ¡breath ¡ ¡ ¡ ¡ ¡ Weak ¡ Macro ¡body ¡ Short ¡breath ¡ ¡ ¡ ¡ ¡ Moderate ¡ movement ¡ Cough ¡ ¡ ¡ ¡ ¡ ¡ Strong Micro ¡body ¡ Snore ¡ ¡movement Somniloquy 12 (c)StartYourDoc.com

¡Principles ¡ ¡Body ¡movements Time Acoustic ¡Events Personal ¡Information ¡ Illumination ¡ Accelerometer User ¡interaction Light ¡sensor Clock Microphone Model Deep ¡Sleep Light ¡Sleep REM 13 (c)StartYourDoc.com

Challenges Feature-­‑extraction ¡ ¡mechanism ¡for ¡ Discriminative ¡sleep ¡related ¡ ¡ each ¡of ¡sleep-­‑related ¡events ¡based ¡ activities ¡identification on ¡the ¡corresponding ¡physical ¡ characters. Leveraging ¡Conditional ¡Random ¡ The ¡construction ¡of ¡the ¡relations ¡ Field ¡to ¡parse ¡the ¡relations ¡behind ¡ between ¡sleep ¡related ¡events ¡and ¡ these ¡events ¡according ¡to ¡the ¡ sleep ¡stages ¡ ¡ dataset. 14

The ¡Architecture ¡of ¡Sleep ¡Hunter Light ¡ Personal Clock Microphone Accelerometer sensor information Vibration ¡ User ¡ Illumination ¡ Duration ¡ Acoustic interaction sampling sampling sampling sampling Illumination ¡ Acoustic ¡ Movement ¡ features features features Illumination ¡ Personal ¡ Acoustic ¡ Sleep ¡ Body ¡ factor ¡ duration ¡ event condition movement REM Deep Light Sleep quality ¡ Smart call ¡ report service

The ¡Architecture ¡of ¡Sleep ¡Hunter Light ¡ Personal Clock Microphone Accelerometer sensor information Vibration ¡ User ¡ Illumination ¡ Duration ¡ Acoustic interaction sampling sampling sampling sampling Illumination ¡ Acoustic ¡ Movement ¡ features features features Illumination ¡ Personal ¡ Acoustic ¡ Sleep ¡ Body ¡ factor ¡ duration ¡ event condition movement REM Deep Light Sleep quality ¡ Smart call ¡ report service

The ¡Architecture ¡of ¡Sleep ¡Hunter Light ¡ Personal Clock Microphone Accelerometer sensor information Vibration ¡ User ¡ Illumination ¡ Duration ¡ Acoustic interaction sampling sampling sampling sampling Illumination ¡ Acoustic ¡ Movement ¡ features features features Illumination ¡ Personal ¡ Acoustic ¡ Sleep ¡ Body ¡ factor ¡ duration ¡ event condition movement REM Deep Light Sleep quality ¡ Smart call ¡ report service

The ¡Architecture ¡of ¡Sleep ¡Hunter Light ¡ Personal Clock Microphone Accelerometer sensor information Vibration ¡ User ¡ Illumination ¡ Duration ¡ Acoustic interaction sampling sampling sampling sampling Illumination ¡ Acoustic ¡ Movement ¡ features features features Illumination ¡ Personal ¡ Acoustic ¡ Sleep ¡ Body ¡ factor ¡ duration ¡ event condition movement REM Deep Light Sleep quality ¡ Smart call ¡ report service

Acoustic ¡event ¡detection Light ¡ Personal Clock Microphone Accelerometer sensor information Vibration ¡ User ¡ Illumination ¡ Duration ¡ Acoustic interaction sampling sampling sampling sampling Illumination ¡ Acoustic ¡ Movement ¡ features features features Illumination ¡ Personal ¡ Acoustic ¡ Sleep ¡ Body ¡ factor ¡ duration ¡ event condition movement REM Deep Light Sleep quality ¡ Smart call ¡ report service

Acoustic ¡event ¡detection Acoustic ¡event ¡ Acoustic ¡events ¡ Noise ¡ Feature ¡ -­‑ ¡Provide ¡as ¡ blind spot hints classification record elimination selection ¡ Sample ¡rate: ¡16KHz ¡ Frame: ¡1024 ¡samples

Acoustic ¡event ¡detection Acoustic ¡event ¡ Acoustic ¡events ¡ Noise ¡ Feature ¡ -­‑ ¡Provide ¡as ¡ blind spot hints classification record elimination selection ¡ Traffic ¡noise: ¡ Ambient ¡noise ¡ ¡ ¡ ¡ ¡ Body ¡movement ¡noise ¡ Classify ¡it ¡with ¡ Air ¡condition; ¡ Simultaneity ¡of ¡the ¡ • • • sleep ¡related ¡ Foot ¡step; ¡ body ¡movement ¡and ¡ • events. Fan ¡sound; noise. ¡ • Simultaneity:ε ¡ RMS: ¡ ¡<0.006 ¡ <0.5s ¡ ¡ Entropy: ¡>25 ¡

Acoustic ¡event ¡detection Acoustic ¡event ¡ Noise ¡ Feature ¡ Acoustic ¡events ¡ classification elimination selection ¡ record -­‑ ¡Provide ¡as ¡ blind spot hints Spectral ¡Entropy; ¡ • Spectral ¡Centroid; ¡ • Bandwidth; ¡ • Zero ¡Crossing ¡Rate ¡(ZCR); ¡ • Spectral ¡Flux; ¡ • Spectral ¡Rolloff; •

Acoustic ¡event ¡detection Acoustic ¡event ¡ Acoustic ¡events ¡ Noise ¡ Feature ¡ -­‑ ¡Provide ¡as ¡ blind spot hints classification record elimination selection ¡ Tachypneic ¡breath ¡ ¡ ¡ ¡ ¡ • Apneustic ¡breath ¡ ¡ ¡ ¡ ¡ • Cough ¡ ¡ ¡ ¡ ¡ ¡ • Snore ¡ • Somniloquy ¡ • Traffic • Traffic ¡events: ¡F1: ¡97.6% ¡(REMOVE) ¡ Snore,Tachypneic,Apneustic, ¡Somniloquy ¡: ¡F1: ¡70%~ ¡88% ¡ Cough ¡ ： F1 ： 66%