Mobile Distributed Processing of Physiological Data Kevin Lee, - - PowerPoint PPT Presentation

13/12/12 ¡

Mobile Distributed Processing

• f Physiological Data

Kevin Lee, Murdoch University James Meneghello, Murdoch University Kiel Gilleade, Liverpool John Moores University NESEA 2012

13/12/12 ¡

Overview

• Background of Physiological Monitoring and

Processing

• Problems and Justification
• Design and Architecture
• Implementation
• Experiments and Evaluation
• Conclusions

2 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

What is physiological monitoring?

• Process of using sensors to read, store, process

and interpret data from the body

• Basic ¡ones: ¡heart ¡rate, ¡body ¡temp ¡
• More ¡advanced: ¡biofeedback ¡– ¡bioelectrical ¡signals ¡
• Sensors come in a number of forms, from head
• r chest-bands to fingertip clips
• Data usually gets relayed back to a central

server for analysis and storage

• Traditionally used in a hospital setting, mobile

sensors are now available for most applications

3 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

What is it used for?

• Disease diagnosis (Cardiac, Respiratory)
• Long-term monitoring (Rehabilitation)
• Research
• Evaluating Physical and Mental Stress
• Integrated into other systems (Insulin Pumps)
• Casual Use

4 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Distributed Physiological Monitoring

• Rather than looking just at an individual, look at

the group as a whole

• Recent example: preventing the spread of swine

flu by using body temp scanners at airports to detect fever

• Data can be viewed in a spatial context

5 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡ 13/12/12 ¡

13/12/12 ¡

Simple Physiological Monitoring

• Simple ¡chest-­‑band ¡heart ¡rate ¡

sensor ¡

• Communicates ¡via ¡Bluetooth ¡to ¡

your ¡smartphone ¡or ¡PC ¡

• Logs ¡heart ¡rate ¡data ¡for ¡casual ¡

analysis ¡by ¡people ¡interested ¡in ¡

• pImising ¡workouts ¡(60-­‑80% ¡
• f ¡max) ¡
• Data ¡can ¡be ¡uploaded ¡to ¡sites ¡

like ¡RunKeeper ¡

6 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Advanced Physiological monitoring: Biofeedback

• Monitoring of bioelectric signals in our bodies
• We’re basically one big electrical system
• A heartbeat is the result of a bioelectric impulse

generated by the sinoatrial node

• This bioelectrical signal can be monitored by

attaching electrodes to the skin in positions above the organ

• For the heart, this is an electrocardiograph
• Others: electroencephalograph (EEG),

electromyograph (EMG), light-based photoplethysmograph (PPG)

7 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

An example signal

• Electrocardiogram
• 2-10 Electrodes above the

heart or a harness

• Accuracy and resolution
• f signal depends on

sample rate

• Usually 125-500Hz, 1-12

channels

• Data collected from

500Hz is around 30MB/hr, depending on var type

8 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Physiological Processing

• Data from sensors isn’t always in a format we

want

• Sometimes we can convert it easily
• Other times we want to perform complex

analysis

9 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Physiological Processing (2)

• Biofeedback signals tend to require a lot more

work

• Signal processing can take a lot of processing

power

10 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Physiological Processing (3)

• We can usually extract multiple data points from

a single signal

• Some particular transformations require some

very calculation-heavy processing

11 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Problems with Processing

• Specific hardware implementations exist for some transforms,

but are static

• Usually sent to a central server for processing, but requires

reliable communications

• If no communications are available, it’s not usually viable to carry

around a server

• Servers require fixed power supplies
• Some (particularly respiratory from PPG) transforms take a lot of

work, often more than a phone can handle

• Which means:

We ¡can’t ¡use ¡real-­‑Ime ¡physiological ¡monitoring ¡and ¡analysis ¡in: ¡

• Mobile ¡environments ¡
• Areas ¡with ¡poor ¡communicaIons ¡ ¡
• Terrain ¡-­‑ ¡underground, ¡heavy ¡woods, ¡valleys ¡

12 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

What benefits if we solve them?

• Wider range of usage environments
• New opportunities for e-health in remote

communities, health evaluation in realistic environments

• More dynamic transforms, easily implemented
• Easy implementation in all environments

13 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Distributed Mobile Processing

• We can improve physiological monitoring
• Smartphones can be pretty powerful these days
• Individually, lack processing power for continuous

high-intensity physiological transformations

• Collaboratively, they should be able to handle it
• 5-6 smartphones is a lot easier to carry around

and use when moving than a couple of desktop computers or a rack server

• Can be charged off a portable generator or

photovoltaic cells

14 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Common Issues

• Environment
• Communications
• Mobility
• Latency

15 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Designing a Platform

• A Distributed Real-time Physiological Monitoring and

Processing platform

• Split into roles:
• Monitor ¡– ¡collect ¡from ¡sensors ¡and ¡send ¡to ¡supervisor ¡
• Supervisor ¡– ¡present ¡interface, ¡manage ¡connecIons ¡
• Manager ¡– ¡organise ¡physiological ¡processing ¡work ¡
• Processor ¡– ¡complete ¡processing ¡task ¡
• Very flexible
• Roles ¡can ¡be ¡placed ¡on ¡any ¡device ¡
• Any ¡device ¡can ¡have ¡one ¡or ¡more ¡roles ¡

16 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

13/12/12 ¡

Processing Layers

18 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Implementation

• Web-based standards for communications
• XML or HTTP queries, authenticated
• Handles:
• Sensor ¡stream ¡registraIon ¡
• Data ¡submission ¡
• TransformaIon ¡requests ¡
• Data ¡requests ¡
• Python 2.6/2.7, Runs on a wide range of devices, anything

that runs Python

• A choice of database storage engines through SQLAlchemy
• Desktop PCs, Cloud Computing, Android Phones
• Flexible options for resource allocation, data compression,

configuration

19 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Interface

20 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡ 21 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Evaluation

• Is mobile processing of physiological transformations even

viable?

• Is the system scalable, mobile, compatible?
• Compare to existing methods to see if there’s an

improvement

• 5 devices:
• Peer-­‑level: ¡
• HTC ¡Desire ¡(Android, ¡1ghz ¡single-­‑core) ¡
• HTC ¡One ¡X ¡(Android, ¡1.5ghz ¡quad-­‑core) ¡
• Acer ¡Iconia ¡A500 ¡(Android, ¡1ghz ¡dual-­‑core) ¡
• Local-­‑level: ¡
• WorkstaIon ¡(Windows, ¡4.5ghz ¡quad-­‑core) ¡
• Cloud ¡CompuIng: ¡
• Amazon ¡EC2 ¡(Amazon ¡Linux, ¡High-­‑CPU ¡Medium) ¡

22 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Sample Data and Transform

• Using 2 blocks of 30 seconds worth of

randomised ECG sample data

• Three stage transform:
• Discrete ¡Fourier ¡Transform ¡on ¡30s ¡of ¡data ¡
• OperaIon ¡of ¡similar ¡complexity ¡to ¡R-­‑R ¡to ¡HR ¡on ¡30s ¡on ¡

previously ¡transformed ¡dataset ¡

• Merge ¡transformed ¡dataset ¡with ¡second ¡set ¡
• Report ¡back ¡the ¡results ¡of ¡DFT ¡and ¡Merge ¡

23 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Method

• Hit implemented system with realistic load of

transformation requests (while handling collection duties)

• Time taken for a single request to be sent,

processed and returned is “Response Time”

• Request time is the time the request was sent

24 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Experiment 1: Responsiveness

25 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

• Test whether the system can respond under load
• By testing with different combinations of devices, scalability is

determined

13/12/12 ¡

Experiment 2: Latency

26 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

• Compares the use of peer vs local vs Cloud resources for

physiological processing

• Latency can add a lot to each response, particularly if there are a

few transforms in a chain

13/12/12 ¡

Requirements Evaluation

• The platform supports distributed physiological

monitoring and processing in mobile environments

• Multiple sensors, multiple processors
• Dynamic transformations in real-time
• Configurable to different environments
• Can interface with most types of physiological

sensors

27 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Conclusions

• Distributed mobile processing can be used for real-

time physiological transformation processing in mobile environments

• Sometimes it’s better than using fixed resources due

to latency

• Lowers reliance on communications networks, fixed

resources and fixed power supplies

• Shows promise to significantly improve physiological

monitoring by expanding usage environments

28 ¡ Kevin ¡lee, ¡Murdoch ¡University ¡

13/12/12 ¡

Future Work

• A variety of application deployments
• Health ¡and ¡Medical ¡related ¡– ¡remote ¡communiIes ¡
• Social ¡acIviIes ¡– ¡sports ¡and ¡entertainment ¡
• Safety ¡– ¡high ¡risk ¡environments ¡e.g. ¡mine ¡sites ¡
• Improve the scheduling algorithms for the

Managers processing distribution

• Doesn’t ¡currently ¡take ¡into ¡account ¡bacery ¡
• Investigate selfish vs network wide decision

making

• e.g. ¡conserving ¡the ¡bacery ¡life ¡of ¡the ¡network ¡

resources ¡

29 ¡

13/12/12 ¡

Thank You Questions?

30 ¡

13/12/12 ¡

Case Studies: Training

• Similar scenario used in DARPA Warfighter

Physiological Status Monitoring project (2002)

• Sensors integrated into battle suits to monitor

health and mental state

• Collected data sent upstream via battlefield

communications networks to US-based processing servers and observers

• Improved likelyhood of casualty recovery and

remote diagnosis to assist field medics

• Data was used in stress (through HRV)

evaluation and PTSD research

13/12/12 ¡

Case Studies: Training (2)

• Problems related to architecture and

environment

• Constantly changing environment (indoor/out/

underground)

• Battlefield data communications are not always

reliable

• Without communications (and therefore access

to processing), the system fails

• Latency can be an issue
• Implausible to carry a processing server around

the battlefield

13/12/12 ¡

Case Studies: Mining

• Phys. monitoring previously used in rescue

scenarios to determine physical/mental health of trapped Chilean miners

• Not just physiological sensors – air quality,

environmental temperature, gas sensors

• Collate data from multiple sources and plot by

position to determine areas of inhabitability

13/12/12 ¡

Case Studies: Mining (2)

• Once again, communications problems
• Mostly environmental, closed-in and

underground

• Wireless repeaters can be used but are not

impervious to disruption

• Critical alerts should not be delayed by

interrupted communications