Designing Effec+ve Movement Digital Biomarkers for - - PowerPoint PPT Presentation

Designing ¡Effec+ve ¡Movement ¡ ¡ Digital ¡Biomarkers ¡for ¡Unobtrusive ¡ ¡ Emo+onal ¡State ¡Mobile ¡Monitoring ¡ ¡

Abhinav ¡Mehrotra* ¡ ¡ ¡and ¡ ¡ ¡Mirco ¡Musolesi ¡*+ ¡ * ¡University ¡College ¡London ¡

+ ¡The ¡Alan ¡Turing ¡Ins+tute ¡ ¡ ¡ ¡

Mobile ¡Sensing ¡

Physical Context Cognitive Context

Previous ¡Approaches ¡

Monitoring ¡of ¡emo,onal ¡states ¡through ¡ ¡ the ¡collec,ve ¡analysis ¡of: ¡ ¡ ¡

• Mobility ¡traces ¡
• Applica+on ¡usage ¡

¡

• Communica+on ¡logs ¡

¡

Previous ¡Approaches ¡Using ¡ Mobility ¡Features ¡

Some ¡examples: ¡ ¡ 1) The ¡total ¡distance ¡covered ¡ ¡ 2) The ¡maximum ¡distance ¡between ¡two ¡loca+ons ¡ ¡ 3) The ¡radius ¡of ¡gyra+on ¡ ¡ 4) The ¡standard ¡devia+on ¡of ¡the ¡displacements ¡ ¡ 5) The ¡number ¡of ¡different ¡places ¡visited ¡

Limita+ons: ¡ ¡ 1) They ¡capture ¡movement ¡paQerns ¡in ¡a ¡coarse-­‑grained ¡ manner ¡ 2) Temporal ¡dimension ¡is ¡not ¡considered ¡

Previous ¡Approaches ¡Using ¡ Mobility ¡Features ¡

Some ¡examples: ¡ ¡ 1) The ¡total ¡distance ¡covered ¡ ¡ 2) The ¡maximum ¡distance ¡between ¡two ¡loca+ons ¡ ¡ 3) The ¡radius ¡of ¡gyra+on ¡ ¡ 4) The ¡standard ¡devia+on ¡of ¡the ¡displacements ¡ ¡ 5) The ¡number ¡of ¡different ¡places ¡visited ¡

Limita+ons: ¡ ¡ 1) They ¡capture ¡movement ¡paQerns ¡in ¡a ¡coarse-­‑grained ¡ manner ¡ 2) Temporal ¡dimension ¡is ¡not ¡considered ¡ Can ¡we ¡construct ¡more ¡informa+ve ¡mobility ¡features? ¡

Introducing ¡More ¡Fine-­‑grained ¡ Temporal ¡Mobility ¡Features ¡

• 1. ¡Spa+al ¡Coverage ¡ ¡

by ¡Tiles ¡Approxima+on ¡

Tile ¡size ¡was ¡op+mized ¡between ¡10 ¡and ¡2000 ¡meters. ¡

¡2. ¡Spa+al ¡Coverage ¡ ¡ by ¡Convex ¡Hull ¡Approxima+on ¡

• 3. ¡Tile ¡Sequence ¡

T1 T1 T1 T3 T5 T5 T5 T2 T2 T2 T1 T1 T1 T1 T1 T5 T5 T5 T2 T2 T2 T1 T1 T3

Sequence 1 Sequence 2

• 3. ¡Tile ¡Sequence ¡

T1 T1 T1 T3 T5 T5 T5 T2 T2 T2 T1 T1 T1 T1 T1 T5 T5 T5 T2 T2 T2 T1 T1 T3

Sequence 1 Sequence 2 Insert T3 Delete T3

Tile ¡size ¡was ¡op+mized ¡between ¡10 ¡and ¡2000 ¡meters. ¡ Difference ¡computed ¡via ¡string-­‑edit ¡method. ¡

• 4. ¡Place ¡Sequence ¡

P1 P1 P1 P3 P5 P5 P5 P2 P2 P2 P1 P1 P1 P1 P1 P5 P5 P5 P2 P2 P2 P1 P1 P3

Sequence 1 Sequence 2 Insert P3 Delete P3

Difference ¡computed ¡via ¡string-­‑edit ¡method. ¡

• 5. ¡Displacement ¡Entropy ¡

0.3 0.4 0.3 0.3 0.6 0.7 0.6

• 5. ¡Displacement ¡Entropy ¡

0.3 0.4 0.3 0.3 0.6 0.7 0.6 0.3 0.4 0.3 0.3 0.6 0.7 0.6

• 5. ¡Displacement ¡Entropy ¡

0.3 0.4 0.3 0.3 0.6 0.7 0.6 0.3 0.4 0.3 0.3 0.6 0.7 0.6

D1 D1 D1 D3 D3 D3 D3 D2 D2 D2 D1 D1

Shannon ¡Entropy ¡of ¡the ¡sequence ¡

• 5. ¡Displacement ¡Entropy ¡

Displacement ¡bin ¡size ¡was ¡op+mized ¡between ¡10 ¡and ¡2000 ¡meters. ¡

0.3 0.4 0.3 0.3 0.6 0.7 0.6 0.3 0.4 0.3 0.3 0.6 0.7 0.6

D1 D1 D1 D3 D3 D3 D3 D2 D2 D2 D1 D1

Shannon ¡Entropy ¡of ¡the ¡sequence ¡

Sensing ¡Emo+onal ¡States ¡

Russell’s ¡Circumplex ¡Model ¡ ¡ ¡

• Arousal ¡

¡

• Happiness ¡

Russell, ¡James ¡(1980). ¡"A ¡circumplex ¡model ¡of ¡affect". ¡Journal ¡of ¡Personality ¡and ¡Social ¡

• Psychology. ¡39: ¡1161–1178. ¡

¡

• U. ¡Schimmack ¡and ¡R. ¡Rainer. ¡Experiencing ¡ac,va,on: ¡energe,c ¡arousal ¡and ¡tense ¡arousal ¡are ¡

not ¡mixtures ¡of ¡valence ¡and ¡ac,va,on. ¡Emo7on, ¡2(4):412, ¡2002. ¡ ¡

• U. ¡Schimmack ¡and ¡R. ¡Rainer. ¡Experiencing ¡ac,va,on: ¡energe,c ¡arousal ¡and ¡tense ¡arousal ¡are ¡

not ¡mixtures ¡of ¡valence ¡and ¡ac,va,on. ¡Emo7on, ¡2(4):412, ¡2002. ¡ ¡

Sensing ¡Emo+onal ¡States ¡

Russell’s ¡Circumplex ¡Model ¡ ¡ ¡

• Arousal ¡

¡

• Happiness ¡

Russell, ¡James ¡(1980). ¡"A ¡circumplex ¡model ¡of ¡affect". ¡Journal ¡of ¡Personality ¡and ¡Social ¡

• Psychology. ¡39: ¡1161–1178. ¡

Tense ¡arousal ¡(Stress) ¡ ¡ ¡ Energe+c ¡arousal ¡ (Ac+veness) ¡

MyTraces ¡

Dataset ¡

¡ Users: ¡22 ¡ ¡ Par+cipa+on ¡days: ¡21 ¡ ¡ Observa+ons: ¡1380 ¡ ¡

Weekly ¡Data ¡ Weekdays ¡Data ¡

Correla+ons: ¡0.3 ¡– ¡0.5 ¡ Correla+ons: ¡0.3 ¡– ¡0.5 ¡

0.1 0.2 0.3 0.4 0.5 0.6

Entrop

Results ¡ ¡

Using ¡Average ¡Emo+onal ¡State ¡of ¡a ¡Day ¡

Stress ¡ Ac+veness ¡ Happiness ¡ Stress ¡ Ac+veness ¡ Happiness ¡

Weekly ¡Data ¡ Weekdays ¡Data ¡

Correla+ons: ¡0.3 ¡– ¡0.5 ¡ Correla+ons: ¡0.3 ¡– ¡0.5 ¡

0.1 0.2 0.3 0.4 0.5 0.6

Entrop

Results ¡ ¡

Using ¡Average ¡Emo+onal ¡State ¡of ¡a ¡Day ¡

Stress ¡ Ac+veness ¡ Happiness ¡ Stress ¡ Ac+veness ¡ Happiness ¡

New ¡Features ¡

Weekly ¡Data ¡ Weekdays ¡Data ¡

Correla+ons: ¡0.3 ¡– ¡0.5 ¡ Correla+ons: ¡0.3 ¡– ¡0.5 ¡

0.1 0.2 0.3 0.4 0.5 0.6

Entrop

Results ¡ ¡

Using ¡Strongest ¡Emo+onal ¡State ¡of ¡a ¡Day ¡

Stress ¡ Ac+veness ¡ Happiness ¡ Stress ¡ Ac+veness ¡ Happiness ¡

Weekly ¡Data ¡ Weekdays ¡Data ¡

Correla+ons: ¡0.3 ¡– ¡0.5 ¡ Correla+ons: ¡0.3 ¡– ¡0.5 ¡

0.1 0.2 0.3 0.4 0.5 0.6

Entrop

Results ¡ ¡

Using ¡Strongest ¡Emo+onal ¡State ¡of ¡a ¡Day ¡

Stress ¡ Ac+veness ¡ Happiness ¡ Stress ¡ Ac+veness ¡ Happiness ¡

New ¡Features ¡

Monitoring ¡of ¡Depressive ¡States ¡ ¡

Luca ¡Canzian ¡and ¡Mirco ¡Musolesi. ¡2015. ¡Trajectories ¡of ¡depression: ¡unobtrusive ¡monitoring ¡of ¡ depressive ¡states ¡by ¡means ¡of ¡smartphone ¡mobility ¡traces ¡analysis. ¡In ¡UbiComp’15. ¡ ¡ Abhinav ¡Mehrotra, ¡Robert ¡Hendley ¡and ¡Mirco ¡Musolesi. ¡2016. ¡Towards ¡Mul,-­‑modal ¡ An,cipatory ¡Monitoring ¡of ¡Depressive ¡States ¡through ¡the ¡Analysis ¡of ¡Human-­‑Smartphone ¡ Interac,on ¡. ¡In ¡MHSI’16. ¡

Through ¡the ¡collec+ve ¡analysis ¡of: ¡ ¡ ¡

• Loca+on ¡data ¡
• Applica+on ¡usage ¡

¡

• Reac+ons ¡to ¡no+fica+ons ¡

¡

Ques+ons? ¡

Abhinav ¡Mehrotra ¡ ¡ Intelligent ¡Social ¡Systems ¡Lab ¡ University ¡College ¡London ¡ ¡ a.mehrotra@ucl.ac.uk ¡ ¡