Designing Effec+ve Movement Digital Biomarkers for - PowerPoint PPT Presentation

Designing ¡Effec+ve ¡Movement ¡ ¡ Digital ¡Biomarkers ¡for ¡Unobtrusive ¡ ¡ Emo+onal ¡State ¡Mobile ¡Monitoring ¡ ¡ Abhinav ¡Mehrotra * ¡ ¡ ¡and ¡ ¡ ¡Mirco ¡Musolesi ¡ *+ ¡ * ¡University ¡College ¡London ¡ + ¡The ¡Alan ¡Turing ¡Ins+tute ¡ ¡ ¡ ¡

Mobile ¡Sensing ¡ Physical Context Cognitive Context

Previous ¡Approaches ¡ Monitoring ¡of ¡emo,onal ¡states ¡through ¡ ¡ the ¡collec,ve ¡analysis ¡of: ¡ ¡ ¡ • Mobility ¡traces ¡ • Applica+on ¡usage ¡ ¡ • Communica+on ¡logs ¡ ¡

Previous ¡Approaches ¡Using ¡ Mobility ¡Features ¡ Limita+ons: ¡ ¡ 1) They ¡capture ¡movement ¡paQerns ¡in ¡a ¡coarse-­‑grained ¡ manner ¡ 2) Temporal ¡dimension ¡is ¡not ¡considered ¡ Some ¡examples: ¡ ¡ 1) The ¡total ¡distance ¡covered ¡ ¡ 2) The ¡maximum ¡distance ¡between ¡two ¡loca+ons ¡ ¡ 3) The ¡radius ¡of ¡gyra+on ¡ ¡ 4) The ¡standard ¡devia+on ¡of ¡the ¡displacements ¡ ¡ 5) The ¡number ¡of ¡different ¡places ¡visited ¡

Previous ¡Approaches ¡Using ¡ Mobility ¡Features ¡ Limita+ons: ¡ ¡ 1) They ¡capture ¡movement ¡paQerns ¡in ¡a ¡coarse-­‑grained ¡ manner ¡ 2) Temporal ¡dimension ¡is ¡not ¡considered ¡ Some ¡examples: ¡ ¡ 1) The ¡total ¡distance ¡covered ¡ ¡ 2) The ¡maximum ¡distance ¡between ¡two ¡loca+ons ¡ ¡ 3) The ¡radius ¡of ¡gyra+on ¡ ¡ 4) The ¡standard ¡devia+on ¡of ¡the ¡displacements ¡ ¡ 5) The ¡number ¡of ¡different ¡places ¡visited ¡ Can ¡we ¡construct ¡more ¡informa+ve ¡mobility ¡features? ¡

Introducing ¡More ¡Fine-­‑grained ¡ Temporal ¡Mobility ¡Features ¡

1. ¡Spa+al ¡Coverage ¡ ¡ by ¡Tiles ¡Approxima+on ¡ Tile ¡size ¡was ¡op+mized ¡between ¡10 ¡and ¡2000 ¡meters. ¡

¡2. ¡Spa+al ¡Coverage ¡ ¡ by ¡Convex ¡Hull ¡Approxima+on ¡

3. ¡Tile ¡Sequence ¡ Sequence 1 T1 T1 T1 T3 T5 T5 T5 T2 T2 T2 T1 T1 Sequence 2 T1 T1 T1 T5 T5 T5 T2 T2 T2 T1 T1 T3

3. ¡Tile ¡Sequence ¡ Sequence 1 T1 T1 T1 T3 T5 T5 T5 T2 T2 T2 T1 T1 Sequence 2 T1 T1 T1 T5 T5 T5 T2 T2 T2 T1 T1 T3 Insert T3 Delete T3 Difference ¡computed ¡via ¡string-­‑edit ¡method. ¡ Tile ¡size ¡was ¡op+mized ¡between ¡10 ¡and ¡2000 ¡meters. ¡

4. ¡Place ¡Sequence ¡ Sequence 1 P1 P1 P1 P3 P5 P5 P5 P2 P2 P2 P1 P1 Sequence 2 P1 P1 P1 P5 P5 P5 P2 P2 P2 P1 P1 P3 Insert P3 Delete P3 Difference ¡computed ¡via ¡string-­‑edit ¡method. ¡

5. ¡Displacement ¡Entropy ¡ 0 0 0 0.3 0.4 0.3 0.3 0.6 0.7 0.6 0 0

5. ¡Displacement ¡Entropy ¡ 0 0 0 0.3 0.4 0.3 0.3 0.6 0.7 0.6 0 0 0 0 0 0.3 0.4 0.3 0.3 0.6 0.7 0.6 0 0

5. ¡Displacement ¡Entropy ¡ 0 0 0 0.3 0.4 0.3 0.3 0.6 0.7 0.6 0 0 0 0 0 0.3 0.4 0.3 0.3 0.6 0.7 0.6 0 0 D1 D1 D1 D3 D3 D3 D3 D2 D2 D2 D1 D1 Shannon ¡Entropy ¡of ¡the ¡sequence ¡

5. ¡Displacement ¡Entropy ¡ 0 0 0 0.3 0.4 0.3 0.3 0.6 0.7 0.6 0 0 0 0 0 0.3 0.4 0.3 0.3 0.6 0.7 0.6 0 0 D1 D1 D1 D3 D3 D3 D3 D2 D2 D2 D1 D1 Shannon ¡Entropy ¡of ¡the ¡sequence ¡ Displacement ¡bin ¡size ¡was ¡op+mized ¡between ¡10 ¡and ¡2000 ¡meters. ¡

Sensing ¡Emo+onal ¡States ¡ Russell’s ¡Circumplex ¡Model ¡ ¡ ¡ • Arousal ¡ ¡ • Happiness ¡ Russell, ¡James ¡(1980). ¡" A ¡circumplex ¡model ¡of ¡affect" . ¡ Journal ¡of ¡Personality ¡and ¡Social ¡ Psychology . ¡ 39 : ¡1161–1178. ¡ ¡ U. ¡Schimmack ¡and ¡R. ¡Rainer. ¡Experiencing ¡ac,va,on: ¡energe,c ¡arousal ¡and ¡tense ¡arousal ¡are ¡ not ¡mixtures ¡of ¡valence ¡and ¡ac,va,on . ¡ Emo7on , ¡2(4):412, ¡2002. ¡ ¡

Sensing ¡Emo+onal ¡States ¡ Russell’s ¡Circumplex ¡Model ¡ ¡ Tense ¡arousal ¡(Stress) ¡ ¡ ¡ • Arousal ¡ ¡ ¡ Energe+c ¡arousal ¡ • Happiness ¡ (Ac+veness) ¡ Russell, ¡James ¡(1980). ¡" A ¡circumplex ¡model ¡of ¡affect" . ¡ Journal ¡of ¡Personality ¡and ¡Social ¡ Psychology . ¡ 39 : ¡1161–1178. ¡ U. ¡Schimmack ¡and ¡R. ¡Rainer. ¡Experiencing ¡ac,va,on: ¡energe,c ¡arousal ¡and ¡tense ¡arousal ¡are ¡ not ¡mixtures ¡of ¡valence ¡and ¡ac,va,on . ¡ Emo7on , ¡2(4):412, ¡2002. ¡ ¡

MyTraces ¡ Dataset ¡ ¡ Users: ¡22 ¡ ¡ Par+cipa+on ¡days: ¡21 ¡ ¡ Observa+ons: ¡1380 ¡ ¡

Results ¡ ¡ Using ¡Average ¡Emo+onal ¡State ¡of ¡a ¡Day ¡ Entrop Stress ¡ Weekly ¡Data ¡ 0.6 Ac+veness ¡ 0.5 Correla+ons: ¡0.3 ¡– ¡0.5 ¡ 0.4 Happiness ¡ 0.3 0.2 Stress ¡ Weekdays ¡Data ¡ 0.1 Ac+veness ¡ 0 Correla+ons: ¡0.3 ¡– ¡0.5 ¡ Happiness ¡

Results ¡ ¡ Using ¡Average ¡Emo+onal ¡State ¡of ¡a ¡Day ¡ Entrop Stress ¡ Weekly ¡Data ¡ 0.6 Ac+veness ¡ 0.5 Correla+ons: ¡0.3 ¡– ¡0.5 ¡ 0.4 Happiness ¡ 0.3 0.2 Stress ¡ Weekdays ¡Data ¡ 0.1 Ac+veness ¡ 0 Correla+ons: ¡0.3 ¡– ¡0.5 ¡ Happiness ¡ New ¡Features ¡

Results ¡ ¡ Using ¡Strongest ¡Emo+onal ¡State ¡of ¡a ¡Day ¡ Entrop Stress ¡ Weekly ¡Data ¡ 0.6 Ac+veness ¡ 0.5 Correla+ons: ¡0.3 ¡– ¡0.5 ¡ 0.4 Happiness ¡ 0.3 0.2 Stress ¡ Weekdays ¡Data ¡ 0.1 Ac+veness ¡ 0 Correla+ons: ¡0.3 ¡– ¡0.5 ¡ Happiness ¡

Results ¡ ¡ Using ¡Strongest ¡Emo+onal ¡State ¡of ¡a ¡Day ¡ Entrop Stress ¡ Weekly ¡Data ¡ 0.6 Ac+veness ¡ 0.5 Correla+ons: ¡0.3 ¡– ¡0.5 ¡ 0.4 Happiness ¡ 0.3 0.2 Stress ¡ Weekdays ¡Data ¡ 0.1 Ac+veness ¡ 0 Correla+ons: ¡0.3 ¡– ¡0.5 ¡ Happiness ¡ New ¡Features ¡

Monitoring ¡of ¡Depressive ¡States ¡ ¡ Through ¡the ¡collec+ve ¡analysis ¡of: ¡ ¡ ¡ • Loca+on ¡data ¡ • Applica+on ¡usage ¡ ¡ • Reac+ons ¡to ¡no+fica+ons ¡ ¡ Luca ¡Canzian ¡and ¡Mirco ¡Musolesi. ¡2015. ¡ Trajectories ¡of ¡depression: ¡unobtrusive ¡monitoring ¡of ¡ depressive ¡states ¡by ¡means ¡of ¡smartphone ¡mobility ¡traces ¡analysis. ¡In ¡UbiComp’15. ¡ ¡ Abhinav ¡Mehrotra, ¡Robert ¡Hendley ¡and ¡Mirco ¡Musolesi. ¡2016. ¡ Towards ¡Mul,-­‑modal ¡ An,cipatory ¡Monitoring ¡of ¡Depressive ¡States ¡through ¡the ¡Analysis ¡of ¡Human-­‑Smartphone ¡ Interac,on ¡ . ¡In ¡MHSI’16. ¡

Ques+ons? ¡ Abhinav ¡Mehrotra ¡ ¡ Intelligent ¡Social ¡Systems ¡Lab ¡ University ¡College ¡London ¡ ¡ a.mehrotra@ucl.ac.uk ¡ ¡