Sensing Emo+onal Response Zack Shainsky and Jake Drew - - PowerPoint PPT Presentation

Sensing ¡Emo+onal ¡Response ¡

Zack ¡Shainsky ¡and ¡Jake ¡Drew ¡ Ubiquitous ¡Compu+ng ¡ Southern ¡Methodist ¡University ¡

Valence ¡

h"p://en.wikipedia.org/wiki/Valence_(psychology) ¡

The ¡intrinsic ¡a"rac<veness ¡(posi<ve ¡valence) ¡or ¡aversiveness ¡(nega<ve ¡valence) ¡of ¡an ¡event, ¡

• bject, ¡or ¡situa<on. ¡ ¡

¡ The ¡term ¡is ¡also ¡used ¡to ¡characterize ¡and ¡categorize ¡specific ¡emo<ons. ¡ ¡ ¡ For ¡example, ¡the ¡emo<ons ¡popularly ¡referred ¡to ¡as ¡"nega<ve", ¡such ¡as ¡anger ¡and ¡fear, ¡have ¡ "nega<ve ¡valence". ¡Joy ¡has ¡"posi<ve ¡valence". ¡

Elements ¡of ¡Emo+onal ¡Recogni+on ¡

Measuring ¡full ¡emo+onal ¡response ¡requires ¡measurement ¡of ¡

• f ¡several ¡correlated ¡aDributes. ¡

Gloria ¡Mark ¡ Melissa ¡Niiya ¡ Yiran ¡Wang ¡

Stress ¡and ¡Mul+tasking ¡in ¡Everyday ¡College ¡ Life: ¡An ¡Empirical ¡Study ¡of ¡Online ¡Ac+vity ¡

The ¡Study ¡ Biosensors ¡were ¡used ¡to ¡measure ¡the ¡stress ¡

• f ¡48 ¡students ¡for ¡7 ¡hour ¡days ¡in ¡their ¡

normal ¡environments, ¡24 ¡hours ¡per ¡day. ¡

Research ¡Claims ¡– ¡College ¡Students ¡

• Stress ¡and ¡daily ¡+me ¡spent ¡on ¡computers ¡are ¡strongly ¡correlated ¡
• Stress ¡is ¡posi+vely ¡associated ¡with ¡mul+tasking ¡
• Stress ¡is ¡nega+vely ¡associated ¡with ¡Facebook ¡and ¡social ¡media ¡use ¡
• Heavy ¡mul+taskers ¡use ¡significantly ¡more ¡social ¡media ¡and ¡report ¡lower ¡

posi+ve ¡affect ¡than ¡light ¡mul+taskers ¡

• Night ¡owls ¡show ¡longer ¡dura+on ¡of ¡computer ¡use ¡
• Those ¡ending ¡their ¡ac+vi+es ¡earlier ¡in ¡the ¡day ¡mul+task ¡less ¡
• College ¡student ¡mul+task ¡at ¡double ¡the ¡rate ¡of ¡informa+on ¡workers ¡

Ques+on ¡ Since ¡you ¡are ¡college ¡students, ¡what ¡are ¡ your ¡ini+al ¡reac+ons ¡to ¡these ¡research ¡ claims? ¡ ¡

Ques+on ¡ A ¡na+onal ¡survey ¡in ¡2013 ¡found ¡82.8% ¡of ¡ students ¡reported ¡feeling ¡overall ¡stress ¡ during ¡the ¡last ¡year. ¡

¡

How ¡many ¡people ¡feel ¡“overall ¡stress” ¡ during ¡the ¡past ¡year? ¡

Stress ¡Factors ¡in ¡College ¡Students ¡

Stress ¡in ¡college ¡students ¡is ¡aDributed ¡to: ¡ ¡

• Exams ¡ ¡
• Demands ¡on ¡+me ¡
• Financial ¡pressures ¡
• Inability ¡to ¡cope ¡with ¡the ¡demands ¡of ¡a ¡situa+on ¡

Does ¡ICT ¡(Informa+on ¡and ¡Communica+ons ¡Technology) ¡ usage ¡contribute ¡to ¡stress ¡in ¡college ¡students? ¡

Ques+on ¡ Do ¡you ¡feel ¡the ¡authors ¡of ¡this ¡paper ¡view ¡ college ¡students ¡and ¡millennials ¡to ¡be ¡the ¡ same ¡target ¡group? ¡

¡

Does ¡it ¡maDer ¡in ¡terms ¡of ¡the ¡research ¡ presented? ¡ ¡

Previous ¡ICT ¡Study ¡Findings ¡are ¡Mixed ¡

• In ¡a ¡prospec+ve ¡survey ¡study, ¡high ¡ICT ¡usage ¡was ¡associated ¡with ¡

prolonged ¡stress ¡when ¡measured ¡one ¡year ¡later. ¡

• High ¡ICT ¡usage ¡without ¡breaks ¡was ¡associated ¡with ¡only ¡current ¡stress ¡(not ¡

prolonged ¡stress) ¡in ¡young ¡women. ¡

• Interac+ng ¡with ¡strong ¡social ¡+es ¡on ¡Facebook ¡reduces ¡stress. ¡
• 19-­‑29 ¡year ¡olds ¡go ¡to ¡bed ¡later ¡than ¡any ¡other ¡group. ¡
• 60% ¡of ¡19-­‑29 ¡year ¡olds ¡use ¡laptops ¡within ¡an ¡hour ¡of ¡going ¡to ¡bed. ¡
• Weekday ¡Facebook ¡ac+vity ¡increases ¡around ¡midnight. ¡
• Night ¡owls ¡in ¡this ¡age ¡range ¡report ¡aDen+on ¡and ¡emo+onal ¡problems. ¡

Previous ¡studies ¡are ¡based ¡on ¡self-­‑reports ¡and ¡people ¡ are ¡poor ¡es+mators ¡of ¡their ¡ICT ¡usage. ¡

Ques+on ¡ Are ¡you ¡a ¡poor ¡es+mator ¡of ¡your ¡ICT ¡usage? ¡ ¡

Research ¡Ques+ons ¡

• To ¡what ¡extent ¡do ¡Millennials ¡mul+task ¡online? ¡

1. Average ¡<me ¡using ¡applica<ons ¡before ¡switching? ¡ 2. How ¡frequently ¡does ¡switching ¡occur? ¡ ¡

• What ¡is ¡the ¡rela+onship ¡between ¡ICT ¡usage ¡and ¡stress? ¡
• How ¡does ¡+me ¡of ¡end ¡of ¡day ¡ac+vity ¡impact ¡the ¡following ¡day’s ¡stress ¡and ¡

ICT ¡usage? ¡

Research ¡Par+cipants ¡

• 48 ¡Undergraduates ¡
• 27 ¡male ¡
• 21 ¡female ¡
• Ages ¡18 ¡– ¡26, ¡19.6 ¡median ¡age ¡
• Majors: ¡C.S., ¡Engineering, ¡Physical ¡Sciences, ¡Humani+es ¡
• Average ¡age ¡when ¡par+cipants ¡started ¡using ¡a ¡computer: ¡9.4 ¡
• Average ¡age ¡when ¡par+cipants ¡started ¡using ¡internet: ¡10.8 ¡
• Median ¡College ¡Year: ¡Sophomore ¡ ¡
• GPA ¡Range: ¡1.6 ¡– ¡3.8 ¡

Research ¡Tools ¡and ¡Methods ¡

• Par+cipants ¡were ¡paid ¡$100 ¡
• Computer ¡Logging ¡
• Heart ¡Rate ¡Monitors ¡ ¡ ¡
• Daily ¡Surveys ¡ ¡
• General ¡Survey ¡ ¡
• Post ¡study ¡Interview ¡

Computer ¡Logging ¡

Kiddlogger ¡-­‑ ¡Free ¡Windows ¡logging ¡soUware ¡was ¡used ¡to ¡track ¡all ¡windows ¡

• pened ¡on ¡par<cipant ¡machines, ¡<mestamps, ¡the ¡dura<on ¡the ¡window ¡was ¡

ac<ve, ¡and ¡the ¡URL, ¡if ¡a ¡website ¡was ¡visited. ¡ ¡ ¡

h"p://kidlogger.net/ ¡

Ques+ons ¡ Would ¡you ¡behave ¡normally ¡on ¡your ¡laptop ¡ knowing ¡your ¡windows ¡were ¡being ¡ monitored? ¡

¡

Are ¡the ¡people ¡willing ¡to ¡install ¡logging ¡ sonware ¡on ¡their ¡personal ¡computers ¡ representa+ve ¡college ¡students? ¡ ¡

HVR ¡(Heart ¡Rate ¡Variability) ¡

• HVR ¡(Heart ¡Rate ¡Variability) ¡– ¡refers ¡to ¡the ¡varia<ons ¡in ¡instantaneous ¡heart ¡

rate ¡and ¡R-­‑R ¡(intervals ¡between ¡consecu<ve ¡beats). ¡ ¡

• Polar ¡RS800CX ¡wristwatch ¡and ¡chest ¡strap ¡were ¡used ¡to ¡measure ¡HVR. ¡ ¡ ¡
• HVR ¡is ¡calculated ¡using ¡the ¡standard ¡devia<on ¡of ¡the ¡normal-­‑to-­‑normal ¡heart ¡
• beat. ¡
• Lower ¡HVR ¡= ¡Higher ¡Stress ¡Experienced ¡
• Monitors ¡worn ¡all ¡<mes ¡except ¡sleeping, ¡shower, ¡swimming, ¡and ¡strenuous ¡

ac<vity. ¡

Survey ¡Measures ¡

Par+cipants ¡were ¡paid ¡$100. ¡ Daily ¡Surveys: ¡

• Par<cipants ¡rated ¡their ¡mood ¡according ¡to ¡the ¡PANAS ¡scale ¡
• PANAS ¡measures ¡the ¡two ¡dimensions ¡posi<ve ¡and ¡nega<ve ¡affect ¡
• Classes ¡a"ended ¡
• Produc<vity ¡ ¡
• Deadline ¡influence ¡

General ¡Survey: ¡

• Demographics, ¡academic ¡background, ¡status, ¡general ¡PANAS, ¡technology ¡
• habits. ¡

Data ¡Collec+on ¡

• 46 ¡par<cipants ¡
• 2 ¡par<cipants ¡were ¡excluded ¡for ¡non-­‑compliance ¡and ¡an<-­‑virus ¡issues. ¡
• HRV ¡was ¡calculated ¡using ¡Polar ¡Pro ¡Trainer ¡5 ¡soUware. ¡
• 20 ¡days ¡of ¡heart ¡rate ¡data ¡was ¡collected ¡
• 1350 ¡hours ¡of ¡computer ¡logs, ¡108 ¡hours ¡were ¡desktop ¡use ¡
• 117,559 ¡computer ¡window ¡switches ¡
• 3064 ¡hours ¡of ¡hear ¡rate ¡reading ¡(15 ¡million ¡samples) ¡
• 306 ¡end ¡of ¡day ¡surveys ¡

Website ¡Data ¡Results ¡

• 10 ¡website ¡categories ¡were ¡developed ¡using ¡2 ¡different ¡independent ¡coders ¡
• 4:40 ¡(H:MM) ¡of ¡daily ¡usage ¡on ¡average, ¡9 ¡hrs ¡max, ¡18 ¡minutes ¡min ¡
• Social ¡media ¡was ¡the ¡highest ¡category. ¡(84 ¡minutes ¡on ¡average ¡daily) ¡

Ques+on ¡ Do ¡you ¡feel ¡your ¡stress ¡level ¡naturally ¡rises ¡ throughout ¡the ¡day? ¡ ¡

¡

(i.e. ¡calm ¡when ¡you ¡awake ¡geong ¡possibly ¡ more ¡stressed ¡as ¡the ¡day ¡goes ¡on) ¡

Mul+ ¡vs. ¡Single ¡Task ¡Users ¡

Significantly ¡ Higher GPA ¡ Happier ¡ PANAS ¡ ¡ Outlook ¡

Stress ¡Rises ¡with ¡Computer ¡Usage ¡

Modeling ¡for ¡Stress ¡

• Used ¡SPSS ¡soUware ¡
• Created ¡Linear ¡Mixed ¡Models ¡by ¡hand ¡
• Eliminated ¡variables ¡un<l ¡a ¡best ¡fit ¡was ¡found ¡using ¡BIC ¡criterion ¡
• Model ¡shows ¡Higher ¡Computer ¡Dura<on ¡= ¡Higher ¡Stress ¡
• Higher ¡switching ¡= ¡Higher ¡Stress ¡

Previous ¡Night’s ¡Ac+vity ¡and ¡Stress ¡

• Ending ¡ac<vity ¡between ¡midnight ¡and ¡2 ¡am ¡has ¡the ¡highest ¡PANAS. ¡ ¡

Predic+ng ¡Audience ¡Responses ¡to ¡Movie ¡ Content ¡from ¡Electro-­‑Dermal ¡Ac+vity ¡Signals ¡

Fernando ¡Silveira ¡ Brian ¡Eriksson ¡ Anmol ¡Sheth ¡ Adam ¡Sheppard ¡

The ¡Study ¡ Use ¡Skin ¡Conduc+ve ¡Responses ¡(SCR) ¡and ¡ decomposi+on ¡signal ¡processing ¡to ¡predict ¡ user ¡feed ¡back ¡of ¡a ¡full ¡length ¡film. ¡

Research ¡Claims ¡

• Machine ¡learning ¡framework ¡for ¡predic+ng ¡explicit ¡feedback ¡

provided ¡by ¡an ¡individual ¡watching ¡a ¡movie. ¡

• 72% ¡accuracy ¡in ¡predic+ons ¡of ¡a ¡viewer’s ¡explicit ¡ra+ng ¡for ¡a ¡
• movie. ¡

¡

• 31% ¡improvement ¡over ¡predic+ons ¡using ¡demographics ¡
• alone. ¡
• Detec+on ¡method ¡for ¡s+muli ¡in ¡content ¡outperforms ¡best ¡

known ¡approach ¡by ¡a ¡factor ¡of ¡2.8 ¡in ¡terms ¡of ¡detec+on ¡rate. ¡

Electronic ¡Dermal ¡Ac+vity ¡

• Conductance ¡between ¡a ¡

pair ¡of ¡electrodes ¡placed ¡

• ver ¡a ¡skin ¡
• SCR ¡events ¡– ¡Skin ¡

Conductance ¡Response ¡ from ¡sweat ¡glands ¡

• Raw ¡EDA ¡signal ¡to ¡ID ¡

both ¡+me ¡and ¡intensity ¡

• f ¡events ¡

Affec<va ¡Q ¡Sensor ¡

Framework ¡Components ¡

1. EDA ¡sensors ¡that ¡viewers ¡wear ¡while ¡watching ¡a ¡ video ¡ 2. EDA ¡signal ¡decomposi+on ¡technique ¡to ¡accurately ¡ detect ¡and ¡quan+fy ¡EDA ¡responses. ¡ ¡ 3. A ¡machine ¡learning ¡model ¡to ¡predict ¡explicit ¡viewer ¡ feedback ¡at ¡the ¡end ¡of ¡a ¡movie ¡session. ¡ ¡

Calibra+on ¡Study ¡ Why ¡did ¡they ¡do ¡it? ¡ What ¡did ¡they ¡do? ¡

• Monitor ¡9 ¡individuals ¡
• First ¡test ¡simple ¡responses ¡
• 220 ¡second ¡clip ¡
• 7 ¡isolated ¡s+muli ¡
• S+muli ¡divided ¡by ¡silent ¡

intervals ¡

Signal ¡Decomposi+on ¡ ¡Window ¡sizes? ¡

Calibra+on ¡Machine ¡Learning ¡Models ¡

• The ¡goal ¡was ¡mapping ¡implicit ¡EDA ¡responses ¡back ¡to ¡

explicit ¡survey ¡feedback. ¡

• Features ¡included ¡gender, ¡age ¡group, ¡EDA ¡responses, ¡and ¡a ¡5 ¡

point ¡ra+ng ¡len ¡to ¡the ¡users ¡discre+on. ¡ ¡

• When ¡EDA ¡values ¡exceed ¡a ¡threshold, ¡the ¡+me ¡window ¡is ¡

marked ¡as ¡a ¡s+mulus ¡event. ¡

• Events ¡were ¡then ¡compared ¡to ¡the ¡actual ¡s+mulus ¡events ¡

for ¡accuracy. ¡

Film ¡Genres ¡and ¡Par+cipant ¡Demographics ¡

Feedback ¡Machine ¡Learning ¡Models ¡

• Feedback ¡ra+ngs ¡aner ¡movie ¡were ¡used ¡as ¡ground ¡truth. ¡
• A ¡response ¡matrix ¡was ¡created ¡for ¡each ¡user ¡mapping ¡SCR ¡

events ¡and ¡their ¡+mestamps. ¡

• SCR ¡events ¡are ¡aggregated ¡into ¡equal ¡sized ¡bins. ¡
• Bagged ¡classifica+on ¡tree ¡is ¡used ¡to ¡learn ¡an ¡ensemble ¡of ¡

tree ¡classifiers ¡over ¡mul+ple ¡subsamples ¡of ¡the ¡held ¡out ¡ training ¡set. ¡

• Leave ¡one ¡out ¡cross ¡valida+on ¡is ¡used ¡for ¡tes+ng. ¡

Feedback ¡Responses ¡as ¡Point ¡Intensi+es ¡

Results ¡

• Decomposi+on ¡approach ¡performs ¡beDer ¡than ¡nonnega+ve ¡

deconvolu+on ¡method ¡

• Compe+tor: ¡25% ¡detec+on ¡rate ¡ ¡
• EDA ¡technique: ¡70% ¡detec+on ¡rate ¡

Predic+on ¡Accuracy ¡by ¡Gender ¡and ¡Age ¡

No+ce ¡the ¡large ¡variability ¡in ¡overall ¡accuracy. ¡ ¡

Thank ¡You! ¡