An Open Affective Platform Nik Thompson Terry Koziniec Tanya - - PowerPoint PPT Presentation

an open affective platform
SMART_READER_LITE
LIVE PREVIEW

An Open Affective Platform Nik Thompson Terry Koziniec Tanya - - PowerPoint PPT Presentation

An Open Affective Platform Nik Thompson Terry Koziniec Tanya McGill Murdoch University, 1 Perth, Western Australia Affec%ve Compu%ng compu'ng that relates to, arises from, or deliberately


slide-1
SLIDE 1

An Open Affective Platform

Nik Thompson Terry Koziniec Tanya McGill

Murdoch University, Perth, Western Australia 1

slide-2
SLIDE 2

Affec%ve ¡Compu%ng ¡

“compu'ng ¡that ¡relates ¡to, ¡arises ¡from, ¡or ¡ deliberately ¡influences ¡emo'on ¡or ¡other ¡ affec've ¡phenomena.” ¡ ¡ (Picard ¡1997) ¡

2 ¡

slide-3
SLIDE 3

A ¡model ¡for ¡affec%ve ¡applica%ons ¡

3rd ¡Party ¡ SoCware ¡ SoCware ¡ Extensions ¡ (Op'onal) ¡ Event ¡Mapper ¡ ¡ (Op'onal) ¡ Affec%ve ¡ PlaHorm ¡ Rule ¡Set ¡

3 ¡

slide-4
SLIDE 4

Hardware ¡and ¡soCware ¡required ¡to ¡ acquire ¡the ¡affec%ve ¡data ¡and ¡to ¡convert ¡ this ¡into ¡a ¡usable ¡format. ¡The ¡hardware ¡ comprises ¡the ¡physical ¡interface ¡between ¡ the ¡user ¡and ¡the ¡computer, ¡including ¡any ¡ sensors ¡and ¡associated ¡components ¡ needed ¡to ¡acquire ¡a ¡signal. ¡The ¡soCware ¡ comprises ¡of ¡the ¡rou%nes ¡used ¡to ¡ transform ¡this ¡acquired ¡signal ¡into ¡a ¡ meaningful ¡result ¡in ¡the ¡context ¡of ¡an ¡ affec%ve ¡state. ¡The ¡resul%ng ¡informa%on ¡ is ¡then ¡communicated ¡to ¡any ¡affec%ve ¡ applica%on ¡components ¡which ¡require ¡it. ¡ ¡

Affec%ve ¡ PlaHorm ¡

4 ¡

slide-5
SLIDE 5

Describing ¡affec%ve ¡state ¡ ¡

In ¡terms ¡of ¡component ¡dimensions ¡

(Russell ¡circumplex ¡model) ¡

Posi%ve ¡ Deac%vated ¡ Posi%ve ¡ Ac%vated ¡ Nega%ve ¡ ¡ Deac%vated ¡ Nega%ve ¡ Ac%vated ¡

+ ¡ Valence ¡

  • ­‑ ¡

+ ¡ Ac%va%on ¡

  • ­‑ ¡

5 ¡

slide-6
SLIDE 6

Describing ¡affec%ve ¡state ¡ ¡

6 ¡

slide-7
SLIDE 7
  • As ¡a ¡basic ¡requirement, ¡the ¡ability ¡to ¡infer ¡

dimensions ¡of ¡ac%va%on/valence ¡should ¡provide ¡ the ¡ability ¡to ¡infer ¡the ¡underlying ¡affec%ve ¡state ¡

  • Ideal ¡characteris%cs ¡of ¡sensors ¡include ¡

– Low ¡cost ¡ – Simple ¡(where ¡possible!) ¡ – Unobtrusive ¡

  • Commercially ¡available ¡hardware ¡does ¡possess ¡

some ¡of ¡these ¡characteris%cs ¡

7 ¡

slide-8
SLIDE 8

Sensors ¡

  • Electrodermal ¡ac%vity ¡(EDA) ¡is ¡an ¡established ¡indicator ¡of ¡

emo%onal ¡arousal. ¡ ¡

  • EDA ¡measurement ¡simply ¡requires ¡skin ¡contact, ¡with ¡li\le ¡

complexity ¡in ¡the ¡way ¡of ¡hardware ¡or ¡soCware. ¡ ¡ ¡

  • Heart ¡rate ¡(HR) ¡based ¡measures ¡may ¡be ¡used ¡as ¡an ¡indicator ¡
  • f ¡emo%onal ¡valence. ¡ ¡
  • Yannakakis, ¡et ¡al. ¡iden%fied ¡frequency ¡domain ¡analysis ¡of ¡heart ¡rate ¡

variability ¡(HRV) ¡as ¡a ¡more ¡suitable ¡approach ¡that ¡may ¡provide ¡ more ¡informa%on ¡than ¡the ¡basic ¡HR ¡related ¡measures. ¡This ¡form ¡of ¡ analysis ¡makes ¡it ¡possible ¡to ¡observe ¡specific ¡frequency ¡bands ¡ which ¡correspond ¡to ¡certain ¡underlying ¡processes; ¡for ¡example, ¡to ¡ discern ¡between ¡physiological ¡changes ¡due ¡to ¡physical ¡exer%on ¡as ¡

  • pposed ¡to ¡affec%ve ¡state. ¡

8 ¡

slide-9
SLIDE 9

EDA ¡Sensor ¡hardware ¡

EDA ¡sensing ¡requires ¡a ¡steady ¡current ¡to ¡be ¡ passed ¡between ¡the ¡two ¡electrodes, ¡and ¡any ¡ fluctua%ons ¡to ¡be ¡amplified ¡to ¡produce ¡a ¡clear ¡

  • utput ¡waveform. ¡ ¡

Simple, ¡Low ¡cost, ¡Unobtrusive ¡

9 ¡

slide-10
SLIDE 10

EDA ¡Sensor ¡soCware ¡ ¡ func%onal ¡components ¡

10 ¡

slide-11
SLIDE 11

HR ¡Sensor ¡hardware ¡

  • The ¡photoplethysmograph ¡(PPG) ¡produces ¡a ¡

sinusoidal ¡waveform ¡output ¡which ¡ corresponds ¡to ¡the ¡light ¡absorbance ¡of ¡blood ¡ flowing ¡beneath ¡the ¡sensor. ¡ ¡

11 ¡

slide-12
SLIDE 12

HR ¡Sensor ¡soCware ¡ ¡ func%onal ¡components ¡

12 ¡

slide-13
SLIDE 13

HRV ¡Frequency ¡domain ¡analysis ¡

13 ¡

slide-14
SLIDE 14

Outputs ¡ ¡

EDA ¡and ¡HRV ¡sensors ¡provide ¡a ¡normalized ¡ numeric ¡result ¡which ¡may ¡be ¡correlated ¡with ¡ changes ¡in ¡underlying ¡affec%ve ¡state. ¡ ¡ This ¡may ¡be ¡provided ¡to ¡other ¡components ¡or ¡

  • ther ¡applica%on ¡soCware ¡via ¡disk ¡files, ¡named ¡

pipes, ¡shared ¡memory ¡and ¡so ¡on. ¡

14 ¡

slide-15
SLIDE 15

Evalua%on ¡

ACer ¡thorough ¡pilo%ng, ¡the ¡plaHorm ¡has ¡been ¡ used ¡in ¡a ¡number ¡of ¡studies ¡with ¡good ¡results. ¡ ¡ A ¡brief ¡overview ¡of ¡some ¡of ¡the ¡studies ¡is ¡ presented ¡in ¡the ¡following ¡slides. ¡

15 ¡

slide-16
SLIDE 16

Affec%ve ¡ac%va%on ¡test ¡

Subjects ¡(n=38) ¡viewed ¡a ¡set ¡of ¡evoca%ve ¡image ¡ s%muli, ¡drawn ¡from ¡the ¡Interna%onal ¡Affec%ve ¡ Pictures ¡System. ¡ ¡ ¡ It ¡was ¡demonstrated ¡that ¡the ¡output ¡from ¡the ¡ EDA ¡sensing ¡func%ons ¡could ¡be ¡used ¡to ¡ successfully ¡detect ¡the ¡presenta%on ¡of ¡evoca%ve ¡ images ¡with ¡strong ¡sta%s%cal ¡significance ¡ (p=0.01) ¡ ¡

16 ¡

slide-17
SLIDE 17

Affec%ve ¡valence ¡test ¡

Subjects ¡(n=38) ¡were ¡placed ¡in ¡a ¡nega%ve ¡affect ¡ inducing ¡situa%on ¡during ¡a ¡mathema%cs ¡test. ¡ Results ¡demonstrated ¡that ¡the ¡output ¡from ¡the ¡ HRV ¡soCware ¡was ¡able ¡to ¡discern ¡between ¡the ¡ neutral ¡and ¡nega%ve ¡valence ¡situa%ons ¡with ¡ sta%s%cal ¡significance ¡(p<0.01). ¡ Further ¡evalua%on ¡revealed ¡that ¡it ¡was ¡also ¡ possible ¡to ¡detect ¡between ¡different ¡levels ¡of ¡the ¡ same ¡measure ¡(n=18) ¡with ¡strong ¡sta%s%cal ¡

  • significance. ¡

17 ¡

slide-18
SLIDE 18

Affec%ve ¡tutor ¡evalua%on ¡

An ¡affect ¡sensi%ve ¡e-­‑learning ¡soCware ¡was ¡ developed, ¡in ¡which ¡the ¡on ¡screen ¡animated ¡ tutor ¡u%lized ¡both ¡affec%ve ¡arousal ¡and ¡valence ¡ cues ¡to ¡guide ¡it’s ¡course ¡of ¡ac%on. ¡ Results ¡demonstrated ¡that ¡par%cipants ¡(n=40) ¡ reported ¡a ¡sta%s%cally ¡significantly ¡higher ¡level ¡

  • f ¡perceived ¡learning ¡when ¡interac%ng ¡with ¡the ¡

affec%ve ¡tutor ¡than ¡a ¡control ¡group ¡(p<0.01) ¡

18 ¡

slide-19
SLIDE 19

Future ¡Work ¡

  • 1. Sensors ¡are ¡sensi%ve ¡to ¡movement ¡ar%facts ¡– ¡

development ¡of ¡physical ¡interface ¡and ¡ improvements ¡to ¡soCware ¡may ¡be ¡beneficial. ¡

  • 2. Evalua%on ¡of ¡alterna%ve ¡data ¡acquisi%on ¡

plaHorms ¡– ¡In ¡this ¡implementa%on ¡a ¡Na%onal ¡ Instruments ¡DAQ ¡and ¡LabVIEW ¡environment ¡ was ¡used, ¡other ¡alterna%ves ¡are ¡being ¡explored. ¡

  • 3. The ¡plaHorm ¡may ¡be ¡adapted ¡to ¡novel ¡

environments ¡including ¡body ¡area ¡networking ¡ for ¡HSE. ¡

19 ¡

slide-20
SLIDE 20

Thank ¡You ¡

¡ ¡ Ques%ons ¡

20 ¡