An Open Affective Platform Nik Thompson Terry Koziniec Tanya - - PowerPoint PPT Presentation

An Open Affective Platform

Nik Thompson Terry Koziniec Tanya McGill

Murdoch University, Perth, Western Australia 1

Affec%ve ¡Compu%ng ¡

“compu'ng ¡that ¡relates ¡to, ¡arises ¡from, ¡or ¡ deliberately ¡influences ¡emo'on ¡or ¡other ¡ affec've ¡phenomena.” ¡ ¡ (Picard ¡1997) ¡

2 ¡

A ¡model ¡for ¡affec%ve ¡applica%ons ¡

3rd ¡Party ¡ SoCware ¡ SoCware ¡ Extensions ¡ (Op'onal) ¡ Event ¡Mapper ¡ ¡ (Op'onal) ¡ Affec%ve ¡ PlaHorm ¡ Rule ¡Set ¡

3 ¡

Hardware ¡and ¡soCware ¡required ¡to ¡ acquire ¡the ¡affec%ve ¡data ¡and ¡to ¡convert ¡ this ¡into ¡a ¡usable ¡format. ¡The ¡hardware ¡ comprises ¡the ¡physical ¡interface ¡between ¡ the ¡user ¡and ¡the ¡computer, ¡including ¡any ¡ sensors ¡and ¡associated ¡components ¡ needed ¡to ¡acquire ¡a ¡signal. ¡The ¡soCware ¡ comprises ¡of ¡the ¡rou%nes ¡used ¡to ¡ transform ¡this ¡acquired ¡signal ¡into ¡a ¡ meaningful ¡result ¡in ¡the ¡context ¡of ¡an ¡ affec%ve ¡state. ¡The ¡resul%ng ¡informa%on ¡ is ¡then ¡communicated ¡to ¡any ¡affec%ve ¡ applica%on ¡components ¡which ¡require ¡it. ¡ ¡

Affec%ve ¡ PlaHorm ¡

4 ¡

Describing ¡affec%ve ¡state ¡ ¡

In ¡terms ¡of ¡component ¡dimensions ¡

(Russell ¡circumplex ¡model) ¡

Posi%ve ¡ Deac%vated ¡ Posi%ve ¡ Ac%vated ¡ Nega%ve ¡ ¡ Deac%vated ¡ Nega%ve ¡ Ac%vated ¡

+ ¡ Valence ¡

• ­‑ ¡

+ ¡ Ac%va%on ¡

• ­‑ ¡

5 ¡

Describing ¡affec%ve ¡state ¡ ¡

6 ¡

• As ¡a ¡basic ¡requirement, ¡the ¡ability ¡to ¡infer ¡

dimensions ¡of ¡ac%va%on/valence ¡should ¡provide ¡ the ¡ability ¡to ¡infer ¡the ¡underlying ¡affec%ve ¡state ¡

• Ideal ¡characteris%cs ¡of ¡sensors ¡include ¡

– Low ¡cost ¡ – Simple ¡(where ¡possible!) ¡ – Unobtrusive ¡

• Commercially ¡available ¡hardware ¡does ¡possess ¡

some ¡of ¡these ¡characteris%cs ¡

7 ¡

Sensors ¡

• Electrodermal ¡ac%vity ¡(EDA) ¡is ¡an ¡established ¡indicator ¡of ¡

emo%onal ¡arousal. ¡ ¡

• EDA ¡measurement ¡simply ¡requires ¡skin ¡contact, ¡with ¡li\le ¡

complexity ¡in ¡the ¡way ¡of ¡hardware ¡or ¡soCware. ¡ ¡ ¡

• Heart ¡rate ¡(HR) ¡based ¡measures ¡may ¡be ¡used ¡as ¡an ¡indicator ¡
• f ¡emo%onal ¡valence. ¡ ¡
• Yannakakis, ¡et ¡al. ¡iden%fied ¡frequency ¡domain ¡analysis ¡of ¡heart ¡rate ¡

variability ¡(HRV) ¡as ¡a ¡more ¡suitable ¡approach ¡that ¡may ¡provide ¡ more ¡informa%on ¡than ¡the ¡basic ¡HR ¡related ¡measures. ¡This ¡form ¡of ¡ analysis ¡makes ¡it ¡possible ¡to ¡observe ¡specific ¡frequency ¡bands ¡ which ¡correspond ¡to ¡certain ¡underlying ¡processes; ¡for ¡example, ¡to ¡ discern ¡between ¡physiological ¡changes ¡due ¡to ¡physical ¡exer%on ¡as ¡

• pposed ¡to ¡affec%ve ¡state. ¡

8 ¡

EDA ¡Sensor ¡hardware ¡

EDA ¡sensing ¡requires ¡a ¡steady ¡current ¡to ¡be ¡ passed ¡between ¡the ¡two ¡electrodes, ¡and ¡any ¡ fluctua%ons ¡to ¡be ¡amplified ¡to ¡produce ¡a ¡clear ¡

• utput ¡waveform. ¡ ¡

Simple, ¡Low ¡cost, ¡Unobtrusive ¡

9 ¡

EDA ¡Sensor ¡soCware ¡ ¡ func%onal ¡components ¡

10 ¡

HR ¡Sensor ¡hardware ¡

• The ¡photoplethysmograph ¡(PPG) ¡produces ¡a ¡

sinusoidal ¡waveform ¡output ¡which ¡ corresponds ¡to ¡the ¡light ¡absorbance ¡of ¡blood ¡ flowing ¡beneath ¡the ¡sensor. ¡ ¡

11 ¡

HR ¡Sensor ¡soCware ¡ ¡ func%onal ¡components ¡

12 ¡

HRV ¡Frequency ¡domain ¡analysis ¡

13 ¡

Outputs ¡ ¡

EDA ¡and ¡HRV ¡sensors ¡provide ¡a ¡normalized ¡ numeric ¡result ¡which ¡may ¡be ¡correlated ¡with ¡ changes ¡in ¡underlying ¡affec%ve ¡state. ¡ ¡ This ¡may ¡be ¡provided ¡to ¡other ¡components ¡or ¡

• ther ¡applica%on ¡soCware ¡via ¡disk ¡files, ¡named ¡

pipes, ¡shared ¡memory ¡and ¡so ¡on. ¡

14 ¡

Evalua%on ¡

ACer ¡thorough ¡pilo%ng, ¡the ¡plaHorm ¡has ¡been ¡ used ¡in ¡a ¡number ¡of ¡studies ¡with ¡good ¡results. ¡ ¡ A ¡brief ¡overview ¡of ¡some ¡of ¡the ¡studies ¡is ¡ presented ¡in ¡the ¡following ¡slides. ¡

15 ¡

Affec%ve ¡ac%va%on ¡test ¡

Subjects ¡(n=38) ¡viewed ¡a ¡set ¡of ¡evoca%ve ¡image ¡ s%muli, ¡drawn ¡from ¡the ¡Interna%onal ¡Affec%ve ¡ Pictures ¡System. ¡ ¡ ¡ It ¡was ¡demonstrated ¡that ¡the ¡output ¡from ¡the ¡ EDA ¡sensing ¡func%ons ¡could ¡be ¡used ¡to ¡ successfully ¡detect ¡the ¡presenta%on ¡of ¡evoca%ve ¡ images ¡with ¡strong ¡sta%s%cal ¡significance ¡ (p=0.01) ¡ ¡

16 ¡

Affec%ve ¡valence ¡test ¡

Subjects ¡(n=38) ¡were ¡placed ¡in ¡a ¡nega%ve ¡affect ¡ inducing ¡situa%on ¡during ¡a ¡mathema%cs ¡test. ¡ Results ¡demonstrated ¡that ¡the ¡output ¡from ¡the ¡ HRV ¡soCware ¡was ¡able ¡to ¡discern ¡between ¡the ¡ neutral ¡and ¡nega%ve ¡valence ¡situa%ons ¡with ¡ sta%s%cal ¡significance ¡(p<0.01). ¡ Further ¡evalua%on ¡revealed ¡that ¡it ¡was ¡also ¡ possible ¡to ¡detect ¡between ¡different ¡levels ¡of ¡the ¡ same ¡measure ¡(n=18) ¡with ¡strong ¡sta%s%cal ¡

• significance. ¡

17 ¡

Affec%ve ¡tutor ¡evalua%on ¡

An ¡affect ¡sensi%ve ¡e-­‑learning ¡soCware ¡was ¡ developed, ¡in ¡which ¡the ¡on ¡screen ¡animated ¡ tutor ¡u%lized ¡both ¡affec%ve ¡arousal ¡and ¡valence ¡ cues ¡to ¡guide ¡it’s ¡course ¡of ¡ac%on. ¡ Results ¡demonstrated ¡that ¡par%cipants ¡(n=40) ¡ reported ¡a ¡sta%s%cally ¡significantly ¡higher ¡level ¡

• f ¡perceived ¡learning ¡when ¡interac%ng ¡with ¡the ¡

affec%ve ¡tutor ¡than ¡a ¡control ¡group ¡(p<0.01) ¡

18 ¡

Future ¡Work ¡

• 1. Sensors ¡are ¡sensi%ve ¡to ¡movement ¡ar%facts ¡– ¡

development ¡of ¡physical ¡interface ¡and ¡ improvements ¡to ¡soCware ¡may ¡be ¡beneficial. ¡

• 2. Evalua%on ¡of ¡alterna%ve ¡data ¡acquisi%on ¡

plaHorms ¡– ¡In ¡this ¡implementa%on ¡a ¡Na%onal ¡ Instruments ¡DAQ ¡and ¡LabVIEW ¡environment ¡ was ¡used, ¡other ¡alterna%ves ¡are ¡being ¡explored. ¡

• 3. The ¡plaHorm ¡may ¡be ¡adapted ¡to ¡novel ¡

environments ¡including ¡body ¡area ¡networking ¡ for ¡HSE. ¡

19 ¡

Thank ¡You ¡

¡ ¡ Ques%ons ¡

20 ¡