Acknowledgements Inves&ga&on of Eye Gaze on AAC Visual - - PDF document

O'Neill ¡(2017) ¡ 10/11/17 ¡ aac.psu.edu ¡ 1 ¡

Inves&ga&on ¡of ¡Eye ¡Gaze ¡on ¡AAC ¡Visual ¡Scene ¡ Displays ¡with ¡a ¡Naviga&on ¡Menu ¡by ¡Individuals ¡ with ¡Au&sm ¡Spectrum ¡Disorder, ¡Down ¡syndrome, ¡ and ¡Intellectual ¡and ¡Developmental ¡Disabili&es

Tara ¡O’Neill, ¡M.S.,CCC-­‑SLP

Acknowledgements ¡

The ¡data ¡I ¡will ¡present ¡today ¡is ¡part ¡of ¡the ¡RERC ¡on ¡AAC ¡research ¡project ¡funded ¡by ¡a ¡ grant ¡from ¡the ¡Na&onal ¡Ins&tute ¡on ¡Disability, ¡Independent ¡Living, ¡and ¡Rehabilita&on ¡ Research ¡(NIDILRR ¡grant ¡#90RE5017) ¡inves&ga&ng ¡the ¡visual ¡cogni&ve ¡processing ¡ demands ¡of ¡AAC ¡interfaces ¡(Light, ¡Wilkinson, ¡Beukelman, ¡Fager, ¡Jakobs, ¡& ¡ Hershberger, ¡2014)

Adop&on ¡and ¡ meaningful ¡use Fit What ¡is ¡the ¡goal? How ¡to ¡we ¡achieve ¡this ¡goal?

O'Neill ¡(2017) ¡ 10/11/17 ¡ aac.psu.edu ¡ 2 ¡ Visual ¡cogni&ve ¡processing ¡and ¡AAC

§ Communica&on ¡via ¡AAC ¡requires ¡the ¡use ¡of ¡an ¡external ¡display ¡that ¡is ¡accessed ¡and ¡ represented ¡visually § Processes ¡of ¡visual ¡cogni&on ¡are ¡cri&cal ¡to ¡using ¡AAC: § Vi Visual ¡a ¡acen cen&on

• n: ¡required ¡to ¡perceive ¡images/concepts ¡on ¡displays

§ Vi Visual ¡r ¡rec ecog

• gni&on
• n: ¡

: ¡(objects, ¡people, ¡faces): ¡required ¡to ¡discriminate ¡between ¡and ¡ iden&fy ¡concepts § Spa&al ¡ Spa&al ¡repr prese senta&o a&on: ¡ : ¡(ability ¡to ¡imagine ¡objects/images ¡in ¡space): ¡required ¡to ¡recall ¡ where ¡something ¡is ¡on ¡a ¡display

Wilkinson ¡& ¡Jagaroo, ¡2004

Experimental ¡Setup

Infrared ¡light ¡projec&on ¡strip Infrared ¡light ¡detec&on ¡camera S&mulus ¡presenta&on ¡monitor Data ¡presenta&on ¡ and ¡acquisi&on ¡ computer

Why ¡visual ¡scene ¡displays? ¡(VSDs)

interac&on meaningful event naviga&on ¡ menu

Par&cipants ¡and ¡s&muli

Par&cipants: ¡Individuals ¡with ¡typical ¡development, ¡au&sm, ¡Down ¡syndrome, ¡and ¡ intellectual ¡and ¡developmental ¡disabili&es ¡

O'Neill ¡(2017) ¡ 10/11/17 ¡ aac.psu.edu ¡ 3 ¡

Q1: ¡What ¡elements ¡of ¡ the ¡display ¡capture ¡ visual ¡acen&on? Q2: ¡How ¡efficient ¡and ¡ accurate ¡are ¡ par&cipants ¡in ¡arriving ¡ at ¡the ¡cued ¡target?

Procedures ¡and ¡Ques&ons ¡

Q3: ¡How ¡does ¡the ¡loca&on ¡of ¡the ¡naviga&on ¡menu ¡affect ¡acen&on ¡and ¡performance? gr group up ¡ numb mber ¡ ge gender (% ¡ % ¡ma male) ¡ CA CA me mean ¡ ¡ ra range ¡ PP PPVT VT ¡SS ¡SS me mean ¡ ¡(sd) ra range ¡ PP PPVT VT ¡ag ¡age ¡ e ¡ eq equiv ivalen alent ¡ samp mpling ¡ ¡% ¡ TD TD ¡ch ¡children en ¡ 20 ¡ 50% ¡ 4;1 (3;2-­‑5:2) ¡ 114 ¡(14) 87-­‑137 ¡ 5;1 (2;6-­‑7;4) ¡ 67 ¡ AS ASD ¡ 16 ¡ 100% ¡ 14;7 (7;4-­‑19;5) ¡ 37 ¡(24) 20-­‑90 ¡ 4;2 <1;11-­‑10;1 ¡ 65 ¡ DS DS ¡ 15 ¡ 40% ¡ 17;8 (9;10-­‑34;11) ¡ 52 ¡(17) 22-­‑74 ¡ 4;6 2;7-­‑11;10 ¡ 67 ¡ IDD IDD ¡ 15 ¡ 47% ¡ 15;11 (10;7-­‑25;0) ¡ 53 ¡(23) 20-­‑81 ¡ 5;11 (<1;11-­‑9;11) ¡ 68 ¡

Par&cipants Q1: ¡What ¡elements ¡of ¡the ¡display ¡ capture ¡visual ¡acen&on?

• Q1a. ¡How ¡is ¡acen&on ¡divided ¡between ¡

the ¡main ¡VSD ¡and ¡the ¡naviga&on ¡menu ¡ (bar) ¡during ¡free ¡viewing? VSD menu Summary ¡data ¡across ¡groups ¡

56% 61% 66% 61% 41% 34% 28% 34% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% TD ¡children ¡ ASD DS IDD Percent ¡&me VSD bar 39% 78% 58% 14% 0% 20% 40% 60% 80% 100% Percent ¡&me ¡

TD

VSD bar 43% 86% 55% 14% 0% 20% 40% 60% 80% 100% Percent ¡&me ¡

ASD

VSD bar 41% 81% 56% 18% 0% 20% 40% 60% 80% 100% Percent ¡&me ¡

DS

VSD bar 33% 95% 61% 3% 0% 20% 40% 60% 80% 100% Percent ¡&me ¡

IDD

VSD bar

O'Neill ¡(2017) ¡ 10/11/17 ¡ aac.psu.edu ¡ 4 ¡ Ques&on ¡1a ¡Implica&ons

§ Large ¡and ¡prominent ¡human ¡figures ¡in ¡VSD ¡did ¡not ¡preclude ¡acen&on ¡to ¡menu § Small ¡human ¡figures ¡in ¡menu ¡did ¡not ¡distract ¡from ¡VSD § The ¡use ¡of ¡a ¡naviga&on ¡menu ¡with ¡thumbnails ¡of ¡possible ¡displays, ¡which ¡has ¡ben ¡ shown ¡to ¡reduce ¡the ¡learning ¡demands ¡of ¡naviga&on ¡(Drager ¡et ¡al., ¡2004), ¡also ¡ appears ¡to ¡facilitate ¡desirable ¡pacerns ¡of ¡visual ¡acen&on ¡

Q1: ¡What ¡elements ¡of ¡the ¡display ¡ capture ¡visual ¡acen&on?

• Q1b. ¡What ¡acracts ¡acen&on ¡within ¡

the ¡VSD? ¡ Summary ¡data ¡across ¡groups ¡ background children Shared ¡interest

51% 44% 52% 50% 31% 32% 23% 25% 19% 24% 24% 25% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% TD ¡children ASD DS IDD Percent ¡&me ¡ children shared ¡interest ¡ background 0% 20% 40% 60% 80% 100% TD children shared ¡ac&vity background ¡ 0% 20% 40% 60% 80% 100% ASD children shared ¡ac&vity background ¡ 0% 20% 40% 60% 80% 100% DS children shared ¡ac&vity background ¡ 0% 20% 40% 60% 80% 100% IDD children shared ¡ac&vity background ¡ 0% 20% 40% 60% 80% 100% TD1 TD2 TD3 TD4 TD5 TD6 TD7 TD8 TD9 TD10 TD11 TD12 TD13 TD14 TD15 TD16 TD17 TD18 TD19 TD20 TD meaningful non-­‑meaningful 0% 20% 40% 60% 80% 100% ASD1 ASD2 ASD3 ASD4 ASD5 ASD6 ASD7 ASD8 ASD9 ASD10 ASD11 ASD12 ASD13 ASD14 ASD15 ASD16 ASD meaningful non-­‑meaningful 0% 20% 40% 60% 80% 100% DS1 DS2 DS3 DS4 DS5 DS6 DS7 DS8 DS9 DS10 DS11 DS12 DS13 DS14 DS15 DS meaningful non-­‑meaningful 0% 20% 40% 60% 80% 100% IDD1 IDD2 IDD3 IDD4 IDD5 IDD6 IDD7 IDD8 IDD9 IDD10 IDD11 IDD12 IDD13 IDD14 IDD15 IDD meaningful non-­‑meaningful

Meaningful= ¡children ¡and ¡shared ¡ac&vity, ¡non-­‑meaningful= ¡background ¡

O'Neill ¡(2017) ¡ 10/11/17 ¡ aac.psu.edu ¡ 5 ¡

IDD We ¡need ¡to ¡make ¡an ¡adjustment ¡to ¡accommodate ¡for ¡naturally ¡occurring ¡differences ¡in ¡the ¡size ¡of ¡elements ¡across ¡ photographs ¡. ¡Here’s ¡an ¡example… ¡ A ¡child ¡who ¡spends ¡30% ¡of ¡his ¡&me ¡looking ¡at ¡ the ¡children ¡in ¡this ¡picture ¡is ¡looking ¡at ¡them ¡ more ¡than ¡expected ¡based ¡on ¡size. ¡ A ¡child ¡who ¡spends ¡30% ¡of ¡his ¡&me ¡looking ¡at ¡ ¡ the ¡children ¡in ¡this ¡picture ¡is ¡looking ¡at ¡them ¡ less ¡than ¡expected ¡based ¡on ¡size. ¡ 8% 65% 30%/8%= ¡3.75 The ¡children ¡are ¡looked ¡at ¡more ¡than ¡ expected ¡based ¡on ¡size 30%/65%= ¡0.46 The ¡children ¡are ¡looked ¡at ¡less ¡than ¡expected ¡ based ¡on ¡size So, ¡a ¡ra&o ¡of ¡greater ¡ than ¡one ¡indicates ¡ an ¡element ¡is ¡ looked ¡at ¡more ¡than ¡ expected ¡based ¡on ¡ its ¡size

0.00 0.50 1.00 1.50 2.00 2.50 TD ASD DS IDD

Ra&os ¡across ¡groups

children shared ¡ac&vity background 1 2 3 4 5 6 TD ¡ra&os children

• bject

background 1 2 3 4 5 6

ASD ¡ra&os

children

• bject

background 1 2 3 4 5 6

DS ¡ra&os

children

• bject

background 1 2 3 4 5 6

IDD ¡ra&os

children

• bject

background

O'Neill ¡(2017) ¡ 10/11/17 ¡ aac.psu.edu ¡ 6 ¡ Ques&on ¡1b ¡Implica&ons

§ The ¡same ¡elements ¡that ¡are ¡included ¡in ¡VSDs ¡in ¡order ¡to ¡scaffold ¡language ¡(humans ¡ and ¡shared ¡events), ¡acract ¡preferen&al ¡acen&on ¡from ¡par&cipants ¡across ¡groups ¡ § Acen&on ¡to ¡shared ¡event ¡may ¡indicate ¡gaze ¡following ¡ § Par&cipants ¡acended ¡to ¡these ¡elements ¡without ¡becoming ¡distracted ¡by ¡ background ¡items ¡ § These ¡elements ¡may ¡confer ¡advantages ¡for ¡language ¡learning ¡and ¡visual ¡cogni&ve ¡ processing § When ¡we ¡adjust ¡for ¡the ¡size ¡that ¡the ¡elements ¡occupy, ¡ § Par&cipants ¡with ¡ASD ¡do ¡not ¡look ¡at ¡children ¡significantly ¡more ¡than ¡expected ¡ based ¡on ¡size § Par&cipants ¡with ¡DS ¡spend ¡less ¡&me ¡on ¡the ¡shared ¡ac&vity ¡

Q3: ¡How ¡does ¡the ¡loca&on ¡of ¡the ¡naviga&on ¡menu ¡affect ¡acen&on ¡and ¡ performance?

• Q3a. ¡How ¡does ¡the ¡loca&on ¡of ¡the ¡menu ¡affect ¡acen&on ¡during ¡free ¡viewing?

0% 20% 40% 60% 80% 100% top bocom leq right

TD ¡percent ¡&me ¡in ¡VSD ¡by ¡bar ¡loca&on ¡

children shared ¡ac&vity background 0% 20% 40% 60% 80% 100% top bocom leq right

ASD: ¡Percent ¡&me ¡in ¡VSD ¡by ¡bar ¡loca&on

children shared ¡ac&vity background 0% 20% 40% 60% 80% 100% top bocom leq right

DS: ¡Percent ¡&me ¡in ¡VSD ¡by ¡bar ¡loca&on ¡

children shared ¡ac&vity background 0% 20% 40% 60% 80% 100% top bocom leq right

IDD: ¡Percent ¡&me ¡in ¡VSD ¡by ¡bar ¡loca&on ¡

children shared ¡ac&vity background

Ques&on ¡3a ¡Implica&ons

§ The ¡loca&on ¡of ¡the ¡naviga&on ¡menu ¡may ¡affect ¡how ¡acen&on ¡is ¡allocated, ¡ par&cularly ¡in ¡the ¡VSD § Op&mal ¡placement ¡may ¡vary ¡based ¡on ¡diagnos&c ¡category § Placement ¡at ¡the ¡top ¡may ¡promote ¡acen&on ¡to ¡the ¡human ¡figures ¡for ¡individuals ¡ with ¡ASD § Placement ¡at ¡the ¡bocom ¡may ¡promote ¡acen&on ¡to ¡the ¡shared ¡event ¡for ¡individuals ¡ with ¡DS

O'Neill ¡(2017) ¡ 10/11/17 ¡ aac.psu.edu ¡ 7 ¡ Next ¡steps: ¡VSD ¡Ac&va&on

Explore ¡visual ¡acen&on ¡plus ¡selec&on ¡using ¡a ¡tablet, ¡which ¡more ¡closely ¡simulates ¡an ¡ AAC ¡device

What ¡is ¡the ¡rela&onship ¡between ¡visual ¡acen&on ¡(eye ¡gaze) ¡and ¡motor ¡behavior ¡(selec&on)?