MultiFi: Multi-Fidelity Interaction with Displays On and Around the - - PowerPoint PPT Presentation

▶

Dec 15, 2022 778 likes •1.11k views

MultiFi: Multi-Fidelity Interaction with Displays On and Around the Body Jens Grubert, Matthias Heinisch, Aaron Quigley, Dieter Schmalstieg Graz University of Technology University of St Andrews contact: jg@jensgrubert.de bit.ly/multifi

SLIDE 1

MultiFi: Multi-Fidelity Interaction with Displays On and Around the Body

Jens Grubert, Matthias Heinisch, Aaron Quigley, Dieter Schmalstieg Graz University of Technology University of St Andrews contact: jg@jensgrubert.de bit.ly/multifi @armob

SLIDE 2

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

SLIDE 3

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

SLIDE 4

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡ 4 ¡

SLIDE 5

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

SLIDE 6

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

What‘s wrong with individual wearables?

6 ¡

SLIDE 7

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

What‘s wrong with individual wearables?

7 ¡

SLIDE 8

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Combine head-mounted with touch screen displays for interaction on the go

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡ 8 ¡

SLIDE 9

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Combine head-mounted with touch screen displays for interaction on the go

9 ¡

SLIDE 10

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

How to combine input and output across devices?

10 ¡

SLIDE 11

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Related Work

Chen ¡et ¡al. ¡2014 ¡ Budhiraja ¡et ¡al. ¡2014 ¡ Houben ¡et ¡al. ¡2015 ¡ Mayer ¡et ¡al. ¡2014 ¡ Benko ¡et ¡al. ¡2005 ¡

Interac$on ¡across ¡touch ¡displays ¡ Interac$on ¡across ¡HMD ¡and ¡touch ¡displays ¡

Beaudouin-‑Lafon ¡et ¡al. ¡2012 ¡

11 ¡

SLIDE 12

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Alignment Modes

1. device-

aligned

3. side-by-

side

2. body-

aligned

12 ¡

SLIDE 13

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Concept vs. Reality

13 ¡

SLIDE 14

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Device-Aligned Interaction

SLIDE 15

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Body-Aligned Interaction

SLIDE 16

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Side-by-Side Interaction

16 ¡

SLIDE 17

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Visual Fidelity What to show on a high fidelity display?

SLIDE 18

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Visual Fidelity What to show on a high fidelity display?

18 ¡

SLIDE 19

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Visual Fidelity

What to show on a high fidelity display?

19 ¡

SLIDE 20

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Input Fidelity

Mid-air pointing

body-‑aligned ¡

? ¡

20 ¡

SLIDE 21

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Input Fidelity

Mid-air pointing

body-‑aligned ¡

21 ¡

SLIDE 22

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Input Fidelity

Mid-air pointing with touch device

body-‑aligned ¡

SLIDE 23

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Does it work?

23 ¡

SLIDE 24

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

User Study

Within-subjects 26 participants 2 tasks: locator + target aquisition IV: 5 user interfaces DV: task completion time, errors, subjective feedback

24 ¡

SLIDE 25

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Locator Task

Find ¡target ¡(lowest ¡price) ¡among ¡5 ¡labels ¡| ¡ ¡ 10 ¡trials ¡per ¡interface ¡23x5x10 ¡= ¡1150 ¡samples ¡

25 ¡

1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡

SLIDE 26

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Results: Task Completion Time

Handheld and BodyRef sign. faster than all others

Task ¡Comple,on ¡Time ¡in ¡seconds ¡

*: significant difference at p=.05

26 ¡

SLIDE 27

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Extended view space

Subjective Feedback: Benefits

27 ¡

“The HMD gives you the overview, and the SW lets you be precise in your selection” “I don’t have to constantly monitor my smartphone"

Access costs

Direct interaction with HMD content

SLIDE 28

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Low fidelity of HMD Costs of focus switch Coordination problems across devices

Subjective Feedback: Drawbacks

28 ¡

“I have to focus on three layers, which is over- whelming: smartwatch, HMD and real world” “Pairing the two devices is good, but use one as input, the other as output, not both as output, it's confusing”

SLIDE 29

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Challenges for Future Work Fidelity gaps Dynamic alignment More than 2 devices Mobile sensing

29 ¡

SLIDE 30

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Interaction across multiple wearable devices with different fidelities Initial exploration: fidelities, alignment modes Interaction across devices can be faster than single wearable device interaction Different fidelities lead to coordination costs (focus switch)

Summary

30 ¡

SLIDE 31

Mul$Fi: ¡Mul$-‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Questions?

31 ¡

bit.ly/mul$fi ¡ jg@jensgrubert.de ¡

This ¡work ¡was ¡supported ¡by ¡the ¡EU ¡FP7 ¡project ¡MAGELLAN ¡under ¡the ¡grant ¡number ¡ICT-‑FP7-‑611526 ¡