MultiFi: Multi-Fidelity Interaction with Displays On and Around the - PowerPoint PPT Presentation

MultiFi: Multi-Fidelity Interaction with Displays On and Around the Body Jens Grubert, Matthias Heinisch, Aaron Quigley, Dieter Schmalstieg Graz University of Technology University of St Andrews contact: jg@jensgrubert.de bit.ly/multifi @armob

Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

4 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

What‘s wrong with individual wearables? 6 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

What‘s wrong with individual wearables? 7 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Combine head-mounted with touch screen displays for interaction on the go 8 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Combine head-mounted with touch screen displays for interaction on the go 9 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

How to combine input and output across devices? 10 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Related Work Interac$on ¡across ¡touch ¡displays ¡ Beaudouin-­‑Lafon ¡et ¡al. ¡2012 ¡ Chen ¡et ¡al. ¡2014 ¡ Houben ¡et ¡al. ¡2015 ¡ Interac$on ¡across ¡HMD ¡and ¡touch ¡displays ¡ Benko ¡et ¡al. ¡2005 ¡ Mayer ¡et ¡al. ¡2014 ¡ Budhiraja ¡et ¡al. ¡2014 ¡ 11 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Alignment Modes 1. device- 2. body- 3. side-by- aligned aligned side 12 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Concept vs. Reality 13 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Device-Aligned Interaction Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Body-Aligned Interaction Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Side-by-Side Interaction 16 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Visual Fidelity What to show on a high fidelity display? Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Visual Fidelity What to show on a high fidelity display? 18 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Visual Fidelity What to show on a high fidelity display? 19 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Input Fidelity Mid-air pointing body-­‑aligned ¡ ? ¡ 20 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Input Fidelity Mid-air pointing body-­‑aligned ¡ 21 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Input Fidelity Mid-air pointing with touch device body-­‑aligned ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Does it work? 23 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

User Study Within-subjects 26 participants 2 tasks: locator + target aquisition IV: 5 user interfaces DV: task completion time, errors, subjective feedback 24 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Locator Task 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ Find ¡target ¡(lowest ¡price) ¡among ¡5 ¡labels ¡| ¡ ¡ 10 ¡trials ¡per ¡interface ¡23x5x10 ¡= ¡1150 ¡samples ¡ 25 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Results: Task Completion Time Task ¡Comple,on ¡Time ¡in ¡seconds ¡ Handheld and BodyRef sign. faster than all others *: significant difference at p=.05 26 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Subjective Feedback: Benefits “The HMD gives you the overview, and the SW lets you be precise in your selection” “I don’t have to constantly monitor my smartphone" Extended view space Access costs Direct interaction with HMD content 27 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Subjective Feedback: Drawbacks “I have to focus on three layers, which is over- whelming: smartwatch, HMD and real world” “Pairing the two devices is good, but use one as input, the other as output, not both as output, it 's confusing” Low fidelity of HMD Costs of focus switch Coordination problems across devices 28 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Challenges for Future Work Fidelity gaps Dynamic alignment More than 2 devices Mobile sensing 29 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Summary Interaction across multiple wearable devices with different fidelities Initial exploration: fidelities, alignment modes Interaction across devices can be faster than single wearable device interaction Different fidelities lead to coordination costs (focus switch) 30 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡

Questions? bit.ly/mul$fi ¡ jg@jensgrubert.de ¡ This ¡work ¡was ¡supported ¡by ¡the ¡EU ¡FP7 ¡project ¡MAGELLAN ¡under ¡the ¡grant ¡number ¡ICT-­‑FP7-­‑611526 ¡ 31 ¡ Mul$Fi: ¡Mul$-­‑Fidelity ¡Interac$on ¡with ¡Displays ¡On ¡and ¡Around ¡the ¡Body ¡| ¡Jens ¡Grubert ¡| ¡@armob ¡