What is Mul-modal Interac-on? Using two or more modes of - - PowerPoint PPT Presentation

▶
what is mul modal interac on
SMART_READER_LITE
LIVE PREVIEW

What is Mul-modal Interac-on? Using two or more modes of - - PowerPoint PPT Presentation

Aug 15, 2022 289 likes •572 views

Orko: Facilita-ng Mul-modal Interac-on for Visual Explora-on and Analysis of Networks CPSC 547 Networks Presenta-on Peyvand Forouzandeh 1 What is

slide-1
SLIDE 1

Orko: ¡Facilita-ng ¡Mul-modal ¡

Interac-on ¡for ¡Visual ¡Explora-on ¡ and ¡Analysis ¡of ¡Networks ¡

CPSC ¡547 ¡– ¡Networks ¡Presenta-on ¡ Peyvand ¡Forouzandeh ¡

1 ¡

slide-2
SLIDE 2

What ¡is ¡Mul-modal ¡Interac-on? ¡

Using ¡two ¡or ¡more ¡modes ¡of ¡input/output ¡ ¡ Different ¡combina-ons: ¡ ¡

– Touch ¡and ¡speech ¡ – Movement ¡and ¡gaze ¡ ¡ – Gestures ¡and ¡gaze ¡ – Pen ¡and ¡touch ¡ – … ¡or ¡various ¡combina-ons ¡of ¡these ¡

2 ¡

slide-3
SLIDE 3

What ¡is ¡Mul-modal ¡Interac-on? ¡

Using ¡two ¡or ¡more ¡modes ¡of ¡input/output ¡ ¡ Different ¡combina-ons: ¡ ¡

– Touch ¡and ¡speech ¡ – Movement ¡and ¡gaze ¡ ¡ – Gestures ¡and ¡gaze ¡ – Pen ¡and ¡touch ¡ – … ¡or ¡various ¡combina-ons ¡of ¡these ¡

3 ¡

slide-4
SLIDE 4

Data ¡visualiza-on ¡user ¡interfaces ¡

  • WIMP-­‑based ¡direct ¡manipula-on ¡interfaces ¡
  • ¡Post-­‑WIMP ¡systems ¡
  • 1. Touch ¡input ¡
  • 2. Natural ¡language ¡interfaces ¡(NLIs) ¡

4 ¡

slide-5
SLIDE 5

Data ¡visualiza-on ¡user ¡interfaces ¡

  • WIMP-­‑based ¡direct ¡manipula-on ¡interfaces ¡
  • ¡Post-­‑WIMP ¡systems ¡
  • 1. Touch ¡input ¡
  • 2. Natural ¡language ¡interfaces ¡(NLIs) ¡

5 ¡

  • 3. ¡Mul-modal ¡interac-on ¡
slide-6
SLIDE 6

Combina-ons ¡of ¡input ¡modali-es ¡

6 ¡

Individual ¡ Sequen-al ¡ Simultaneous ¡

slide-7
SLIDE 7

Challenges ¡and ¡complexi-es ¡in ¡ interpre-ng ¡NLIs ¡

  • Mul-ple ¡interpreta-on ¡
  • Different ¡ways ¡to ¡ask ¡the ¡same ¡query ¡
  • Ambiguity ¡

– Syntac-c ¡level ¡ – Seman-c ¡level ¡

7 ¡

slide-8
SLIDE 8

Possible ¡query ¡types ¡

  • Explicit: ¡ ¡Opera-ons ¡and ¡targets ¡are ¡specified ¡(sufficient ¡

tasks ¡and ¡values ¡informa-on) ¡

  • Follow-­‑up ¡and ¡contextual: ¡Follow-­‑up ¡to ¡the ¡previous ¡

queries ¡or ¡ac-ons ¡(typically ¡lack ¡references ¡to ¡tasks ¡or ¡values ¡ associated ¡with ¡the ¡task) ¡

  • High-­‑level: ¡open-­‑ended ¡ques-ons; ¡mul-ple ¡opera-ons ¡

combined ¡together ¡

¡

8 ¡

slide-9
SLIDE 9

System ¡architecture ¡

9 ¡

Two ¡step ¡approach ¡parser: ¡

  • 1. Grammar ¡parser ¡
  • 2. Lexicon ¡parser ¡
slide-10
SLIDE 10

Combina-ons ¡of ¡input ¡modali-es ¡

  • 1. The ¡context ¡generated ¡by ¡one ¡input ¡is ¡used ¡to ¡complement ¡

the ¡second ¡and ¡highlight ¡connec-ons ¡of ¡the ¡filtered ¡nodes ¡

  • 2. The ¡system ¡processes ¡the ¡two ¡inputs ¡individually, ¡preserving ¡

filters ¡from ¡the ¡spoken ¡query ¡

10 ¡

Input ¡1 ¡ Input ¡2 ¡ Generated ¡ context ¡ Input ¡1 ¡ Input ¡2 ¡ Context ¡

slide-11
SLIDE 11

Afributes ¡and ¡connec-ons ¡

11 ¡

slide-12
SLIDE 12

Orko ¡

12 ¡

hfps://vimeo.com/238502489 ¡

slide-13
SLIDE 13

Orko’s ¡user ¡interface ¡

13 ¡

A: ¡Natural ¡language ¡input ¡and ¡ac-on ¡feedback ¡ ¡

slide-14
SLIDE 14

Orko’s ¡user ¡interface ¡

14 ¡

B: ¡Ac-on ¡feedback ¡ ¡

slide-15
SLIDE 15

Orko’s ¡user ¡interface ¡

15 ¡

C: ¡Network ¡Canvas ¡

slide-16
SLIDE 16

Orko’s ¡user ¡interface ¡

16 ¡

D: ¡Quick ¡access ¡icons ¡

slide-17
SLIDE 17

Orko’s ¡user ¡interface ¡

17 ¡

E: ¡Details ¡container ¡

slide-18
SLIDE 18

Orko’s ¡user ¡interface ¡

18 ¡

F: ¡Summary ¡container ¡

slide-19
SLIDE 19

Orko’s ¡user ¡interface ¡

19 ¡

G: ¡Filtering ¡widgets ¡

slide-20
SLIDE 20

Orko’s ¡user ¡interface ¡

20 ¡

H: ¡Visual ¡encoding ¡widgets ¡

slide-21
SLIDE 21

Orko’s ¡user ¡interface ¡

21 ¡

B: ¡Ac-on ¡feedback ¡– ¡Ambiguity ¡widget ¡ ¡

slide-22
SLIDE 22

Evalua-on ¡– ¡user ¡study ¡

  • Jeopardy-­‑style ¡evalua-on ¡approach ¡

– Facts: ¡to ¡modify ¡the ¡visualiza-on ¡and ¡show ¡each ¡ fact ¡ – ¡Tasks: ¡10 ¡tasks ¡to ¡explore ¡the ¡network ¡and ¡ iden-fy ¡specific ¡en--es ¡ – Ques-ons: ¡to ¡measure ¡sa-sfac-on ¡and ¡usability ¡ – Informal ¡interview ¡

22 ¡

slide-23
SLIDE 23

Summary ¡of ¡interac-ons ¡per ¡task ¡for ¡6 ¡par-cipants ¡

23 ¡

Evalua-on ¡– ¡user ¡study ¡

slide-24
SLIDE 24

Results ¡and ¡observa-ons ¡

  • Preferences ¡of ¡modali-es: ¡

– Speech: ¡typically ¡for ¡search, ¡filtering, ¡and ¡ topology-­‑based ¡tasks ¡involving ¡mul-ple ¡nodes ¡ – Touch: ¡typically ¡for ¡tasks ¡like ¡highligh-ng ¡ connec-ons ¡of ¡individual ¡nodes ¡and ¡changing ¡ values ¡of ¡exis-ng ¡graphical ¡encodings ¡

24 ¡

50% ¡ 30% ¡ 18% ¡

Modali'es ¡preferred ¡

Spoken ¡ Touch ¡ Mul-modal ¡

slide-25
SLIDE 25

Results ¡and ¡observa-ons ¡

  • NLI ¡and ¡interpreta-on ¡

– ¡Query ¡interpreta-on: ¡Issues ¡with ¡queries ¡with ¡ mul-ple ¡values ¡and ¡not ¡separated ¡by ¡conjunc-ons ¡

  • Contextual ¡and ¡follow-­‑up ¡queries ¡

– Mul-touch ¡gestures: ¡requested ¡ – Repeat ¡preference: ¡instead ¡of ¡follow-­‑up ¡ uferances ¡

  • Proac-ve ¡behavior ¡

25 ¡

slide-26
SLIDE 26

Cri-que ¡

§ Natural ¡and ¡fluid ¡way ¡to ¡ explore ¡networks ¡ § Features ¡well ¡integrated ¡ § Clear ¡breakdown ¡and ¡UI ¡ § Immediate ¡visual ¡feedback ¡ and ¡proac-ve ¡behavior ¡(help ¡ user ¡think ¡about ¡other ¡ ques-ons) ¡ § Flexibility ¡of ¡choices ¡ between ¡audio ¡and ¡textual ¡ feedback ¡ § Successful ¡in ¡explicit ¡queries ¡ and ¡most ¡follow-­‑up ¡and ¡ contextual ¡

26 ¡

§ Evalua-on ¡– ¡experienced ¡ par-cipants ¡and ¡specific ¡ example ¡(Football) ¡ § Only ¡force-­‑directed ¡layout ¡ (Region-­‑based ¡iden-fica-ons ¡ not ¡useful ¡– ¡Scalability ¡issues) ¡ § Limited ¡touch ¡gestures ¡ § Some ¡features ¡not ¡used ¡ (ambiguity ¡widget, ¡follow-­‑up ¡ gestures, ¡task ¡sugges-ons) ¡ § Simultaneous ¡interac-on ¡was ¡ not ¡examined ¡ § Ignored ¡high-­‑level ¡ques-ons ¡ § Auto-­‑complete ¡func-on ¡