Crea%ve Mul%modal Informa%on Spaces for Problem-Based - - PowerPoint PPT Presentation

B I L A T E R A L ¡ P R O J E C T ¡ ¡ C Y P R U S ¡ -­‑ ¡ S L O V E N I A ¡

Crea%ve ¡Mul%modal ¡Informa%on ¡Spaces ¡ ¡ for ¡Problem-­‑Based ¡Learning ¡ ¡

infospaces.cyprusinterac%onlab.com ¡

General aim of the project…

Creative use of technology for the construction

• f learning spaces and classrooms

that can support PBL…

— support communication, interaction, collaboration — allow information sharing — motivate physical interaction around the construction

• f group artifacts

— encourage student reflection

2

Augmenting a PBL classroom with available technologies…

— Learners’ experiences — Technology adoption and use — Support of processes

§ recognition § researching § reporting § reflection

(by Koschmann & Stahl, 1998)

3

Different ¡modes ¡of ¡interac%on ¡ and ¡presenta%on ¡of ¡informa%on ¡ ¡

• 1. ¡Shared ¡surface ¡with ¡projec4on ¡

¡

The ¡mul%modal ¡informa%on ¡space ¡

4

• 2. Portable devices

The ¡mul%modal ¡informa%on ¡space ¡

tablet ¡ iPod ¡ sense ¡cam ¡ pen ¡reader ¡

5

…and ¡bring ¡your ¡

• wn ¡device! ¡

• 3. Facebook groups

The ¡mul%modal ¡informa%on ¡space ¡

6

Methodology

HCI course and participants

HCI ¡course ¡-­‑ ¡12 ¡weeks, ¡3-­‑hours ¡sessions ¡ ¡ 30 ¡par%cipants: ¡5 ¡groups ¡of ¡6 ¡students ¡ 11 ¡males ¡and ¡19 ¡females ¡(22-­‑35 ¡years ¡old) ¡ varied ¡backgrounds, ¡mul%disciplinary ¡groups ¡ ¡ ¡

7

Methodology (2)

Course procedures

— 1st session

¡ hands-on presentation of the technologies,

and how we envisioned the information space could be used

¡ problem - an authentic need to design an object, interface, system or

service that helps “Changing Perspectives Through Collaboration”

(CHI student design competition, http://chi2013.acm.org/)

— 20-min mini-lecture followed by PBL tutorial

¡ Mini lectures on:

• HCI principles
• Cognitive psychology and HCI
• Data gathering and requirements analysis
• Design process
• Evaluation (user evaluation, expert evaluation)

8

• 1. ¡Recogni;on ¡ ¡

(problem ¡analysis, ¡recogni%on ¡ ¡

• f ¡learning ¡issues) ¡
• 2. ¡Researching ¡ ¡

(self-­‑directed ¡study ¡ ¡of ¡learning ¡issues) ¡

• 3. ¡Repor;ng ¡ ¡

(group ¡reconvene; ¡newly ¡acquired ¡ informa%on ¡is ¡applied ¡to ¡the ¡problem) ¡

• 4. ¡Reflec;on ¡ ¡

(reflec%on ¡on ¡the ¡informa%on ¡ collected, ¡clarifica%on ¡ ¡

• f ¡hypotheses ¡and ¡recogni%on ¡ ¡
• f ¡new ¡learning ¡issues) ¡

Phases ¡of ¡problem-­‑based ¡ac%vity ¡

Koschmann ¡& ¡Stahl ¡(1998) ¡ 9

Methodology (3)

Course procedures

• 1. ¡Recogni;on ¡
• how ¡cogni%ve ¡psychology ¡

can ¡inform ¡design? ¡ ¡

• responsibili%es ¡for ¡

individual ¡research ¡

• 2. ¡Researching ¡ ¡
• self-­‑directed ¡study ¡of ¡

cogni%ve ¡aspects ¡of ¡design ¡ (e.g., ¡design ¡of ¡displays, ¡ informa%on ¡visualiza%on) ¡

• 3. ¡Repor;ng ¡
• apply ¡knowledge ¡from ¡a ¡

human ¡cogni%on ¡ perspec%ve ¡

• 4. ¡Reflec;on ¡
• evaluate ¡current ¡stage ¡of ¡

knowledge ¡

• is ¡there ¡more ¡to ¡be ¡learned ¡

from ¡a ¡human ¡cogni%on ¡ perspec%ve? ¡

• 1. ¡Recogni;on ¡
• ¡what ¡are ¡the ¡needs ¡of ¡the ¡

prospec%ve ¡users ¡of ¡ system? ¡

• ¡decide ¡8-­‑10 ¡ques%ons ¡to ¡ ¡ ¡

be ¡answered ¡

• 2. ¡Researching ¡ ¡
• conduct ¡interviews ¡ ¡

and/or ¡observa%ons ¡of ¡ prospec%ve ¡users ¡

• 3. ¡Repor;ng ¡
• present ¡raw ¡data ¡for ¡the ¡

needs ¡analysis ¡ ¡

• 4. ¡Reflec;on ¡
• evaluate ¡ ¡knowledge ¡
• is ¡there ¡more ¡to ¡be ¡

learned ¡on ¡the ¡needs ¡of ¡ the ¡prospec%ve ¡users? ¡

10

Methodology (4)

Course procedures

Cogni%ve ¡psychology ¡example ¡ Needs ¡analysis ¡example ¡

—

Quantitative method - 25 Likert-items post questionnaire

¡

learners’ experiences

• 1. Communication and interaction (+)

e.g., “I explained my ideas to other students” “I asked other students to explain their ideas”

• 2. Reflection (+)

e.g., “I thought critically about my own ideas” “I thought critically about other students' ideas”

• 3. Perceived learning (+)

e.g., “I learned many things about human-centered design” “I believe I can perform well in a similar task in the future”

• 4. Satisfaction (+)

e.g., “I am satisfied with my learning experience” “I would recommend this learning environment to the instructor of another course”

• 5. Frustration (-)

e.g., “I felt frustrated”, “I felt as though I was wasting my time”

—

Qualitative method - focus group data (30-40 min per group) + facilitators’ notes/reflections

¡

technology adoption and use, support for PBL processes

11

Methodology (5)

Data collection

Results of quantitative analysis

Learners’ experience Subscale ¡ # ¡Items ¡ Cronbach’s ¡Alpha ¡ Means ¡(SD) ¡

• 1. ¡Communica%on ¡and ¡

interac%on ¡(+) ¡ 6 ¡ .855 ¡ 6.16 ¡(.62) ¡

• 2. ¡Reflec%on ¡(+) ¡

5 ¡ .908 ¡ 5.79 ¡(.93) ¡

• 3. ¡Perceived ¡learning ¡(+) ¡

5 ¡ .776 ¡ 6.25 ¡(.75) ¡

• 4. ¡Sa%sfac%on ¡(+) ¡

5 ¡ .927 ¡ 6.01 ¡(.87) ¡

• 5. ¡Frustra%on ¡(-­‑) ¡

4 ¡ .789 ¡ 2.00 ¡(1.22) ¡

Subscales ¡and ¡Descrip%ve ¡Sta%s%cs ¡(N=29) ¡

*7-­‑point ¡agreement ¡response ¡scale ¡(1: ¡strongly ¡disagree ¡-­‑ ¡7: ¡strongly ¡agree) ¡ 12

Results of qualitative analysis

Thematic analysis of focus group data and facilitators’ notes/reflections

Theme 1: Facebook acted as a record-keeping mechanism, facilitated communication in- between and during meetings and enabled continuity in the interaction

¡ sharing information and artifacts prepared during self-directed study ¡ immediate feedback on issues ¡ trigger discussion during meetings ¡ record-keeping mechanism for the PBL process

“Facebook was an effective way to communicate in-between class meetings and during class meetings. During meetings, we checked whether our to-do list was

• completed. We had to upload the results of our homework on Facebook. It was an

effective way to share all kinds of files in preparation for the meeting. In case someone had a question in completing a step from the to-do list, all of us could provide input via Facebook in a timely manner. At the end of each tutorial we posted a report of our progress and another set of goals for the following week.”

13

Results of qualitative analysis (2)

Theme 2: Capturing moments and artifacts was beneficial to the PBL process

¡ Pictures on Facebook facilitated recall of important information,

continuity of thought and reflection in action

“Taking pictures and sharing them on Facebook helped me remember what had happened in the previous lesson and even in former lessons and rethink on these activities, like asking myself ‘why we acted as we did?’ ”

14

Results of qualitative analysis (3)

Theme 3: Both digital and physical tools were appreciated

“We made extensive use of the digital tools. It was good to also have the pencils and everything; we used post-its and A2 paper during the design of our interface […] We could benefit from more tablets and iPods (maybe a second one) so that we can multitask.”

15

Results of qualitative analysis (4)

Technology adoption and use

¡Adop%on ¡of… ¡ Group ¡1 ¡ Group ¡2 ¡ Group3 ¡ Group ¡4 ¡ Group ¡5 ¡ Downward-­‑poin%ng ¡ projector ¡ + ¡ ¡ ¡ + ¡ + ¡ + ¡ Laptops ¡(owned) ¡ ¡ ¡ + ¡ + ¡ + ¡ + ¡ Facebook ¡ + ¡ + ¡ + ¡ + ¡ + ¡ Smartphones ¡ (owned) ¡ + ¡ + ¡ + ¡ + ¡ + ¡ iPod ¡ + ¡ ¡ ¡ + ¡ + ¡ ¡ ¡ Tablet ¡(some%mes ¡

• wned) ¡

+ ¡ ¡ ¡ + ¡ + ¡ Sense ¡cam ¡ + ¡(*) ¡ ¡ ¡ + ¡ ¡ ¡ Pen ¡reader ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ (*) ¡Used ¡consistently ¡by ¡a ¡single ¡leaner ¡only ¡ ¡ ¡

16

All ¡groups ¡used ¡ ¡ portable ¡devices ¡ ¡ (mostly ¡smartphones) ¡ ¡ and ¡Facebook ¡groups ¡ ¡ and ¡ ¡ ¡ Almost ¡all ¡groups ¡used ¡ the ¡downward ¡poin%ng ¡ projector ¡and ¡laptops ¡

Results of qualitative analysis (5)

Use of technology in PBL phases

— Shared surface with projection and Facebook groups were used in

all phases of PBL (recognition, researching, reporting, reflection)

— Portable devices for record keeping were mainly used in the

reporting and reflection phases

17

Results of qualitative analysis (6)

Use of technology in PBL phases

— problem analysis and hypotheses generation around shared

surface with projection (recognition)

— Facebook projection provided a trigger for discussion,

allowed access to information from previous tutorials (recognition, reporting)

— collaborative researching - Google projection (researching) — to-do list shared on Facebook (researching) — new information acquired shared on Facebook (researching, reporting) — Facebook to renegotiate thoughts and ideas (researching, reporting,

recognition)

— captures as source of reflection in the group and

individual reflection at home (reflection)

“The ¡downward-­‑poin%ng ¡projector ¡was ¡great. ¡We ¡could ¡see ¡the ¡screen ¡in ¡large ¡size ¡and ¡ there ¡was ¡no ¡need ¡for ¡all ¡of ¡us ¡to ¡sit ¡at ¡the ¡same ¡side ¡of ¡the ¡table. ¡We ¡had ¡our ¡Facebook ¡ page ¡opened ¡and ¡looked ¡at ¡our ¡pos%ngs ¡from ¡previous ¡weeks, ¡built ¡on ¡those ¡ideas ¡and ¡ planned ¡for ¡the ¡day ¡[….] ¡We ¡also ¡google(d) ¡things ¡we ¡needed ¡informa%on ¡about ¡[….] ¡ Other ¡%mes, ¡we ¡projected ¡our ¡wireframe ¡prototypes ¡to ¡work ¡on ¡together.” ¡ ¡

Summary of Design Problems

— Design problems identified during Fall2012 study:

¡ Not enough time on reflection ¡ Students not prepared to work on thematic unit each time. ¡ Inability for “Ownership of devices” was indicated as an issue

for some of the participants.

¡ More tablets or smartphones to support multitasking could be

beneficial.

¡ Even though reflection and learning processes were extensive,

reading of the book was limited.

Re-Prototyping

— Based on findings the learning environment was re-

configured as follows:

¡ A second tablet or iPod can be assigned to each group to be used for

multitasking (e.g. comment by group4 about the need for multitasking).

¡ Learners should have the right to set up their personal accounts on

tablets and iPods and to use them outside the classroom (e.g. comment by group 5).

¡ We could encourage the use of their own devices, such as tablets and

smartphones.

¡ We could also encourage more creative uses of the multimodal

learning environment perceived by the participants (e.g. group’s 4 installation and examination of tablet applications to support their thinking about design.

Fall2013: Study 2

— Aim:

¡ Do ¡students ¡working ¡within ¡a ¡mul%modal ¡learning ¡environment ¡

experience ¡flow? ¡ ¡

¡ What ¡factors ¡contribute ¡to ¡or ¡prevent ¡the ¡development ¡and ¡

existence ¡of ¡learners' ¡flow ¡experience ¡in ¡technology-­‑rich ¡learning ¡ environments? ¡ ¡

— Flow Experience:

¡ Flow ¡experience ¡is ¡an ¡intrinsically ¡rewarding ¡experience ¡that ¡pushes ¡

people ¡to ¡“higher ¡levels ¡of ¡performance”, ¡contribu%ng ¡to ¡peak ¡ performance ¡and ¡learning. ¡

¡ Valuable ¡ ¡for ¡designing ¡technology-­‑rich ¡learning ¡environments ¡but ¡

tested ¡exemplars ¡are ¡needed. ¡

Context & Participants

— Context:

¡ Part ¡of ¡a ¡13-­‑week ¡graduate-­‑level ¡course ¡on ¡Human ¡Computer ¡

Interac%on. ¡ ¡

¡ 3-­‑hour ¡weekly ¡sessions, ¡organized ¡in ¡1-­‑hour ¡mini ¡lectures ¡and ¡2-­‑

hour ¡group ¡ac%vi%es. ¡

¡ Groups ¡of ¡self-­‑directed ¡learners ¡worked ¡collabora%vely ¡to ¡form ¡a ¡

solu%on ¡to ¡an ¡open-­‑ended ¡problem ¡(Problem-­‑Based ¡Learning). ¡

— Participants:

¡ 2 ¡tutors ¡ ¡ 21 ¡post-­‑graduate ¡students ¡(8 ¡male, ¡13 ¡female) ¡ ¡ Created ¡4 ¡mul%disciplinary ¡groups. ¡

Setting

— Re-structure the PBL information space

¡ Ceiling-­‑mounted ¡projector ¡for ¡downwards ¡

projec%on ¡onto ¡the ¡table ¡to ¡serve ¡as ¡a ¡focal ¡point. ¡

¡ Use ¡of ¡laptops ¡for ¡research ¡(one ¡per ¡two ¡

par%cipants) ¡

¡ Facebook ¡group ¡page ¡as ¡a ¡communica%on ¡and ¡

coordina%on ¡tool. ¡

¡ Providing ¡more ¡portable ¡devices, ¡such ¡as ¡tablets, ¡

ipods ¡and ¡smartphones. ¡ ¡

¡ Encouraging ¡“bring ¡your ¡own ¡device” ¡and ¡“use ¡

equipment ¡as ¡your ¡own” ¡concepts. ¡

PBL structure & design scenario

— PBL structure

¡ Increasing time spent on Reporting and Reflection ¡ Self-study on learning issues takes place between weeks as well

as the study of the next thematic unit in preparation for the upcoming session.

— Problem - Design Scenario

¡ “Changing the perspective of public transport”: Promoting

public transportation to reach beyond usual target groups.

¡ Promoting creativity – part of the final project mark.

Data Collection

Mixed method approach to data collection and analysis.

— Reflections at the end of each course:

¡ Facilitators ¡kept ¡detailed ¡notes ¡and ¡reflec%ons ¡and ¡ ¡ ¡ Students ¡created ¡a ¡new ¡entry ¡in ¡their ¡reflec%ve ¡diaries. ¡

— Audio-visual data:

¡ Video ¡and ¡audio ¡recordings ¡taken ¡during ¡every ¡face-­‑to-­‑face ¡session ¡(one ¡audio-­‑visual ¡

recording ¡for ¡each ¡group). ¡

— Flow Questionnaire during the whole course:

¡ Administrated ¡a ¡self-­‑report ¡ques%onnaire ¡three ¡%mes, ¡at ¡the ¡beginning ¡(Week2), ¡middle ¡

(Week7) ¡and ¡towards ¡the ¡end ¡(Week12). ¡ ¡

¡ Flow ¡Scale ¡State ¡Ques%onnaire ¡-­‑ ¡measure ¡adapted ¡by ¡Jackson ¡and ¡Marsh ¡

— Overall feedback:

¡ Post-­‑Ques%onnaires ¡on ¡Collabora%ve ¡experience ¡provided ¡axer ¡the ¡comple%on ¡of ¡the ¡

• course. ¡

¡ Four ¡focus ¡groups ¡were ¡conducted ¡(one ¡with ¡each ¡group) ¡ ¡ Focused ¡on ¡students ¡flow ¡experience, ¡par%cular ¡moments ¡and ¡the ¡role ¡of ¡technology. ¡

Results: Questionnaire Analysis

Week 2 Week 7 Week 12 Subscale Items Means (SD) Means (SD) Means (SD)

• 1. Challenge-Skills Balance

4 3.65 (.61) 3.7 (.75) 3.94 (.64)

• 2. Action Awareness

4 3.21 (.81) 3.24 (.62) 3.88 (.67)

• 3. Clear Goals

4 3.21 (.81) 3.48 (.89) 3.98 (.65)

• 4. Unambiguous Feedback

4 3.07 (.68) 3.27 (.72) 3.63 (.63)

• 5. Concentration on task

4 4.12 (.49) 3.75 (.94) 3.99 (.86)

• 6. Sense of Control

4 3.38 (.80) 3.55 (.77) 3.87 (.70)

• 7. Loss of self-consciousness

4 3.46 (1.11) 3.56 (1.10) 3.98 (.87)

• 8. Transformation of time

4 3.98 (.68) 4 (.70) 3.60 (1.09)

• 9. Autotelic Experience

4 3.75 (.62) 3.43 (1.00) 3.55 (.99)

Results: Questionnaire Analysis (Chart)

Results: Qualitative Data Analysis

— Thematic analysis of focus group data — Themes validated with data from facilitators’

reflections and students diaries.

— Prominent themes:

¡ Theme1: Technology did not enhance flow, but acted as a

supporting role for keeping us in flow.

¡ Theme2: I felt focused but not in strong flow while working

within the multimodal learning environment.

¡ Theme3: Feeling the transformation of time within the

multimodal learning environment.

Findings

— Students’ flow experience was not intensive but was rather kept at a

medium to low level during the activities within the multimodal learning environment, with few exceptions of students with higher intrinsic motivation.

— Technology within the multimodal learning environment

maintained learner’s flow experience longer than a simple pen and paper environment would do.

— The downward projection was indicated as a common focal point

and managed to concentrate group’s attention on a particular task.

— High proximity of devices and gadgets reduced disengagement from

activities at hand.

— Clear and immediate feedback provided by the SNS was considered

a huge advantage keeping them “connected” to the project.

Some tentative implications

In similar contexts and settings…

— A multimodal learning environment may be taken-up

and endorsed by learners

— Facebook may support PBL as a record-keeping

and communication tool

— Creative use of available technologies can serve PBL at various stages

30

Follow up

— Video data are desirable…

• when and how and how often technology is used
• how technologies influence the individual learner,

group collaboration and whole-classroom orchestration

— Ecology of devices and ‘blended’ interaction across digital

and physical tools in the context of PBL

— Contribute towards an evidence-based, design framework on the

construction of multimodal information spaces for PBL

31

¡ Relevant ¡publica%ons ¡& ¡presenta%ons ¡

—

Ioannou, A., Vasiliou, C., & Zaphiris, P. (in press). Creative multimodal information spaces and blended interaction during problem-based activity in HCI education. TechTrends.

—

Ioannou, A., Vasiliou, C., & Zaphiris, P. (revision requested). Multimodal learning environments and problem based learning: Experiences, technology adoption and use, and support of PBL processes. Interdisciplinary Journal of Problem-based Learning.

—

Vasiliou, C., Ioannou, A., & Zaphiris, P. (2014). Measuring Students’ Flow Experience in a Multimodal Learning Environment: A Case Study. Proceedings of HCII 2014.

—

Vasiliou, C., Ioannou, A., Tanja, A., Zaphiris P., & Klobučar, T. (2013). Technology-enhanced Problem Based Learning. Paper presented at the 32nd International Conference on Organizational Science Development, Portorož, Slovenia.

—

Vasiliou, C., Ioannou, A., & Zaphiris P., Tanja, A., Klobučar, T., & Pipan, M. (2013). PBL in HCI teaching: A case study. Paper presented at the 2nd Interaction Design and Human Computer Interaction Workshop, Nicosia, Cyprus.

—

Vasiliou, C., Ioannou, A., & Zaphiris P. (2013). Technology-enhanced PBL in HCI education: A case study. Proceedings of INTERACT 2013 (International Conference on Human-Computer Interaction).

infospaces.cyprusinterac%onlab.com ¡

32

T H E E N D