Evalua<ng your Ubicomp prototype SPCL-E2012 Pervasive - - PowerPoint PPT Presentation

IT ¡UNIVERSITY ¡OF ¡COPENHAGEN ¡ ¡

www.itu.dk

Evalua<ng ¡your ¡Ubicomp ¡prototype

Thomas ¡Pederson Associate ¡Professor, ¡Pervasive ¡Interac<on ¡Technology ¡Lab IT ¡University ¡of ¡Copenhagen tped@itu.dk SPCL-­‑E2012 ¡Pervasive ¡Compu5ng ¡course ¡(project)

focus ¡is ¡on ¡helping ¡you ¡plan ¡the ¡final ¡evalua<on ¡of ¡your ¡ubicomp ¡prototype

• mini ¡lecture ¡on ¡ubicomp ¡system ¡evalua2on ¡(30 ¡minutes)

– example ¡of ¡quan2ta2ve ¡evalua2on – example ¡of ¡qualita2ve ¡evalua2on

• groups ¡reflect ¡on ¡their ¡intermediate ¡and ¡final ¡evalua2on ¡approach

(we ¡will ¡roam ¡around ¡and ¡provide ¡feedback)

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

agenda ¡for ¡today

natural ¡science ¡is ¡concerned ¡with ¡how ¡things ¡are design ¡science ¡is ¡concerned ¡with ¡how ¡things ¡ought ¡to ¡be

– [Herbert ¡Simon, ¡1969, ¡"The ¡Sciences ¡of ¡the ¡Ar<ficial"]

behavioural ¡science ¡is ¡concerned ¡with ¡understanding ¡ "organiza<onal ¡human ¡phenomena" Ubicomp ¡as ¡a ¡scien<fic ¡discipline ¡borrows ¡a ¡bit ¡from ¡all ¡ three ¡but ¡is ¡primarily ¡a ¡design ¡science

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

Ubicomp ¡is ¡a ¡design ¡science

natural ¡science

• lab ¡studies ¡(experiments, ¡quan<ta<ve)

design ¡science

• par<cipatory ¡design ¡(incremental ¡itera<ve ¡evalua<on)

behavioural ¡science

• ethnography ¡(non-­‑invasive ¡studies)

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

some ¡evalua<on ¡method ¡types

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

understanding ¡the ¡use ¡context

methods

• contextual ¡inquiry
• cri2cal ¡incident ¡interviews
• ethnography ¡
• diary ¡studies ¡
• probes ¡(cultural, ¡technological)
• task ¡analysis
• lab ¡studies
• ques<onnaires

from ¡the ¡design ¡lecture ¡on ¡the ¡ Pervasive ¡Compu<ng ¡(lecture) ¡course

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

evalua<on ¡in ¡ubicomp ¡system ¡design ¡is ¡

• _en ¡done ¡again ¡and ¡again ¡and...

understanding

• bserva<on

design implementa<on evalua<on

• evalua<on ¡efforts ¡typically ¡go ¡

from ¡focusing ¡on ¡understanding ¡ and ¡iden<fying ¡users' ¡needs ¡to ¡ whether ¡the ¡proposed ¡ubicomp ¡ system ¡meets ¡those ¡needs

• some<mes ¡the ¡need ¡is ¡not ¡a ¡user ¡

need ¡but ¡a ¡ubicomp ¡designers' ¡ need e.g. ¡to ¡get ¡beAer ¡precision ¡in ¡ loca5on ¡tracking ¡of ¡objects ¡in ¡a ¡ home ¡environment

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

important ¡dis<nc<ons

• forma<ve ¡evalua<on ¡vs. ¡summa<ve ¡evalua<on
• qualita<ve ¡studies ¡vs. ¡quan<ta<ve ¡studies
• "on ¡site" ¡observa<ons ¡vs. ¡lab ¡experiments

Ubicomp ¡system ¡designers ¡use ¡both ¡quan<ta<ve ¡evalua<on ¡methods ¡(e.g ¡for ¡ measuring ¡technical ¡performance ¡aspects ¡of ¡a ¡system) ¡and ¡qualita<ve ¡methods ¡ (e.g. ¡for ¡measuring ¡users' ¡opinions)

• forma<ve ¡evalua<on ¡vs. ¡summa<ve ¡evalua<on
• qualita<ve ¡studies ¡vs. ¡quan<ta<ve ¡studies
• "on ¡site" ¡observa<ons ¡vs. ¡lab ¡experiments

– ¡Par<cipant – ¡Independent ¡variable ¡(test ¡condi<ons) – ¡Dependent ¡variable – ¡Within ¡subjects ¡vs. ¡between ¡subjects – ¡Counterbalancing Example ¡paper:

Tinwala, ¡H. ¡and ¡MacKenzie, ¡I. ¡S., ¡Eyes-­‑free ¡text ¡entry ¡with ¡error ¡correc<on ¡on ¡touchscreen ¡mobile ¡devices, ¡ Proceedings ¡of ¡the ¡6th ¡Nordic ¡Conference ¡on ¡Human-­‑Computer ¡Interac<on ¡-­‑ ¡NordiCHI ¡2010, (New ¡York: ¡ACM, ¡2010), ¡511-­‑520.

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

example ¡paper, ¡quan<ta<ve ¡eval ¡+ ¡terms

• new ¡prototype ¡for ¡eyes ¡free ¡mobile ¡text ¡wri<ng

– ¡error ¡correc<on ¡and ¡feedback ¡on ¡word ¡level ¡instead ¡of ¡leier – ¡improved ¡error ¡correc<on ¡algorithm – ¡new ¡interac<on ¡method ¡(auditory ¡display) ¡and ¡three ¡different ¡ feedback ¡modes: ¡"Immediate"; ¡"OneLeier"; ¡"Delayed"

• Par<cipants ¡(gender, ¡age, ¡mean, ¡SD, ¡level ¡of ¡exper<se)
• Apparatus ¡(hardware ¡& ¡so_ware ¡setup)
• Procedure ¡(contextual ¡factors, ¡pre-­‑experiment ¡training, ¡

instruc<ons ¡from ¡experiment ¡leaders)

• Design ¡(within ¡subjects ¡vs. ¡between ¡subjects, ¡

independent ¡& ¡dependent ¡variables, ¡counterbalancing)

• Results ¡(F2,18 ¡= ¡32.3, ¡p ¡< ¡.0001 ¡for ¡"entry ¡mode")

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

Tinwala ¡et ¡al. ¡(2010)

example ¡of ¡quan<ta<ve ¡evalua<on

• forma<ve ¡evalua<on ¡vs. ¡summa<ve ¡evalua<on
• qualita<ve ¡studies ¡vs. ¡quan<ta<ve ¡studies
• "on ¡site" ¡observa<ons ¡vs. ¡lab ¡experiments

Example ¡paper:

Janet ¡van ¡der ¡Linden, ¡Yvonne ¡Rogers, ¡Maria ¡Oshodi, ¡Adam ¡Spiers, ¡David ¡McGoran, ¡Rafael ¡Cronin, ¡and ¡Paul ¡ O'Dowd. ¡2011. ¡Hap<c ¡reassurance ¡in ¡the ¡pitch ¡black ¡for ¡an ¡immersive ¡theatre ¡experience. ¡In ¡Proceedings ¡of ¡the ¡ 13th ¡interna<onal ¡conference ¡on ¡Ubiquitous ¡compu<ng(UbiComp ¡'11). ¡ACM, ¡New ¡York, ¡NY, ¡USA, ¡143-­‑152. ¡ DOI=10.1145/2030112.2030133 ¡hip://doi.acm.org/10.1145/2030112.2030133

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

example ¡paper, ¡qualita<ve ¡evalua<on

• Exploring ¡the ¡possibili<es ¡of ¡making ¡blind ¡and ¡sighted ¡

persons ¡experience ¡the ¡same ¡– ¡components:

(i) ¡a ¡narra<ve ¡heard ¡through ¡headphones, ¡(ii) ¡sound ¡effects ¡to ¡enhance ¡the ¡ narra<ve, ¡(iii) ¡a ¡tac<le ¡set ¡that ¡provide ¡s<muli ¡to ¡be ¡touched ¡and ¡felt, ¡(iv) ¡a ¡live ¡ (blind) ¡actor ¡speaking ¡about ¡being ¡blind ¡and, ¡(v) ¡the ¡hap<c ¡device, ¡to ¡augment ¡the ¡ audience ¡members ¡experience ¡through ¡the ¡space

• Mix ¡of ¡evalua<on ¡methods

– ¡CCTV ¡camera ¡observa<on; ¡ques<onnaires; ¡open-­‑ended ¡interviews; ¡interviews – ¡focus: ¡how ¡the ¡hap<c ¡experience ¡influenced ¡blind ¡and ¡sighted ¡par<cipants

• Results

– ¡quote ¡recita<ons ¡mixed ¡with ¡reflec<ons ¡from ¡the ¡experimenters; – ¡video ¡observa<ons ¡leading ¡to ¡categoriza<on ¡of ¡human ¡behaviour ¡ and ¡iden<fica<on ¡of ¡differences ¡between ¡blind ¡and ¡sighted ¡ par<cipants

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

van ¡der ¡Linden ¡et ¡al. ¡(2011)

example ¡of ¡qualita<ve ¡evalua<on

focus ¡is ¡on ¡helping ¡you ¡plan ¡the ¡final ¡evalua<on ¡of ¡your ¡ubicomp ¡prototype

• mini ¡lecture ¡on ¡ubicomp ¡system ¡evalua2on ¡(30 ¡minutes)

– example ¡of ¡quan2ta2ve ¡evalua2on – example ¡of ¡qualita2ve ¡evalua2on

• groups ¡reflect ¡on ¡their ¡intermediate ¡and ¡final ¡evalua2on ¡approach

(we ¡will ¡roam ¡around ¡and ¡provide ¡feedback)

Thomas ¡Pederson, ¡tped@itu.dk Lecture/exercise ¡on ¡SPCL-­‑E2012 ¡Pervasive ¡Compu<ng ¡(project): ¡Evalua<ng ¡your ¡Ubicomp ¡Project

agenda ¡for ¡today