Deployment and Evalua0on Beyond Prototypes: Challenges in - - PowerPoint PPT Presentation

Deployment ¡and ¡Evalua0on ¡

Beyond ¡Prototypes: ¡Challenges ¡in ¡Deploying ¡ Ubiquitous ¡Systems ¡

• “The ¡authors ¡discuss ¡the ¡problems ¡in ¡crea>ng ¡the ¡next ¡

genera>on ¡of ¡widely ¡deployed ¡ubiquitous ¡compu>ng ¡systems ¡ and ¡ar>culate ¡current ¡technical ¡and ¡sociological ¡challenges ¡to ¡ inspire ¡researchers ¡in ¡the ¡field.” ¡

• Authors: ¡Nigel ¡Davis ¡and ¡Hans-­‑Werner ¡Gellersen ¡
• Published: ¡2002 ¡

Deploying ¡Sal ¡

• GPS ¡on ¡Sal’s ¡car ¡
• Detec>ng ¡availability ¡of ¡parking ¡spaces ¡
• Detec>on ¡of ¡new ¡shops ¡in ¡the ¡are ¡

Challenges ¡

• Technical ¡

– Knowing ¡Sal’s ¡ac>vity, ¡since ¡Sal ¡isn’t ¡telling ¡the ¡system ¡ – Parking ¡using ¡surveillance ¡cameras, ¡which ¡was ¡“quickly ¡determined” ¡

• Social ¡and ¡Legal ¡issues ¡

– Surveillance ¡info ¡ – Data ¡Protec>on ¡legisla>on. ¡In ¡Europe: ¡Data ¡Protec>on ¡Direc>ve, ¡and ¡ General ¡Data ¡Protec>on ¡Regula>on ¡ – System ¡geVng ¡detailed ¡informa>on ¡about ¡Sal’s ¡movements ¡

Challenges, ¡cont. ¡

• Economic ¡Concerns ¡

– Cost ¡of ¡providing ¡applica>on ¡is ¡distributed ¡among ¡numerous ¡ components, ¡such ¡as ¡the ¡surveillance ¡system ¡and ¡the ¡ communica>ons ¡provider ¡ – How ¡would ¡Sal ¡be ¡billed? ¡How ¡would ¡she ¡pay? ¡What ¡is ¡the ¡business ¡ model? ¡ ¡

Projects ¡

• Xerox ¡Parc’s ¡ubiquitous ¡com ¡puVng ¡experiment ¡

– Introduced ¡con>nuous ¡service ¡and ¡contextualized ¡use ¡ – Project ¡couldn’t ¡address ¡integra>on ¡issue ¡due ¡to ¡technical ¡challenges ¡ – The ¡benefits ¡weren’t ¡enough, ¡and ¡worksta>ons ¡were ¡used ¡instead ¡

• Ac>ve ¡Badge ¡

– Gave ¡people ¡images ¡of ¡an ¡Orwellian ¡work ¡environment ¡ – Telepor>ng ¡ – Problems ¡with ¡in-­‑building ¡loca>on ¡(Ac>ve ¡Bat) ¡

Projects, ¡cont. ¡

• Lancaster ¡Guide ¡System ¡

– User ¡interac>on ¡is ¡governed ¡by ¡the ¡capabili>es ¡of ¡the ¡infrastructure ¡ – This ¡becomes ¡complicated ¡when ¡the ¡availability ¡and ¡composi>on ¡of ¡ the ¡system ¡changes ¡

• Cooltown ¡Project ¡

– Place ¡the ¡user ¡in ¡the ¡control ¡loop ¡so ¡they ¡can ¡do ¡difficult ¡processing ¡

• Media ¡Cup ¡Experience ¡

– “Ubiquitous ¡compu>ng ¡is ¡fundamentally ¡characterized ¡by ¡the ¡ connec>on ¡of ¡things ¡in ¡the ¡world ¡with ¡computa>on” ¡

Research ¡Challenges ¡

• Component ¡interac>on ¡
• Adapta>on ¡and ¡Contextual ¡Sensi>vity ¡
• Appropriate ¡Management ¡mechanisms ¡and ¡policies ¡
• Component ¡associa>on ¡and ¡task ¡analysis ¡
• Viable ¡economic ¡models ¡and ¡suppor>ng ¡infrastructure ¡
• User ¡interface ¡
• Social, ¡legal, ¡and ¡technical ¡solu>on ¡to ¡privacy ¡and ¡security ¡

concerns ¡

Integra>on ¡is ¡not ¡the ¡only ¡issue ¡

• Paper ¡focuses ¡on ¡integra>on ¡as ¡the ¡main ¡issue ¡of ¡deployment ¡
• But ¡it ¡men>ons ¡interference ¡as ¡also ¡an ¡issue ¡
• Other ¡issues? ¡

Second ¡Paper ¡ ¡

¡

• User ¡Study ¡Techniques ¡in ¡the ¡Design ¡and ¡Evalua>on ¡of ¡a ¡

Ubicomp ¡Environment ¡

• Authors: ¡Sunny ¡Consolvo, ¡Larry ¡Arnstein, ¡and ¡B. ¡Robert ¡Franza ¡

In ¡This ¡Paper ¡

• Presents ¡several ¡user ¡study ¡techniques ¡
• Labscape: ¡ubicomp ¡applica>on ¡for ¡a ¡cell ¡biology ¡laboratories ¡
• Discussion ¡of ¡applying ¡using ¡study ¡techniques ¡to ¡Labscape ¡
• Ini>al ¡Results ¡
• Applica>on ¡to ¡other ¡examples ¡

Context ¡Field ¡Research ¡(CFR) ¡

• "Technique ¡for ¡gathering ¡qualita>ve ¡data ¡by ¡observing ¡and ¡

interac>ng ¡with ¡users ¡as ¡they ¡go ¡about ¡their ¡normal ¡ac>vi>es ¡

• Advantages ¡

– Conducted ¡in ¡user's ¡environment ¡ – No ¡applica>on ¡needed ¡

• Disadvantages ¡

– Costs ¡ – Users ¡may ¡alter ¡their ¡behavior ¡

Intensive ¡Interviewing ¡

• "Technique ¡for ¡gathering ¡qualita>ve ¡data ¡by ¡asking ¡users ¡open-­‑

ended ¡ques>ons ¡about ¡their ¡work, ¡background, ¡and ¡ideas" ¡

• Advantages: ¡

– User ¡own ¡words ¡ – Evaluators ¡can ¡stablish ¡a ¡rapport ¡with ¡the ¡user ¡ – Evaluators ¡do ¡not ¡disturb ¡users' ¡environment ¡

• Disadvantages: ¡

– Users ¡fail ¡to ¡men>on ¡important ¡aspects ¡ – Cost ¡

Usability ¡Tes>ng ¡

• “Technique ¡for ¡gathering ¡empirical ¡data ¡by ¡observing ¡users ¡as ¡

they ¡perform ¡tasks ¡with ¡the ¡applica>on ¡that ¡is ¡being ¡ evaluated” ¡

• Advantages: ¡

– Inexpensive ¡ – Quick ¡results ¡

• Disadvantages: ¡

– Ar>ficial ¡ – Users ¡may ¡alter ¡their ¡behavior ¡

Lag ¡Sequen>al ¡Analysis ¡(LSA) ¡

• “Technique ¡for ¡gathering ¡quan>ta>ve ¡data ¡by ¡observing ¡users ¡

as ¡they ¡perform ¡their ¡normal ¡ac>vi>es” ¡

• Advantages: ¡

– Conducted ¡in ¡user ¡environment ¡while ¡they ¡perform ¡normal ¡ac>vi>es ¡ – Evaluators ¡can ¡generate ¡sta>s>cs ¡

• Disadvantages: ¡

– Cost ¡ – Users ¡may ¡alter ¡their ¡behavior ¡

¡ Biology ¡Research ¡Labs ¡are ¡messy ¡ ¡ ¡

Labscape ¡

• Labscape ¡two ¡main ¡objec>ves: ¡

– Make ¡cri>cal ¡informa>on ¡available ¡when ¡and ¡where ¡needed ¡ – Easily ¡capture ¡and ¡organize ¡data ¡generated ¡form ¡experiments ¡

• End ¡goal: ¡Reduce ¡researches ¡number ¡of ¡moves ¡and ¡integrate ¡

Labscape ¡with ¡the ¡environment ¡

User ¡Study ¡Technique ¡Applied ¡to ¡the ¡Design ¡

• Intensive ¡Interviewing ¡

– Learned ¡that ¡biologists ¡work ¡primarily ¡from ¡memory. ¡ ¡

• Context ¡Field ¡Research ¡

– Observed ¡that ¡biologists ¡wore ¡gloves ¡frequently. ¡Learned ¡from ¡this ¡ that ¡their ¡design ¡needed ¡to ¡be ¡usable ¡with ¡or ¡without ¡gloves ¡as ¡ removing ¡gloves ¡can ¡be ¡a ¡nuisance. ¡ – Though ¡learned ¡from ¡interviews ¡that ¡lab ¡coats ¡are ¡generally ¡worn, ¡ they ¡observed ¡that ¡usually ¡is ¡not ¡the ¡case. ¡Learned ¡from ¡this ¡that ¡ they ¡could ¡not ¡use ¡a ¡portable ¡compu>ng ¡device ¡that ¡could ¡be ¡kept ¡in ¡ the ¡lab ¡coat. ¡

Table ¡of ¡Observa>ons ¡

Conclusion ¡Drawn ¡from ¡User ¡Study ¡Technique ¡

• Beeping ¡would ¡be ¡the ¡most ¡effec>ve ¡no>fica>on ¡system ¡

– Biologists ¡expect ¡to ¡hear ¡the ¡machine ¡beep ¡ – If ¡the ¡machine ¡does ¡not ¡beep, ¡it ¡would ¡be ¡ignored ¡by ¡the ¡biologists ¡

• Reducing ¡movements ¡and ¡distrac>on ¡would ¡be ¡of ¡most ¡benefit ¡

to ¡ensure ¡success ¡

– Biologists ¡mul>task ¡ofen ¡ – They ¡need ¡to ¡be ¡able ¡to ¡move ¡from ¡task ¡to ¡task ¡easily ¡

Evalua>on ¡of ¡Labscape ¡

• LSA ¡

– 18 ¡hours ¡of ¡video ¡ – 10 ¡experiments ¡-­‑> ¡5 ¡normal ¡and ¡5 ¡with ¡Labscape ¡ – Variables ¡in ¡each ¡experiment ¡made ¡the ¡data ¡difficult ¡to ¡analyze ¡

Metrics ¡

• Average ¡Number ¡of ¡Movements ¡per ¡Tasks ¡
• Average ¡Number ¡of ¡Informa>on ¡Records ¡per ¡Task ¡
• Fluidity ¡

Results ¡

• Average ¡number ¡of ¡movement ¡per ¡task ¡

decreased ¡

• Biologist ¡voluntarily ¡recorded ¡

informa>on ¡more ¡frequently ¡

• It ¡seemed ¡as ¡if ¡Labscape ¡was ¡successful ¡

in ¡allowing ¡the ¡biologists ¡to ¡use ¡it ¡ fluidly ¡

Future ¡Work ¡

• Develop ¡sofware ¡to ¡automa>cally ¡to ¡the ¡video ¡coding ¡
• Na>onal ¡survey ¡sent ¡out ¡to ¡guide ¡UI ¡development ¡

UbiFit ¡Sunny ¡Consolvo ¡

Youtube ¡Video ¡

UbiFit ¡Sunny ¡Consolvo ¡

How ¡would ¡you ¡design ¡this ¡ applica>on? ¡ ¡ How ¡would ¡you ¡evaluate ¡it? ¡

Wi-­‑Fi ¡Privacy ¡Ticker ¡

Thank ¡you! ¡ ¡ Ques>ons/Comments ¡