Designing Content-driven Intelligent No2fica2on Mechanisms - PowerPoint PPT Presentation

Designing ¡Content-­‑driven ¡ ¡ Intelligent ¡No2fica2on ¡Mechanisms ¡ for ¡Mobile ¡Applica2ons ¡ Abhinav ¡Mehrotra ¡ Mirco ¡Musolesi ¡ University ¡College ¡London ¡ University ¡College ¡London ¡ University ¡of ¡Birmingham ¡ University ¡of ¡Birmingham ¡ Robert ¡Hendley ¡ Veljko ¡Pejovic ¡ University ¡of ¡Birmingham ¡ University ¡of ¡Ljubljana ¡ 1 ¡

Key ¡Benefits ¡of ¡Mobile ¡No2fica2ons ¡ • For ¡a ¡ recipient , ¡it ¡provides ¡an ¡ effortless ¡way ¡to ¡be ¡aware ¡of ¡ newly ¡available ¡informa2on ¡in ¡ real-­‑2me. ¡ ¡ ¡ • For ¡a ¡ sender , ¡it ¡provides ¡a ¡ mechanism ¡to ¡ini2ate ¡a ¡remote ¡ communica2on. ¡ ¡ 2 ¡

Issues ¡with ¡Mobile ¡No2fica2ons ¡ No2fica2ons ¡cause ¡disrup2on ¡on ¡arriving ¡at ¡inopportune ¡moments. ¡ ¡ No2fica2ons ¡can ¡be ¡ignored ¡if ¡they ¡do ¡not ¡arrive ¡at ¡the ¡right ¡moments. ¡ Interrupt ¡ongoing ¡tasks ¡ Interfere ¡with ¡our ¡lifestyles ¡ Arrive ¡at ¡socially ¡ ¡ inappropriate ¡moments ¡ ¡ Goal: ¡delivering ¡the ¡right ¡informa2on ¡( no;fica;on ¡ content ) ¡at ¡the ¡right ¡moment ¡( context ). ¡ ¡ 3 ¡

Limita2ons ¡of ¡Previous ¡Approaches ¡ • Interrup2bility ¡is ¡inferred ¡from ¡the ¡sensed ¡context, ¡assuming ¡ that ¡a ¡user ¡reac2on ¡is ¡the ¡same ¡irrespec2ve ¡of ¡the ¡content ¡and ¡ sender. ¡ ¡ ¡ ¡Missing: ¡ Use ¡of ¡no2fica2on ¡content ¡and ¡sender ¡informa2on. ¡ ¡ • Interrup2bility ¡models ¡are ¡trained ¡with ¡experience ¡sampling ¡ method ¡(ESM) ¡and ¡ar2ficial ¡no2fica2ons ¡sent ¡by ¡the ¡system. ¡ ¡ ¡ ¡Missing: ¡ Models ¡built ¡on ¡real-­‑world ¡no2fica2ons ¡ ¡ received ¡in ¡the ¡wild. ¡ V. ¡Pejovic ¡and ¡M. ¡Musolesi. ¡InterruptMe: ¡Designing ¡Intelligent ¡Promp2ng ¡Mechanisms ¡for ¡ Pervasive ¡Applica2ons. ¡In ¡UbiComp’14, ¡SeaXle, ¡WA, ¡USA, ¡September ¡2014. ¡ 4 ¡

Bridging ¡the ¡Gap ¡ First ¡ in-­‑the-­‑wild ¡ study ¡for ¡predic2ng ¡ interrup2bility ¡by ¡using: ¡ ¡ • informa0on ¡type ¡ ¡ • recipient-­‑sender ¡rela0onship ¡ ¡ • context ¡data ¡ 5 ¡

Data ¡Collec2on ¡ 1. User’s ¡interac2on ¡with ¡ No2fyMe ¡app ¡ no2fica2ons: ¡ • Contextual ¡informa;on. ¡ ¡ • No;fica;on ¡data. ¡ ¡ ¡ 2. User ¡preferences: ¡ • Where ¡would ¡you ¡like ¡to ¡ receive ¡no2fica2ons ¡with ¡ similar ¡content? ¡ • When ¡would ¡you ¡like ¡to ¡ receive ¡no2fica2ons ¡with ¡ ¡ similar ¡content? ¡ 6 ¡

No2fyMe ¡Dataset ¡ Par2cipants: ¡35 ¡ ¡ Study ¡dura2on: ¡3 ¡weeks ¡ ¡ No2fica2on ¡samples: ¡70,000 ¡(approx.) ¡ ¡ Ques2onnaire ¡responses: ¡4,069 ¡ ¡ 7 ¡

Extrac2ng ¡“Informa2on ¡Type” ¡and ¡ ¡ “Recipient-­‑Sender ¡Rela2onship” ¡ Applica2on ¡name ¡ No2fica2on ¡2tle ¡ Informa;on ¡type : ¡manual ¡classifica2on ¡of ¡applica2on ¡name. ¡ ¡ Recipient-­‑sender ¡rela;onship : ¡ ¡users ¡classified ¡their ¡no2fica2on ¡ 2tles ¡in ¡4 ¡categories, ¡namely ¡ Family , ¡ Friend , ¡ Work , ¡ Other . ¡ 8 ¡

Types ¡of ¡No2fica2ons ¡ Chat ¡and ¡Email ¡no2fica2ons. ¡ 9 ¡

Types ¡of ¡No2fica2ons ¡ 40 35 Notification Count (%) 30 Chat ¡and ¡Email ¡no2fica2ons ¡ 25 are ¡divided ¡into ¡8 ¡sub-­‑types. ¡ 20 15 10 5 0 8 ¡sub-­‑types ¡ 10 ¡

Understanding ¡Interrup2bility ¡ 11 ¡

Impact ¡of ¡Context ¡on ¡Response ¡Time ¡ 1.0 0.8 0.6 CDF 0.4 Still On Foot 0.2 On Bicycle On Vehicle 0 0 5 10 15 20 25 30 Response Time (min) Note: ¡the ¡average ¡response ¡2me ¡of ¡a ¡no2fica2on ¡does ¡not ¡vary ¡with ¡other ¡ context ¡modali2es ¡including ¡loca2on ¡and ¡presence ¡of ¡the ¡surrounding ¡sound. ¡ ¡ 12 ¡

Impact ¡of ¡Content ¡on ¡No2fica2on ¡Acceptance: ¡ ¡ Click ¡Count ¡Percentage ¡ 100 Notification Click Count (%) 0.8 80 0.6 60 0.4 40 0.2 20 0 0 No2fica2on ¡click ¡count ¡refers ¡to ¡the ¡percentage ¡of ¡no2fica2ons ¡that ¡are ¡clicked ¡ out ¡of ¡total ¡no2fica2ons ¡of ¡a ¡specific ¡category. ¡ 13 ¡

Predic2ng ¡an ¡Opportune ¡Moment ¡ ¡ To ¡Deliver ¡a ¡No2fica2on ¡ 14 ¡

What ¡Defines ¡an ¡Opportune ¡Moment? ¡ It ¡is ¡a ¡moment ¡in ¡which ¡a ¡user ¡ quickly ¡and ¡ favorably ¡ ¡ reacts ¡to ¡a ¡no2fica2on. ¡ ¡ How ¡quick ¡should ¡it ¡be? ¡ 1.0 0.8 0.6 CDF 0.4 0.2 0 5 10 15 20 25 30 35 40 45 50 0 Response Time (min) 15 ¡

Construc2ng ¡Predictors ¡ Four ¡predictors ¡using ¡different ¡features: ¡ 1. User-­‑defined ¡rules ¡and ¡context ¡data. ¡ 2. Context ¡data. ¡ 3. Informa2on ¡type ¡and ¡context ¡data. ¡ 4. Social ¡circle, ¡informa2on ¡type ¡and ¡context ¡data. ¡ ¡ Three ¡ML ¡algorithms: ¡ 1. Naïve ¡Bayes ¡ 2. AdaBoost ¡ 3. Random ¡forest ¡ 16 ¡

Predic2on ¡Results ¡ Predictor ¡trained ¡with ¡the ¡user-­‑defined ¡rules ¡ ¡ Predictor ¡trained ¡with ¡the ¡informa2on ¡type, ¡ ¡ social ¡circle ¡and ¡context ¡data ¡performed ¡the ¡best. ¡ and ¡context ¡data ¡performed ¡the ¡worst. ¡ 100 100 80 80 Sensitivity (%) Specificity (%) 60 60 40 40 User%defined)Rules)and)Context)Data 20 20 Context)Data Informa6on)Type)and)Context)Data Social)Circle,)Informa6on)Type)and)Context)Data 0 0 45 50 45 50 Naive Bayes AdaBoost Random Forest Naive Bayes AdaBoost Random Forest By ¡using ¡informa2on ¡type ¡and ¡social ¡circle ¡we ¡were ¡able ¡to ¡predict ¡ the ¡acceptance ¡of ¡a ¡no2fica2on ¡within ¡10 ¡minutes ¡from ¡its ¡arrival ¡ 2me ¡with ¡an ¡ average ¡sensi;vity ¡of ¡70% ¡and ¡a ¡specificity ¡of ¡80% . ¡ ¡ 17 ¡

Generic ¡vs ¡Personal ¡Behavioural ¡Model ¡ 100 100 80 80 Sensitivity (%) Specificity (%) 60 60 40 40 20 20 Personal Model Generic Model Personal Model 0 0 Generic Model 35 40 45 50 45 50 Naive Bayes AdaBoost Random Forest Naive Bayes AdaBoost Random Forest All ¡predictors ¡are ¡trained ¡with ¡social ¡circle, ¡ ¡ informa2on ¡type ¡and ¡context ¡data. ¡ 18 ¡

Online ¡Learning ¡ 100 User-defined Rules Random Forest AdaBoost 80 Naive Bayes Precision (%) 60 40 20 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Day The ¡ inference ¡ of ¡ a ¡ user’s ¡ interrup2bility ¡ can ¡ be ¡ performed ¡ locally ¡in ¡an ¡online ¡fashion, ¡achieving ¡more ¡than ¡ 60% ¡precision ¡ aher ¡ nine ¡days ¡ of ¡training. ¡ 19 ¡

Summary ¡ • First ¡ in-­‑the-­‑wild ¡ study ¡that ¡uses ¡ content ¡(informa2on ¡type, ¡ recipient-­‑sender ¡rela2onship) ¡and ¡ context ¡to ¡model ¡ interrup2bility. ¡ ¡ • The ¡acceptance ¡of ¡a ¡no2fica2on ¡within ¡10 ¡minutes ¡from ¡its ¡ arrival ¡2me ¡can ¡be ¡predicted ¡with ¡an ¡ average ¡sensi;vity ¡of ¡70% ¡ and ¡a ¡ specificity ¡of ¡80% . ¡ ¡ ¡ • An ¡online ¡predictor ¡can ¡start ¡making ¡stable ¡predic2ons ¡aher ¡ nine ¡days ¡ of ¡training. ¡ ¡ 20 ¡

Open ¡Issues ¡ • How ¡to ¡infer ¡the ¡user’s ¡willingness ¡to ¡receive ¡a ¡no2fica2on? ¡ ¡ ¡ • How ¡to ¡capture ¡the ¡level ¡of ¡user’s ¡engagement ¡with ¡the ¡ current ¡task, ¡difficulty ¡of ¡the ¡interrup2ng ¡task, ¡and ¡similar ¡ factors ¡that ¡might ¡influence ¡interrup2bility? ¡ ¡ • How ¡does ¡the ¡user ¡reacts ¡when ¡no2fica2ons ¡are ¡stacked ¡by ¡ applica2ons? ¡ ¡ 21 ¡

Thank ¡You! ¡ ¡ ¡ ¡ ¡ ¡ ¡A ¡new ¡ques;on! ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Archive ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Reply ¡ ¡ ¡ ¡ Abhinav ¡Mehrotra ¡ Email : ¡a.mehrotra@ucl.ac.uk ¡ Web : ¡hXp://www.cs.bham.ac.uk/~axm514 ¡ 22 ¡