Designing Content-driven Intelligent No2fica2on Mechanisms - - PowerPoint PPT Presentation

Designing ¡Content-­‑driven ¡ ¡ Intelligent ¡No2fica2on ¡Mechanisms ¡ for ¡Mobile ¡Applica2ons ¡

Abhinav ¡Mehrotra ¡

University ¡College ¡London ¡ University ¡of ¡Birmingham ¡

Robert ¡Hendley ¡

University ¡of ¡Birmingham ¡

Veljko ¡Pejovic ¡

University ¡of ¡Ljubljana ¡

Mirco ¡Musolesi ¡

University ¡College ¡London ¡ University ¡of ¡Birmingham ¡

1 ¡

Key ¡Benefits ¡of ¡Mobile ¡No2fica2ons ¡

• For ¡a ¡recipient, ¡it ¡provides ¡an ¡

effortless ¡way ¡to ¡be ¡aware ¡of ¡ newly ¡available ¡informa2on ¡in ¡ real-­‑2me. ¡ ¡ ¡

• For ¡a ¡sender, ¡it ¡provides ¡a ¡

mechanism ¡to ¡ini2ate ¡a ¡remote ¡

• communica2on. ¡ ¡

2 ¡

Interrupt ¡ongoing ¡tasks ¡ Interfere ¡with ¡our ¡lifestyles ¡ Arrive ¡at ¡socially ¡ ¡ inappropriate ¡moments ¡ ¡

Issues ¡with ¡Mobile ¡No2fica2ons ¡

No2fica2ons ¡cause ¡disrup2on ¡on ¡arriving ¡at ¡inopportune ¡moments. ¡ ¡ No2fica2ons ¡can ¡be ¡ignored ¡if ¡they ¡do ¡not ¡arrive ¡at ¡the ¡right ¡moments. ¡

Goal: ¡delivering ¡the ¡right ¡informa2on ¡(no;fica;on ¡ content) ¡at ¡the ¡right ¡moment ¡(context). ¡ ¡

3 ¡

• Interrup2bility ¡is ¡inferred ¡from ¡the ¡sensed ¡context, ¡assuming ¡

that ¡a ¡user ¡reac2on ¡is ¡the ¡same ¡irrespec2ve ¡of ¡the ¡content ¡and ¡

• sender. ¡

¡ ¡ ¡Missing: ¡Use ¡of ¡no2fica2on ¡content ¡and ¡sender ¡informa2on. ¡ ¡

• Interrup2bility ¡models ¡are ¡trained ¡with ¡experience ¡sampling ¡

method ¡(ESM) ¡and ¡ar2ficial ¡no2fica2ons ¡sent ¡by ¡the ¡system. ¡ ¡ ¡ ¡Missing: ¡Models ¡built ¡on ¡real-­‑world ¡no2fica2ons ¡ ¡ received ¡in ¡the ¡wild. ¡

Limita2ons ¡of ¡Previous ¡Approaches ¡

4 ¡

• V. ¡Pejovic ¡and ¡M. ¡Musolesi. ¡InterruptMe: ¡Designing ¡Intelligent ¡Promp2ng ¡Mechanisms ¡for ¡

Pervasive ¡Applica2ons. ¡In ¡UbiComp’14, ¡SeaXle, ¡WA, ¡USA, ¡September ¡2014. ¡

Bridging ¡the ¡Gap ¡

First ¡in-­‑the-­‑wild ¡study ¡for ¡predic2ng ¡ interrup2bility ¡by ¡using: ¡ ¡

• informa0on ¡type ¡

¡

• recipient-­‑sender ¡rela0onship ¡

¡

• context ¡data ¡

5 ¡

No2fyMe ¡app ¡ Data ¡Collec2on ¡

• 1. User’s ¡interac2on ¡with ¡

no2fica2ons: ¡

• Contextual ¡informa;on. ¡ ¡
• No;fica;on ¡data. ¡ ¡

¡

• 2. User ¡preferences: ¡
• Where ¡would ¡you ¡like ¡to ¡

receive ¡no2fica2ons ¡with ¡ similar ¡content? ¡

• When ¡would ¡you ¡like ¡to ¡

receive ¡no2fica2ons ¡with ¡ ¡ similar ¡content? ¡

6 ¡

Par2cipants: ¡35 ¡ ¡ Study ¡dura2on: ¡3 ¡weeks ¡ ¡ No2fica2on ¡samples: ¡70,000 ¡(approx.) ¡ ¡ Ques2onnaire ¡responses: ¡4,069 ¡ ¡

No2fyMe ¡Dataset ¡

7 ¡

Extrac2ng ¡“Informa2on ¡Type” ¡and ¡ ¡ “Recipient-­‑Sender ¡Rela2onship” ¡

No2fica2on ¡2tle ¡ Applica2on ¡name ¡

Informa;on ¡type: ¡manual ¡classifica2on ¡of ¡applica2on ¡name. ¡ ¡ Recipient-­‑sender ¡rela;onship: ¡ ¡users ¡classified ¡their ¡no2fica2on ¡ 2tles ¡in ¡4 ¡categories, ¡namely ¡Family, ¡Friend, ¡Work, ¡Other. ¡

8 ¡

Types ¡of ¡No2fica2ons ¡

9 ¡

Chat ¡and ¡Email ¡no2fica2ons. ¡

Notification Count (%) 40 5 10 20 15 25 30 35

Types ¡of ¡No2fica2ons ¡

8 ¡sub-­‑types ¡

10 ¡

Chat ¡and ¡Email ¡no2fica2ons ¡ are ¡divided ¡into ¡8 ¡sub-­‑types. ¡

Understanding ¡Interrup2bility ¡

11 ¡

Note: ¡the ¡average ¡response ¡2me ¡of ¡a ¡no2fica2on ¡does ¡not ¡vary ¡with ¡other ¡ context ¡modali2es ¡including ¡loca2on ¡and ¡presence ¡of ¡the ¡surrounding ¡sound. ¡ ¡

Impact ¡of ¡Context ¡on ¡Response ¡Time ¡

12 ¡

Still On Foot On Bicycle On Vehicle

Response Time (min) 5 10 15 20 25 30 0.2 0.4 0.6 0.8 1.0 CDF

Impact ¡of ¡Content ¡on ¡No2fica2on ¡Acceptance: ¡ ¡ Click ¡Count ¡Percentage ¡

No2fica2on ¡click ¡count ¡refers ¡to ¡the ¡percentage ¡of ¡no2fica2ons ¡that ¡are ¡clicked ¡

• ut ¡of ¡total ¡no2fica2ons ¡of ¡a ¡specific ¡category. ¡

13 ¡

0.2 0.4 0.6 0.8 20 40 60 80 100 Notification Click Count (%)

Predic2ng ¡an ¡Opportune ¡Moment ¡ ¡ To ¡Deliver ¡a ¡No2fica2on ¡

14 ¡

What ¡Defines ¡an ¡Opportune ¡Moment? ¡

It ¡is ¡a ¡moment ¡in ¡which ¡a ¡user ¡quickly ¡and ¡favorably ¡ ¡ reacts ¡to ¡a ¡no2fica2on. ¡ ¡ How ¡quick ¡should ¡it ¡be? ¡

0.2 0.4 0.6 0.8 1.0 CDF Response Time (min) 5 10 15 20 25 30 35 40 45 50

15 ¡

Construc2ng ¡Predictors ¡

Four ¡predictors ¡using ¡different ¡features: ¡

• 1. User-­‑defined ¡rules ¡and ¡context ¡data. ¡
• 2. Context ¡data. ¡
• 3. Informa2on ¡type ¡and ¡context ¡data. ¡
• 4. Social ¡circle, ¡informa2on ¡type ¡and ¡context ¡data. ¡

¡ Three ¡ML ¡algorithms: ¡

• 1. Naïve ¡Bayes ¡
• 2. AdaBoost ¡
• 3. Random ¡forest ¡

16 ¡

By ¡using ¡informa2on ¡type ¡and ¡social ¡circle ¡we ¡were ¡able ¡to ¡predict ¡ the ¡acceptance ¡of ¡a ¡no2fica2on ¡within ¡10 ¡minutes ¡from ¡its ¡arrival ¡ 2me ¡with ¡an ¡average ¡sensi;vity ¡of ¡70% ¡and ¡a ¡specificity ¡of ¡80%. ¡ ¡

Predic2on ¡Results ¡

17 ¡

45 50 AdaBoost Random Forest Naive Bayes 20 40 60 80 100 Sensitivity (%) 45 50 AdaBoost Random Forest Naive Bayes 20 40 60 80 100 Specificity (%)

User%defined)Rules)and)Context)Data Context)Data Informa6on)Type)and)Context)Data Social)Circle,)Informa6on)Type)and)Context)Data

Predictor ¡trained ¡with ¡the ¡user-­‑defined ¡rules ¡ ¡ and ¡context ¡data ¡performed ¡the ¡worst. ¡ Predictor ¡trained ¡with ¡the ¡informa2on ¡type, ¡ ¡ social ¡circle ¡and ¡context ¡data ¡performed ¡the ¡best. ¡

Generic ¡vs ¡Personal ¡Behavioural ¡Model ¡

Personal Model Generic Model

All ¡predictors ¡are ¡trained ¡with ¡social ¡circle, ¡ ¡ informa2on ¡type ¡and ¡context ¡data. ¡

18 ¡

45 50 AdaBoost Random Forest Naive Bayes 20 40 60 80 100 Specificity (%)

Personal Model Generic Model

35 40 45 50 AdaBoost Random Forest Naive Bayes 20 40 60 80 100 Sensitivity (%)

The ¡ inference ¡ of ¡ a ¡ user’s ¡ interrup2bility ¡ can ¡ be ¡ performed ¡ locally ¡in ¡an ¡online ¡fashion, ¡achieving ¡more ¡than ¡60% ¡precision ¡ aher ¡nine ¡days ¡of ¡training. ¡

Online ¡Learning ¡

19 ¡

Day 20 40 60 80 100 Precision (%)

Naive Bayes AdaBoost Random Forest User-defined Rules

1 2 3 4 5 6 7 8 9 11 10 12 13 14

• First ¡in-­‑the-­‑wild ¡study ¡that ¡uses ¡content ¡(informa2on ¡type, ¡

recipient-­‑sender ¡rela2onship) ¡and ¡context ¡to ¡model ¡

• interrup2bility. ¡ ¡
• The ¡acceptance ¡of ¡a ¡no2fica2on ¡within ¡10 ¡minutes ¡from ¡its ¡

arrival ¡2me ¡can ¡be ¡predicted ¡with ¡an ¡average ¡sensi;vity ¡of ¡70% ¡ and ¡a ¡specificity ¡of ¡80%. ¡ ¡ ¡

• An ¡online ¡predictor ¡can ¡start ¡making ¡stable ¡predic2ons ¡aher ¡

nine ¡days ¡of ¡training. ¡ ¡

Summary ¡

20 ¡

• How ¡to ¡infer ¡the ¡user’s ¡willingness ¡to ¡receive ¡a ¡no2fica2on? ¡

¡ ¡

• How ¡to ¡capture ¡the ¡level ¡of ¡user’s ¡engagement ¡with ¡the ¡

current ¡task, ¡difficulty ¡of ¡the ¡interrup2ng ¡task, ¡and ¡similar ¡ factors ¡that ¡might ¡influence ¡interrup2bility? ¡ ¡

• How ¡does ¡the ¡user ¡reacts ¡when ¡no2fica2ons ¡are ¡stacked ¡by ¡

applica2ons? ¡ ¡

Open ¡Issues ¡

21 ¡

¡ ¡

¡ ¡ ¡A ¡new ¡ques;on! ¡

¡ ¡ ¡

¡ ¡ ¡ ¡Archive ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Reply ¡ ¡ ¡ ¡

Abhinav ¡Mehrotra ¡ Email: ¡a.mehrotra@ucl.ac.uk ¡ Web: ¡hXp://www.cs.bham.ac.uk/~axm514 ¡

Thank ¡You! ¡ ¡

22 ¡