Predic'ng Responses to Microblog Posts Yoav Artzi 1 , - - PowerPoint PPT Presentation

Predic'ng ¡Responses ¡to ¡ Microblog ¡Posts ¡

Yoav ¡Artzi1, ¡Patrick ¡Pantel2 ¡and ¡Michael ¡Gamon2 ¡

¡

1University ¡of ¡Washington, ¡MicrosoC ¡Research ¡

¡

Work ¡conducted ¡at ¡MicrosoC ¡Research ¡

¡

Twee'ng ¡on ¡TwiGer ¡

A ¡tweet ¡is ¡140 ¡characters ¡long ¡ TwiGer ¡is ¡a ¡ social ¡network ¡ news ¡agency ¡ Users ¡respond ¡by ¡ replying ¡ retwee'ng ¡

The ¡Problem ¡

• Given ¡a ¡tweet ¡

The ¡Problem ¡

• Given ¡a ¡tweet ¡
• Predict ¡response ¡

– Reply ¡ – Retweet ¡ Retweet ¡ Reply ¡

Retweeted ¡ No ¡Response ¡

Mo'va'on ¡

• Good ¡indica'on ¡of ¡impact ¡
• Increases ¡impact ¡
• So ¡who ¡might ¡care ¡about ¡this? ¡

– Adver'sers ¡ – Celebri'es ¡ – Media ¡organiza'ons ¡

• Also, ¡a ¡way ¡to ¡rank ¡tweets ¡

Goal ¡

• What ¡triggers ¡a ¡response? ¡
• What ¡features ¡are ¡good ¡for ¡predic'on? ¡
• Empirical ¡explora'on ¡

Our ¡Approach: ¡Learning ¡

Extract ¡ Features ¡ Learner ¡ Social ¡ Network ¡ Tweets ¡ + ¡ Response ¡ Model ¡

Boosted ¡Decision ¡Trees ¡ Maximum ¡Entropy* ¡

*MaxEnt ¡by ¡Chris ¡Quirk, ¡Boosted ¡Decision ¡Trees ¡by ¡Qiang ¡Wu ¡ ¡

Our ¡Approach: ¡Tes'ng ¡

Model ¡ Social ¡ Network ¡ Tweet ¡ Predic7on ¡

Experimental ¡Setup ¡

• One ¡week ¡of ¡TwiGer ¡data ¡
• Searched ¡for ¡response ¡over ¡two ¡weeks ¡
• Randomly ¡sampled ¡training ¡and ¡tes'ng ¡sets: ¡

– 750K ¡tweets ¡for ¡training ¡ – 188K ¡tweets ¡for ¡tes'ng ¡

Results ¡

0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ 0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ Precision ¡ Recall ¡ Boosted ¡ Decision ¡ Trees ¡ MaxEnt ¡

Results ¡

Hard ¡to ¡predict ¡response, ¡for ¡most ¡tweet, ¡but ¡… ¡

0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ 0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ Precision ¡ Recall ¡ Boosted ¡ Decision ¡ Trees ¡ MaxEnt ¡

Results ¡

Hard ¡to ¡predict ¡response, ¡for ¡most ¡tweet, ¡but ¡there ¡ exists ¡a ¡large ¡set ¡for ¡which ¡we ¡can ¡predict ¡accurately ¡

0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ 0 ¡ 0.2 ¡ 0.4 ¡ 0.6 ¡ 0.8 ¡ 1 ¡ Precision ¡ Recall ¡ Boosted ¡ Decision ¡ Trees ¡ MaxEnt ¡

Results ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ 0.8 ¡ 0.9 ¡ 1 ¡ 0 ¡ 0.02 ¡ 0.04 ¡ 0.06 ¡ 0.08 ¡ 0.1 ¡ 0.12 ¡ 0.14 ¡ 0.16 ¡ 0.18 ¡ 0.2 ¡ Precision ¡ Recall ¡

Building ¡the ¡Model ¡

• What ¡can ¡we ¡get ¡form ¡the ¡language ¡of ¡the ¡

tweet? ¡

• Can ¡we ¡use ¡the ¡social ¡network ¡for ¡predic'on? ¡

Features: ¡Sen'ment ¡

• How ¡the ¡sen'ment ¡of ¡a ¡tweet ¡influences ¡the ¡

response ¡behavior? ¡

• Count ¡of ¡nega've/posi've ¡sen'ment ¡words* ¡

+1 +1 +1 +1

*Sen'ment ¡lexicon ¡provided ¡by ¡Livia ¡Polanyi ¡

Building ¡the ¡Model ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ 0.8 ¡ 0.9 ¡ 1 ¡ 0 ¡ 0.02 ¡ 0.04 ¡ 0.06 ¡ 0.08 ¡ 0.1 ¡ 0.12 ¡ 0.14 ¡ 0.16 ¡ 0.18 ¡ 0.2 ¡ Precision ¡ Recall ¡ sen'ment ¡

Features: ¡Pos'ng ¡

• Tweeter ¡pos'ng ¡trends ¡are ¡influenced ¡by ¡'me ¡

and ¡day ¡of ¡the ¡week ¡

• Does ¡it ¡influence ¡response ¡behavior? ¡
• Included ¡features: ¡

– Local ¡'me ¡of ¡pos'ng ¡ – Day ¡of ¡the ¡week ¡

Building ¡the ¡Model ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ 0.8 ¡ 0.9 ¡ 1 ¡ 0 ¡ 0.02 ¡ 0.04 ¡ 0.06 ¡ 0.08 ¡ 0.1 ¡ 0.12 ¡ 0.14 ¡ 0.16 ¡ 0.18 ¡ 0.2 ¡ Precision ¡ Recall ¡ +pos'ng ¡ sen'ment ¡

Features: ¡Content ¡

• 45 ¡simple ¡features ¡over ¡the ¡content ¡of ¡the ¡tweet ¡
• Manually ¡developed ¡by ¡observing ¡large ¡number ¡
• f ¡tweets ¡

¡

# ¡stop ¡words ¡ # ¡user ¡references ¡ # ¡hash ¡tags ¡ % ¡non ¡English* ¡ # ¡tokens ¡ … ¡ ¡

*English ¡lexicon ¡provided ¡by ¡Lucy ¡Vanderwend ¡

Building ¡the ¡Model ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ 0.8 ¡ 0.9 ¡ 1 ¡ 0 ¡ 0.02 ¡ 0.04 ¡ 0.06 ¡ 0.08 ¡ 0.1 ¡ 0.12 ¡ 0.14 ¡ 0.16 ¡ 0.18 ¡ 0.2 ¡ Precision ¡ Recall ¡ +content ¡ +pos'ng ¡ sen'ment ¡

Features: ¡Lexical ¡Ra'o ¡Buckets ¡

• Detect ¡lexical ¡items ¡indica'ng ¡towards ¡certain ¡

response ¡behavior ¡

– 14M ¡bigrams ¡ – 400K ¡hashtags ¡ – Collected ¡from ¡186M ¡tweets ¡

• Use ¡as ¡flags ¡on ¡each ¡tweet ¡that ¡has ¡them ¡
• Issues: ¡

– Scalability ¡of ¡learning ¡ – Sparsity ¡

Features: ¡Lexical ¡Ra'o ¡Buckets ¡

• Detect ¡lexical ¡items ¡indica'ng ¡towards ¡certain ¡

response ¡behavior ¡

– 14M ¡bigrams ¡ – 400K ¡hashtags ¡ – Collected ¡from ¡186M ¡tweets ¡

• Use ¡as ¡flags ¡on ¡each ¡tweet ¡that ¡has ¡them ¡
• Issues: ¡

– Scalability ¡of ¡learning ¡ – Sparsity ¡

Features: ¡Lexical ¡Ra'o ¡Buckets ¡

Collapsing ¡

• For ¡every ¡lexical ¡item ¡l: ¡
• Define ¡each ¡such ¡n ¡as ¡a ¡feature ¡
• Trigger ¡feature ¡n ¡for ¡each ¡sample ¡that ¡

contains ¡l

tweets ¡containing ¡l ¡that ¡ received ¡no ¡response ¡ tweets ¡containing ¡l ¡that ¡ received ¡a ¡response ¡

Features: ¡Lexical ¡Ra'o ¡Buckets ¡

Collapsing ¡

• For ¡every ¡lexical ¡item ¡l: ¡
• Define ¡each ¡such ¡n ¡as ¡a ¡feature ¡
• Trigger ¡feature ¡n ¡for ¡each ¡sample ¡that ¡

contains ¡l

tweets ¡containing ¡l ¡that ¡ received ¡no ¡response ¡ tweets ¡containing ¡l ¡that ¡ received ¡a ¡response ¡

Features: ¡Lexical ¡Ra'o ¡Buckets ¡

Collapsing ¡

• For ¡every ¡lexical ¡item ¡l: ¡
• Define ¡each ¡such ¡n ¡as ¡a ¡feature ¡
• Trigger ¡feature ¡n ¡for ¡each ¡sample ¡that ¡

contains ¡l

n

tweets ¡containing ¡l ¡that ¡ received ¡no ¡response ¡ tweets ¡containing ¡l ¡that ¡ received ¡a ¡response ¡

Features: ¡Lexical ¡Ra'o ¡Buckets ¡

Collapsing ¡

• For ¡every ¡lexical ¡item ¡l: ¡
• Define ¡each ¡such ¡n ¡as ¡a ¡feature ¡
• Trigger ¡feature ¡n ¡for ¡each ¡sample ¡that ¡

contains ¡l

tweets ¡containing ¡l ¡that ¡ received ¡no ¡response ¡ tweets ¡containing ¡l ¡that ¡ received ¡a ¡response ¡

n

Building ¡the ¡Model ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ 0.8 ¡ 0.9 ¡ 1 ¡ 0 ¡ 0.02 ¡ 0.04 ¡ 0.06 ¡ 0.08 ¡ 0.1 ¡ 0.12 ¡ 0.14 ¡ 0.16 ¡ 0.18 ¡ 0.2 ¡ Precision ¡ Recall ¡ +lexical ¡ +content ¡ +pos'ng ¡ sen'ment ¡

Features: ¡Social ¡

• What ¡are ¡the ¡characteris'cs ¡of ¡the ¡user’s ¡

network? ¡

• Simple ¡social ¡sta's'cs ¡

– Number ¡of ¡followers ¡ – Number ¡of ¡followings ¡

Building ¡the ¡Model ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ 0.8 ¡ 0.9 ¡ 1 ¡ 0 ¡ 0.02 ¡ 0.04 ¡ 0.06 ¡ 0.08 ¡ 0.1 ¡ 0.12 ¡ 0.14 ¡ 0.16 ¡ 0.18 ¡ 0.2 ¡ Precision ¡ Recall ¡ +socialNet ¡ +lexical ¡ +content ¡ +pos'ng ¡ sen'ment ¡

Features: ¡User ¡History ¡

• Aggregate ¡historical ¡

response ¡to ¡user ¡

• 3 ¡months ¡of ¡TwiGer ¡data ¡

– Over ¡2 ¡billion ¡tweets ¡

• Compute ¡sta's'cs ¡

– For ¡example: ¡ra'o ¡of ¡tweets ¡ retweeted ¡

Building ¡the ¡Model ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ 0.8 ¡ 0.9 ¡ 1 ¡ 0 ¡ 0.02 ¡ 0.04 ¡ 0.06 ¡ 0.08 ¡ 0.1 ¡ 0.12 ¡ 0.14 ¡ 0.16 ¡ 0.18 ¡ 0.2 ¡ Precision ¡ Recall ¡ +history ¡ +socialNet ¡ +lexical ¡ +content ¡ +pos'ng ¡ sen'ment ¡

No ¡Local ¡Content ¡Features ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ 0.8 ¡ 0.9 ¡ 1 ¡ 0 ¡ 0.05 ¡ 0.1 ¡ 0.15 ¡ 0.2 ¡ Precision ¡ Recall ¡

All ¡features ¡ No ¡local ¡content ¡features ¡

No ¡Aggregate ¡Features ¡

0 ¡ 0.1 ¡ 0.2 ¡ 0.3 ¡ 0.4 ¡ 0.5 ¡ 0.6 ¡ 0.7 ¡ 0.8 ¡ 0.9 ¡ 1 ¡ 0 ¡ 0.05 ¡ 0.1 ¡ 0.15 ¡ 0.2 ¡ Precision ¡ Recall ¡

All ¡features ¡ No ¡aggregate ¡features ¡

Examples ¡

Response ¡ Response ¡

Examples ¡

Response ¡ Response ¡

Examples ¡

Examples ¡

Response ¡ Response ¡

Examples ¡

Response ¡ Response ¡

Conclusions ¡

• Local ¡content ¡maGers ¡less ¡

– Or ¡harder ¡to ¡capture ¡

• Despite ¡chronological ¡trends ¡on ¡TwiGer, ¡

pos'ng ¡'me ¡maGers ¡less ¡

• Historical ¡behavior ¡is ¡a ¡good ¡indicator ¡
• TwiGer ¡is ¡largely ¡a ¡social ¡game ¡
• People ¡are ¡sensi've ¡to ¡certain ¡phrases ¡

Future ¡Work ¡

• New ¡features, ¡such ¡as: ¡

– Clique ¡specific ¡language ¡features ¡ – Denseness ¡of ¡user’s ¡social ¡network ¡ – Men'ons ¡of ¡named ¡en''es ¡ – Tweet ¡topic ¡

• Predic'ng ¡more: ¡

– Dis'nguishing ¡between ¡replies ¡and ¡retweets ¡ – Numerical ¡predic'ons ¡ – Predic'ng ¡length ¡of ¡conversa'on ¡thread ¡

Thank ¡you ¡for ¡listening ¡

@yoavartzi ¡

[fin] ¡