Time-aware API Popularity Prediction via Heterogeneous - - PowerPoint PPT Presentation
ICWS 2015 New York, USA June 27- July 2 2015 Time-aware API Popularity Prediction via Heterogeneous Features Yao Wan 1 , Liang Chen 1 , Jian Wu 1 and Qi Yu 2 1 Zhejiang University,
Yao ¡Wan1, ¡Liang ¡Chen1, ¡Jian ¡Wu1 and ¡Qi ¡Yu2
1Zhejiang ¡University, ¡Hangzhou, ¡China 2Rochester ¡Institute ¡of ¡Technology, ¡Rochester, ¡USA
{wanyao, ¡cliang, ¡wujian2000}@zju.edu.cn, ¡qi.yu@rit.edu June ¡28, ¡2015
New York, USA June 27- July 2 2015
4/25/16 2 Time-‑aware ¡API ¡popularity ¡prediction
¨ Introduction ¨ Dataset ¡Characteristics ¨ Popularity ¡Prediction ¡Models ¨ Experiments ¨ Conclusion ¡& ¡Future ¡Work
4/25/16 3 Time-‑aware ¡API ¡popularity ¡prediction
¨ The ¡spring ¡up ¡of ¡web ¡APIs ¡ ¡
¤ 10634 ¡APIs ¡and ¡6049 ¡mashups ¡in ¡ProgrammableWeb until ¡Nov. ¡2014
(www.programmableweb.com)
¨ The ¡advantages ¡of ¡web ¡APIs
¤ Make ¡web ¡programmable ¤ Increase ¡ecnomic ¡transactions ¡from ¡web ¡browsers ¡to ¡API-‑driven ¡interactions ¤ eBay, ¡APIs ¡drive ¡over ¡60% ¡of ¡its ¡sellers; ¡Twitter, ¡13 ¡billion ¡calls ¡per ¡day ¡through ¡
APIs
4/25/16 4 Time-‑aware ¡API ¡popularity ¡prediction
¨ Framework ¡of ¡API ¡market: more ¡and ¡more ¡Web ¡sites ¡
Manage r Developer Provider Profit User ¡
4/25/16 5 Time-‑aware ¡API ¡popularity ¡prediction
Manage r Developer Provider Profit User ¡
that ¡may ¡be ¡popular ¡in ¡the ¡future
ranking ¡to ¡APIs
latest ¡released ¡APIs ¡whose ¡ popularities ¡may ¡be ¡low
how ¡to ¡publish ¡their ¡APIs ¡effectively ¡ and ¡do ¡marketing
Motivation
4/25/16 6 Time-‑aware ¡API ¡popularity ¡prediction
¨ Heterogeneous ¡features ¨ The ¡growth ¡patterns ¡of ¡two ¡APIs
Popularity ¡of ¡Youtube ¡API Popularity ¡of ¡Twilio ¡API Note: ¡In ¡our ¡paper, ¡the ¡popularity ¡of ¡API ¡is ¡defined ¡as ¡the ¡number ¡of ¡mashups ¡that ¡are ¡ composed ¡of ¡this ¡API.
Challenges
4/25/16 7 Time-‑aware ¡API ¡popularity ¡prediction
¨ Introduction ¨ Dataset ¡Characteristics ¨ Popularity ¡Prediction ¡Models ¨ Experiments ¨ Conclusion ¡& ¡Future ¡Work
4/25/16 8 Time-‑aware ¡API ¡popularity ¡prediction
¨ An ¡overview ¡of ¡ProgrammableWeb ¡data
Number ¡of ¡APIs 10,634 Number ¡of ¡mashups 6,049 Number ¡of ¡users 52,512
¨ Top-‑20 ¡API ¡categories
4/25/16 9 Time-‑aware ¡API ¡popularity ¡prediction
¨ Statistical ¡analysis
popularity
integrity ¡is ¡more ¡prudent ¡to ¡release ¡the ¡API, ¡the ¡API ¡ may ¡be ¡of ¡higher ¡quality
popularity
Rank ¡of ¡provider ¡is ¡obtained ¡from ¡Alexa.com API ¡information ¡integrity ¡means ¡the ¡degree ¡of ¡ details ¡providers ¡describe ¡the ¡API
4/25/16 10 Time-‑aware ¡API ¡popularity ¡prediction
¨ Introduction ¨ Dataset ¡Characteristics ¨ Popularity ¡Prediction ¡Models ¨ Experiments ¨ Conclusion ¡& ¡Future ¡Work
4/25/16 11 Time-‑aware ¡API ¡popularity ¡prediction
¨ Evaluation ¡metrics ¨ Szabo-‑Huberman ¡(S-‑H) ¡model
¤ Szabo ¡and ¡Huberman ¡found ¡a ¡strong ¡linear ¡correlation ¡
between ¡the ¡early ¡and ¡future ¡popularity
4/25/16 12 Time-‑aware ¡API ¡popularity ¡prediction
¨ Linear ¡regression ¡(LR) ¡model
¤ Feature ¡vector ¡of ¡API ¤ Optimization ¡problem ¤ Let ¡ ¤ Can ¡be ¡solved ¡by ¡ordinary ¡linear ¡squares
4/25/16 13 Time-‑aware ¡API ¡popularity ¡prediction
¨ Linear ¡regression ¡with ¡heterogeneous ¡features
¤ Heterogeneous ¡features
n Time ¡features n Numerical ¡features n Categorical ¡features n Textual ¡features
¨ Optimization ¡problem
where ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡the ¡feature ¡vector ¡and ¡ ¡ ¡ ¡ ¡is ¡the ¡tunning ¡parameter, is ¡the ¡L2 ¡penality ¡item.
4/25/16 14 Time-‑aware ¡API ¡popularity ¡prediction
¨ Introduction ¨ Dataset ¡Characteristics ¨ Popularity ¡Prediction ¡Models ¨ Experiments ¨ Conclusion ¡& ¡Future ¡Work
4/25/16 15 Time-‑aware ¡API ¡popularity ¡prediction
¨ Dataset ¡extraction
¤ The ¡target ¡date ¡tt varies ¡from ¡24 ¡months ¡to ¡48 ¡months. ¤ We ¡extract ¡the ¡APIs ¡whose ¡releasing ¡date ¡is ¡between ¡2005 ¡
and ¡Nov. ¡2010
¤ Discard ¡those ¡APIs ¡whose ¡popularity ¡are ¡alway ¡zero ¤ We ¡get ¡613 ¡APIs
¨ Experimental ¡datasets
¤ Full ¡dataset ¤ Popular ¡dataset: ¡APIs ¡whose ¡popularities ¡are ¡greater ¡than ¡5 ¤ Junk ¡dataset: ¡APIs ¡whose ¡popularities ¡are ¡smaller ¡than ¡5
Setup
4/25/16 16 Time-‑aware ¡API ¡popularity ¡prediction
¨ Feature ¡extraction
¤ Numerical ¡feagure
n Normalization
¤ Category ¡feature
n Encoded ¡into ¡binary ¡code
¤ Textual ¡feature ¡extraction
n Case-‑folding ¡and ¡tokenization: ¡tokenized ¡by ¡white ¡space n Pruning: ¡filter ¡stopwords ¡(e.g. is, ¡very, ¡should), ¡keep ¡
adjectives ¡using ¡a ¡part-‑of-‑speech ¡tagger
n Stemming: ¡strip ¡word ¡to ¡obtain ¡the ¡stem ¡word n Spell ¡correcting
¨ Training ¡and ¡testing
¤ KFold ¡cross ¡validation
¤ 50% ¡traing ¡+ ¡25% ¡crossvalidation ¡+25% ¡testing
4/25/16 17 Time-‑aware ¡API ¡popularity ¡prediction
¨ Performance ¡evaluation ¡on ¡full ¡dataset
4/25/16 18 Time-‑aware ¡API ¡popularity ¡prediction
¨ Performance ¡evaluation ¡on ¡popular ¡dataset
model, ¡especially ¡when ¡the ¡reference ¡date ¡is ¡small
mRSE ¡decreases ¡for ¡all ¡models
advantages ¡of ¡our ¡model ¡shrink, ¡S-‑H ¡and ¡LR ¡model ¡is ¡enough
4/25/16 19 Time-‑aware ¡API ¡popularity ¡prediction
¨ Performance ¡evaluation ¡on ¡junk ¡dataset
that ¡not ¡changes ¡frequently
4/25/16 20 Time-‑aware ¡API ¡popularity ¡prediction
¨ Impact ¡of ¡lambda
4/25/16 21 Time-‑aware ¡API ¡popularity ¡prediction
¨ Introduction ¨ Dataset ¡Characteristics ¨ Popularity ¡Prediction ¡Models ¨ Experiments ¨ Conclusion ¡& ¡Future ¡Work
4/25/16 22 Time-‑aware ¡API ¡popularity ¡prediction
¨ Conclusion
¤ Crawl ¡the ¡APIs ¡and ¡mashups ¡until ¡Nov. ¡2014 ¡from ¡
ProgrammableWeb.
¤ Analyze ¡some ¡factors ¡that ¡may ¡have ¡an ¡effect ¡on ¡the ¡
popularities ¡of ¡APIs
¤ Propose ¡an ¡approach ¡for ¡predicting ¡future ¡popularities ¡
¨ Future ¡work
¤ Collect ¡more ¡time ¡series ¡records ¡of ¡APIs ¡and ¡find ¡more ¡
features ¡that ¡may ¡effect ¡the ¡popularity ¡of ¡APIs
¤ Discove ¡the ¡popularity ¡trends ¡of ¡APIs ¤ Infer ¡the ¡impacts ¡of ¡other ¡data ¡sources ¡on ¡APIs, ¡such ¡as ¡
social ¡media