Dtection de communauts dans des rseaux scientifiques partir de - - PowerPoint PPT Presentation

1 ¡

Détection de communautés dans des réseaux scientifiques à partir de données relationnelles et textuelles

17 ¡octobre ¡2012 ¡– ¡MARAMI ¡

David ¡COMBE, ¡Chris=ne ¡LARGERON, ¡ ¡ Elod ¡EGYED-­‑ZSIGMOND, ¡Mathias ¡GÉRY ¡

{david.combe, ¡chris=ne.largeron, ¡mathias.gery}@univ-­‑st-­‑e=enne.fr ¡(Lab. ¡H. ¡Curien, ¡St-­‑E=enne, ¡France) ¡ elod.egyed-­‑zsigmond@insa-­‑lyon.fr ¡(Liris, ¡Lyon, ¡France) ¡

MARAMI’12 ¡

Introduc=on ¡

• We ¡ evaluate ¡ the ¡ performance ¡ of ¡ three ¡ community ¡

detec=on ¡methods ¡combining ¡rela=ons ¡and ¡text. ¡

• Combina=on ¡methods ¡are ¡rarely ¡evaluated ¡over ¡real ¡

life ¡ clusters. ¡ We ¡ built ¡ a ¡ dataset ¡ with ¡ ground ¡ truth ¡ par==ons. ¡ ¡

2 ¡

Outline

MARAMI’12 ¡ 3 ¡

Context

• Context ¡
• A\ributed ¡graph ¡
• State ¡of ¡the ¡art ¡
• Clustering ¡scenarios ¡and ¡underlying ¡hypothesis ¡
• Experiment ¡
• Results ¡
• Conclusion ¡

MARAMI’12 ¡

Context ¡

• Social ¡ networks ¡ can ¡ be ¡ represented ¡ by ¡ a ¡ graph ¡

where ¡ver=ces ¡are ¡actors ¡and ¡edges ¡are ¡rela=ons ¡ between ¡them. ¡

• Actors ¡o^en ¡have ¡available ¡a\ributes ¡describing ¡
• them. ¡
• Example: ¡Bibliographic ¡networks ¡

– Ver=ces ¡are ¡authors ¡ – Edges ¡are ¡par=cipa=ons ¡into ¡a ¡common ¡conference ¡ – A\ributes ¡are ¡publica=ons ¡of ¡authors ¡

4 ¡

Context

MARAMI’12 ¡ 5 ¡

Attributed graph

• Context ¡
• A\ributed ¡graph ¡
• State ¡of ¡the ¡art ¡
• Clustering ¡scenarios ¡and ¡underlying ¡hypothesis ¡
• Experiment ¡
• Results ¡
• Conclusion ¡

MARAMI’12 ¡

A\ributed ¡graph ¡

• ¡ ¡

6 ¡

Attributed graph

MARAMI’12 ¡

A\ributed ¡graph ¡clustering ¡problem ¡

• ¡ ¡

7 ¡

Attributed graph

MARAMI’12 ¡

Scien=fic ¡locks ¡

• Learning/use ¡ of ¡ the ¡ prevalence ¡ of ¡ text ¡ over ¡ rela=ons ¡

and ¡vice ¡versa ¡

– What ¡to ¡do ¡if ¡each ¡value ¡of ¡vectors ¡are ¡doubled ¡? ¡ – What ¡to ¡do ¡if ¡each ¡edge ¡see ¡its ¡weight ¡doubled ¡? ¡ ¡ ¡ ¡ ¡ ¡Networks ¡and ¡vectors ¡from ¡an ¡absolute ¡point ¡of ¡view ¡

• Being ¡able ¡to ¡lean ¡on ¡one ¡aspect ¡of ¡data ¡or ¡the ¡other ¡

in ¡the ¡same ¡graph ¡depending ¡on ¡the ¡context ¡(in ¡case ¡

• f ¡lack ¡of ¡informa=on…) ¡
• Giving ¡a ¡sense ¡to ¡data ¡processes ¡
• Mul=-­‑scale ¡ communi=es: ¡ some ¡ communi=es ¡ can ¡ be ¡

absorbed ¡by ¡bigger ¡ones ¡even ¡if ¡they ¡are ¡well ¡defined. ¡ Big ¡communi=es ¡can ¡be ¡split ¡unexpectedly ¡too. ¡

8 ¡

Attributed graph

MARAMI’12 ¡

Scien=fic ¡locks ¡(2) ¡

• Being ¡sure ¡to ¡provide ¡a ¡result ¡at ¡least ¡as ¡good ¡

as ¡the ¡best ¡aspect ¡of ¡data ¡is ¡not ¡trivial. ¡

• Defini=on ¡of ¡what ¡a ¡good ¡par==on ¡is ¡is ¡hard ¡in ¡

unsupervized ¡clustering. ¡

9 ¡

Attributed graph

MARAMI’12 ¡

Prac=cal ¡locks ¡

• Distances ¡over ¡a\ributes ¡can ¡be ¡long ¡to ¡

compute ¡

– Discre=za=on, ¡dimensionality ¡reduc=on ¡can ¡help ¡

• Difficulty ¡to ¡tackle ¡large ¡amounts ¡of ¡a\ributes ¡

(curse ¡of ¡dimensionality). ¡

10 ¡

Attributed graph

MARAMI’12 ¡ 11 ¡

State of the art

• Context ¡
• A\ributed ¡graph ¡
• State ¡of ¡the ¡art ¡
• Clustering ¡scenarios ¡and ¡underlying ¡hypothesis ¡
• Experiment ¡
• Results ¡
• Conclusion ¡

MARAMI’12 ¡

Type ¡of ¡combina=on ¡

• Precocious ¡combina=on ¡

– Combina=on ¡of ¡distances ¡ – Clustering ¡over ¡an ¡hybrid ¡representa=on ¡and/or ¡ distance ¡

• Mid-­‑level ¡combina=on ¡

– Combinaison ¡is ¡integrated ¡in ¡the ¡algorithm ¡

• Late ¡combina=on ¡

– Different ¡par==ons, ¡some ¡from ¡rela=ons, ¡some ¡from ¡ a\ributes, ¡are ¡merged ¡into ¡a ¡single ¡par==on. ¡

12 ¡

State of the art

MARAMI’12 ¡

Precocious ¡combina=on ¡

• Elabora=on ¡of ¡a ¡new ¡distance ¡based ¡both ¡on ¡

rela=ons ¡and ¡a\ributes ¡

– Crea=on ¡of ¡edges ¡based ¡on ¡a\ributes ¡[Zhou ¡2009] ¡ ¡ – Valua=on ¡of ¡edges ¡based ¡on ¡a\ributes ¡[Combe ¡ 2012] ¡ ¡  ¡Taking ¡the ¡context ¡into ¡account ¡is ¡difficult ¡at ¡this ¡ =me. ¡

13 ¡

State of the art

MARAMI’12 ¡

Summariza=on ¡as ¡a ¡graph ¡

14 ¡

• Crea=on ¡of ¡new ¡ver=ces ¡and ¡edges ¡[Zhou ¡

2009]. ¡

State of the art

MARAMI’12 ¡

Mid-­‑level ¡combina=on ¡

– NetScan ¡algorithm ¡[Ester ¡2006]: ¡ Extended ¡K-­‑means ¡with ¡an ¡internal ¡connexity ¡ constraint ¡

• Number ¡of ¡classes ¡needs ¡to ¡be ¡known ¡

– JointClust ¡algorithm ¡[Moser ¡2007]: ¡ Extension ¡of ¡Netscan ¡where ¡the ¡number ¡of ¡ classes ¡is ¡not ¡required ¡ – Extension ¡of ¡the ¡modularity ¡in ¡order ¡to ¡take ¡also ¡ ¡ into ¡account ¡the ¡similarity ¡between ¡the ¡a\ributes ¡

• f ¡two ¡ver=ces ¡[Dang ¡2011] ¡

15 ¡

State of the art

MARAMI’12 ¡

Late ¡combinaison: ¡ Clustering ¡combina=on ¡

16 ¡

[Ghaemi ¡2009] ¡ Generate ¡par>>ons ¡from: ¡

• ­‑

Graph ¡clustering ¡algorithms ¡

• ­‑

Non ¡supervised ¡clustering ¡ algorithm ¡adapted ¡for ¡vectors. ¡ Par==ons ¡can ¡be ¡generated ¡using: ¡

• ­‑

Different ¡algorithms ¡

• ­‑

Different ¡subsets ¡of ¡objects/ features ¡

• ­‑

Projec=ons ¡in ¡subspaces ¡

• ­‑

Randomized ¡runs ¡

• ­‑

Resampling ¡ Consensus ¡over ¡par==ons ¡can ¡ be ¡achieved ¡through ¡

• ­‑

Vo=ng ¡

• ­‑

Mutual ¡informa=on ¡

• ­‑

Hypergraph ¡par==onning ¡

• ­‑

… ¡ State of the art

MARAMI’12 ¡ 17 ¡

Clustering scenarios and underlying hypothesis

• Context ¡
• A\ributed ¡graph ¡
• State ¡of ¡the ¡art ¡
• Clustering ¡scenarios ¡and ¡underlying ¡

hypothesis ¡

• Experiment ¡
• Results ¡
• Conclusion ¡

MARAMI’12 ¡

Clustering ¡methods ¡

Proposi=on ¡ of ¡ 3 ¡ clustering ¡ methods ¡ which ¡exploit ¡text ¡and ¡rela=ons: ¡

• Combina=on ¡ method ¡ TS1: ¡ Structure-­‑based ¡

clustering ¡on ¡a\ribute ¡weighted ¡graph ¡

• Combina=on ¡ method ¡ TS2: ¡ A\ribute-­‑based ¡

clustering ¡on ¡structural ¡distance ¡

• Combina=on ¡method ¡TS3: ¡Linear ¡combina=on ¡

18 ¡

Clustering scenarios and underlying hypothesis

MARAMI’12 ¡

Combina>on ¡method ¡TS1: ¡Structure-­‑based ¡ clustering ¡on ¡aDribute ¡weighted ¡graph ¡

Graph ¡valued ¡ with ¡textual ¡ distance ¡ Weighted-­‑graphs ¡ clustering ¡algorithm ¡ ¡

Informa=on ¡ network ¡

Cosine distance matrix computed

• n the tf idf

textual vectors

19 ¡

Clustering scenarios and underlying hypothesis

MARAMI’12 ¡

Combina>on ¡method ¡TS2: ¡ADribute-­‑based ¡ clustering ¡on ¡structural ¡distance ¡

Graph ¡valued ¡with ¡ textual ¡distance ¡

Shortest path distance matrix Textual distance (cosine) matrix

Informa=on ¡ network ¡

Hierarchical agglomerative clustering (average linkage)

20 ¡

Clustering scenarios and underlying hypothesis

MARAMI’12 ¡

Combina>on ¡method ¡TS3: ¡ ¡ Linear ¡combina>on ¡

Vertices distance matrix

Graph ¡valued ¡with ¡ textual ¡distance ¡

Textual distance (cosine) matrix

Shortest ¡path ¡ processing ¡

Combined distances matrix

α ¡ 1-­‑α ¡

α ¡

Hierarchical agglomerative clustering (average linkage)

21 ¡

Clustering scenarios and underlying hypothesis

MARAMI’12 ¡ 22 ¡

Experiment

• Context ¡
• A\ributed ¡graph ¡
• State ¡of ¡the ¡art ¡
• Clustering ¡scenarios ¡and ¡underlying ¡hypothesis ¡
• Experiment ¡
• Results ¡
• Conclusion ¡

MARAMI’12 ¡

Elabora=on ¡of ¡a ¡benchmark ¡dataset ¡with ¡ground ¡truth ¡ suitable ¡for ¡a\ributed ¡graph ¡clustering ¡evalua=on ¡ ¡

• ¡ ¡

23 ¡

A ¡ B ¡ C ¡ D ¡

Bioinforma=cs ¡ Robo=cs ¡ Constraints ¡ Experiment

MARAMI’12 ¡

Clustering ¡scenarios ¡and ¡ ¡ underlying ¡hypothesis ¡

• Textual ¡clustering ¡(T) ¡

– to ¡ retrieve ¡ the ¡ research ¡ areas: ¡ Robo=cs, ¡ Bioinforma=cs, ¡Constraint ¡Programming ¡ ¡ ¡PT ¡ ¡= ¡{A,B ¡∪ ¡C, ¡D} ¡ ¡

• Structural ¡informa=on ¡(S) ¡

– to ¡ retrieve ¡ the ¡ 2 ¡ groups ¡ of ¡ authors ¡ par=cipa=ng ¡ to ¡ each ¡conference ¡ ¡ ¡ ¡PS ¡= ¡{A ¡∪ ¡B,C ¡∪ ¡D} ¡(conferences) ¡

• Textual ¡and ¡structural ¡informa=on ¡(TS) ¡

– to ¡retrieve ¡the ¡four ¡sessions ¡ ¡ ¡ ¡PTS ¡= ¡{A,B,C,D} ¡

24 ¡

A ¡ B ¡ C ¡ D ¡

Bioinforma=cs ¡ Robo=cs ¡ Constraints ¡ Experiment

MARAMI’12 ¡

Comparison ¡with ¡text/rela=ons ¡based ¡ methods ¡

TS1, ¡TS2 ¡and ¡TS3 ¡are ¡compared ¡with: ¡

• Method ¡T, ¡regarding ¡text ¡only ¡

Hierarchical ¡agglomera=ve ¡clustering ¡with ¡ average ¡linkage ¡over ¡cosine ¡distance, ¡where ¡3 ¡ classes ¡are ¡requested. ¡ ¡ Ground ¡truth: ¡3 ¡research ¡areas ¡(PT). ¡

• Method ¡S, ¡regarding ¡rela=ons ¡only ¡

Louvain ¡method ¡based ¡on ¡modularity ¡[Blondel ¡et ¡

• al. ¡2009]. ¡ ¡

Ground ¡truth: ¡2 ¡conferences ¡(PS). ¡

25 ¡

Experiment

MARAMI’12 ¡

Evalua=on ¡of ¡the ¡methods ¡and ¡ baselines ¡

26 ¡

A ¡ B ¡ C ¡ D ¡

Bioinforma=cs ¡ Robo=cs ¡ Constraints ¡ Par>>on ¡PT ¡ Par>>on ¡PS ¡ Par>>on ¡PTS ¡ Method ¡T ¡ X ¡ X ¡ Method ¡S ¡ X ¡ X ¡ Method ¡TS ¡ T: ¡textual ¡ S: ¡structural ¡ TS: ¡combined ¡ Experiment

MARAMI’12 ¡

Evalua=on ¡of ¡produced ¡par==ons ¡

• Evalua=on ¡by ¡the ¡predic=ve ¡accuracy ¡measure: ¡ ¡

well ¡ classified ¡ rate ¡ computed ¡ on ¡ the ¡ confusion ¡ matrix ¡ built ¡ from ¡ the ¡ ground ¡ truth ¡ and ¡ the ¡ clusters ¡ produced ¡ through ¡ the ¡ unsupervised ¡ classifica=on. ¡

• We ¡ retain ¡ the ¡ injec=on ¡ of ¡ sessions ¡ to ¡ clusters ¡ maximizing ¡ the ¡

number ¡of ¡well ¡classified ¡objects ¡

– 11+21+2+34 ¡= ¡68/99 ¡ ¡accuracy ¡of ¡69% ¡

Example ¡ (from ¡TS3) ¡ Cluster ¡1 ¡ Cluster ¡2 ¡ Cluster ¡3 ¡ Cluster ¡4 ¡ Session ¡A ¡ 11 ¡ 13 ¡ Session ¡B ¡ 2 ¡ 14 ¡ Session ¡C ¡ 4 ¡ 34 ¡ Session ¡D ¡ 21 ¡

27 ¡

4 ¡ ¡C ¡ 2 ¡ ¡D ¡ 1 ¡ ¡A ¡ 3 ¡ ¡B ¡

Experiment

MARAMI’12 ¡ 28 ¡

Results

• Context ¡
• A\ributed ¡graph ¡
• State ¡of ¡the ¡art ¡
• Clustering ¡scenarios ¡and ¡underlying ¡hypothesis ¡
• Experiment ¡
• Results ¡
• Conclusion ¡

MARAMI’12 ¡

Results ¡ ¡ (in ¡% ¡of ¡well ¡classified ¡authors) ¡

Model ¡ PT ¡ PS ¡ PTS ¡

T ¡ 87% ¡

• ­‑ ¡

69% ¡ S ¡

• ­‑ ¡

100% ¡ 63% ¡ TS1 ¡

• ­‑ ¡
• ­‑ ¡

76% ¡ TS2 ¡

• ­‑ ¡
• ­‑ ¡

73% ¡ TS3 ¡

• ­‑ ¡
• ­‑ ¡

47-­‑69% ¡

Accuracy ¡considering ¡

29 ¡

Results

MARAMI’12 ¡ 30 ¡

• Context ¡
• A\ributed ¡graph ¡
• State ¡of ¡the ¡art ¡
• Clustering ¡scenarios ¡and ¡underlying ¡hypothesis ¡
• Experiment ¡
• Results ¡
• Conclusion ¡

Conclusion

MARAMI’12 ¡

Conclusion ¡

• We ¡

evaluated ¡ the ¡ performance ¡

• f ¡

three ¡ clustering ¡ methods ¡ (TS1, ¡ TS2, ¡ TS3) ¡ combining ¡ rela=ons ¡and ¡text. ¡

• We ¡ evaluated ¡ the ¡ produced ¡ clusters ¡ over ¡

per=nent ¡ground ¡truth ¡par==ons. ¡

• Combina=on ¡needs ¡can ¡lay ¡upon ¡different ¡aspects ¡
• f ¡data ¡/ ¡different ¡interpreta=ons. ¡
• Need ¡to ¡take ¡account ¡of ¡seman=c ¡meaning ¡of ¡the ¡

combina=on ¡ (connexity ¡ of ¡ classes ¡ can ¡ be ¡ important ¡or ¡not...). ¡

31 ¡

Conclusion

MARAMI’12 ¡

Perspec=ves ¡

• Tackle ¡larger ¡datasets. ¡
• Provide ¡an ¡intelligent ¡combina=on ¡gathering ¡

the ¡best ¡behaviors ¡in ¡different ¡contexts. ¡

• Evaluate ¡the ¡results ¡using ¡sophis=cated ¡

criterions ¡more ¡adapted ¡to ¡unsupervised ¡ classifica=on ¡over ¡large ¡datasets. ¡

• Associate ¡a ¡seman=c ¡meaning ¡to ¡steps ¡in ¡the ¡

combina=on ¡procedure ¡(linkage ¡criterias, ¡ distances, ¡flows). ¡

32 ¡

Conclusion

MARAMI’12 ¡

Trends ¡

• New ¡ways ¡of ¡evalua=on ¡are ¡even ¡more ¡useful ¡

for ¡complex ¡networks ¡

– Evalua=ng ¡par==ons ¡from ¡every ¡object ¡

• Homogeneity ¡and ¡Completeness ¡[Rosenberg ¡2007] ¡
• Rand ¡Index-­‑like ¡measures ¡corrected ¡for ¡chance ¡

33 ¡

Conclusion

MARAMI’12 ¡

References ¡

• [Blondel ¡2008] ¡Blondel ¡V, ¡Guillaume ¡J-­‑L, ¡Lambio\e ¡R, ¡Lefebvre ¡
• E. ¡Fast ¡unfolding ¡of ¡communi=es ¡in ¡large ¡networks. ¡Journal ¡of ¡

Sta<s<cal ¡Mechanics: ¡Theory ¡and ¡Experiment. ¡2008. ¡

• [Salton ¡1988] ¡Salton ¡G, ¡Buckley ¡C. ¡Term-­‑weigh=ng ¡approaches ¡

in ¡automa=c ¡text ¡retrieval. ¡Informa<on ¡processing ¡& ¡

• management. ¡1988;24(5):513–523. ¡
• [Zhou ¡2009] ¡Zhou ¡Y, ¡Cheng ¡H, ¡Yu ¡JX. ¡Graph ¡clustering ¡based ¡on ¡

structural/a\ribute ¡similari=es. ¡Proceedings ¡of ¡the ¡VLDB ¡

• Endowment. ¡2009;2(1):718–729. ¡

34 ¡

Conclusion

MARAMI’12 ¡

References ¡(2) ¡

• [Rosenberg 2007] Rosenberg ¡A, ¡Hirschberg ¡J. ¡V-­‑measure: ¡A ¡

condi=onal ¡entropy-­‑based ¡external ¡cluster ¡evalua=on ¡

• measure. ¡Joint ¡Conference ¡on ¡Empirical ¡Methods ¡in ¡Natural ¡

Language ¡Processing ¡and ¡Computa<onal ¡Natural ¡Language ¡

• Learning. ¡2007;1(June):410–420. ¡ ¡
• [Moser 2007] Moser ¡F, ¡Ge ¡R, ¡Ester ¡M. ¡Joint ¡Cluster ¡Analysis ¡
• f ¡A\ribute ¡and ¡Rela=onship ¡Data ¡Without ¡A-­‑Priori ¡

Specifica=on ¡of ¡the ¡Number ¡of ¡Clusters. ¡In: ¡Proceedings ¡of ¡the ¡ 13th ¡ACM ¡SIGKDD ¡conference. ¡ ¡

• [Ghaemi ¡2009] ¡Ghaemi ¡R, ¡Sulaiman ¡M, ¡Ibrahim ¡H, ¡Mustapha ¡
• N. ¡A ¡survey: ¡clustering ¡ensembles ¡techniques. ¡Engineering ¡

and ¡Technology ¡(2009). ¡2009;38(February):636–645. ¡

35 ¡

Conclusion

MARAMI’12 ¡

References ¡(3) ¡

• [Dang ¡2011] ¡Dang ¡TA, ¡Viennet ¡E. ¡Community ¡Detec=on ¡

based ¡on ¡Structural ¡and ¡A\ribute ¡Similari=es. ¡In: ¡ Journée ¡Fouille ¡de ¡Grands ¡Graphes.; ¡2011. ¡

• [Vinh ¡2010] ¡Vinh ¡NX, ¡Epps ¡J, ¡Bailey ¡J. ¡Informa=on ¡

theore=c ¡measures ¡for ¡clusterings ¡comparison: ¡ Variants, ¡proper=es, ¡normaliza=on ¡and ¡correc=on ¡for ¡

• chance. ¡The ¡Journal ¡of ¡Machine ¡Learning ¡Research. ¡

2010:2837–2854. ¡

• [Combe ¡2012] ¡Combe ¡D, ¡Largeron ¡C, ¡Egyed-­‑Zsigmond ¡

E, ¡Géry ¡M. ¡Geyng ¡clusters ¡from ¡structure ¡data ¡and ¡ a\ribute ¡data. ¡In: ¡ASONAM ¡2012.; ¡2012. ¡

36 ¡

Conclusion

MARAMI’12 ¡

Thank ¡you ¡

37 ¡

David ¡COMBE, ¡Chris=ne ¡LARGERON, ¡Mathias ¡GÉRY ¡

{david.combe, ¡chris=ne.largeron, ¡mathias.gery}@univ-­‑st-­‑e=enne.fr ¡ ¡ (Lab. ¡H. ¡Curien, ¡Université ¡de ¡St-­‑E=enne, ¡France) ¡

Elod ¡EGYED-­‑ZSIGMOND ¡

elod.egyed-­‑zsigmond@insa-­‑lyon.fr ¡(Liris, ¡Lyon, ¡France) ¡

August ¡26th, ¡2012 ¡

Conclusion