Community Discovery in Dynamic Networks via non-nega6ve - - PowerPoint PPT Presentation

Community ¡Discovery ¡in ¡Dynamic ¡ Networks ¡via ¡non-­‑nega6ve ¡matrix ¡ factoriza6on

¡Niloufar ¡Afsariardchi ¡

Supervisor: ¡Mark ¡Coates ¡ McGill ¡University ¡ March ¡15,2011 ¡

1 ¡

§ Introduc6on ¡ § Related ¡Work ¡ § Goals ¡ § Non-­‑nega6ve ¡matrix ¡factoriza6on ¡ § Automa6c ¡relevance ¡determina6on ¡ § Dynamic ¡model ¡ § Experimental ¡results ¡ § Summary ¡and ¡future ¡work ¡

Outline ¡

2 ¡

¡ ¡ ¡

Why ¡Dynamic ¡Clustering? ¡ ¡

§ Recommenda6on ¡Systems ¡ § Detec6ng ¡anomalies ¡ § Studying ¡dynamic ¡features ¡

• f ¡social ¡and ¡biological ¡ ¡

networks ¡

¡

Communi6es ¡Everywhere… ¡

3 ¡

Social ¡Networks: ¡Facebook ¡

§ SoQ ¡clustering ¡ § Addressing ¡the ¡problem ¡of ¡unknown ¡number ¡of ¡ clusters ¡over ¡6me ¡ § Handling ¡changing ¡number ¡of ¡clusters ¡over ¡6me ¡ § Temporal ¡smoothness ¡

Goals ¡

4 ¡

Learning ¡the ¡parts ¡of ¡objects ¡by ¡non-­‑ nega6ve ¡matrix ¡factoriza6on ¡[Lee1999] ¡

5 ¡

¡

§ V: ¡image ¡database ¡(nxm, ¡m ¡facial ¡image ¡each ¡has ¡n ¡pixel ¡) ¡ § W: ¡Basis ¡images ¡(nxK) ¡ § H: ¡ ¡Encoding ¡(Kxm) ¡

∑

=

= ≈

K k kj ik ij ij

H W WH V

1

) (

* ¡Illustra6on ¡from ¡Daniel ¡D. ¡Lee ¡and ¡H. ¡Sebas6an ¡Seung ¡(2001). ¡"Algorithms ¡for ¡Non-­‑nega6ve ¡Matrix ¡Factoriza6on". ¡ Advances ¡in ¡Neural ¡Informa6on ¡Processing ¡Systems ¡13: ¡Proceedings ¡of ¡the ¡2000 ¡Conference. ¡MIT ¡Press. ¡pp. ¡556–562 ¡

NMF ¡for ¡Clustering ¡in ¡Network ¡ ¡

p(i,j) ¡≈ ¡ ¡p(i|c1)p(j|c1) ¡ ¡+p(i|c2)p(j|c2) ¡

V ¡ W ¡ H ¡

≈ ¡

p(i,j) ¡ c2 ¡ c1 ¡

¡

§ V ¡ ¡: ¡Matrix ¡of ¡observa6on ¡ § ¡ ¡ ¡ ¡ ¡: ¡Probability ¡of ¡par6cipa6on ¡of ¡node ¡i ¡in ¡k-­‑th ¡community ¡ § ¡ ¡ ¡ ¡ ¡: ¡Probability ¡of ¡individual ¡i ¡to ¡be ¡airacted ¡by ¡k-­‑th ¡community ¡

¡ ¡ ¡ ¡

ki

h

ik

w

∑

=

= ≈

K k kj ik ij ij

H W WH V

1

) (

A ¡ B ¡

§ MAP ¡es6ma6on ¡ § Maximizing ¡ ¡likelihood ¡ ¡func6on ¡with ¡ ¡ ¡Poisson ¡distribu6on ¡ ¡= ¡ ¡minimizing ¡KL-­‑divergence ¡

¡

¡ ¡ ¡coordinate ¡decent ¡

¡

) | , ( max ,

* *

V H W p H W =

NMF ¡inference ¡ ¡

7 ¡

ij

V

ij

WH ] [

Poiss ¡

⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ← WH V W W H H

T T .

⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ←

T T

H WH V H W W .

ü So< ¡clustering ¡ § Unknown ¡number ¡of ¡clusters ¡over ¡6me ¡ § Changing ¡number ¡of ¡clusters ¡over ¡6me ¡ § Temporal ¡smoothness ¡ ¡

Goals ¡

8 ¡

§ Consider ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡s ¡as ¡prior ¡of ¡each ¡community ¡ and ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡as ¡hyperparameters ¡ ¡ ¡ § Bayesian ¡NMF ¡Model ¡ § Log ¡priors ¡can ¡be ¡wriien ¡as: ¡

Automa6c ¡relevance ¡determina6on[Tan2009] ¡

9 ¡

k

β

b a,

Automa6c ¡relevance ¡determina6on[Tan2009] ¡

10 ¡

¡ § We ¡can ¡rewrite ¡the ¡likelihood ¡func6on, ¡ § The ¡objec6ve ¡func6on ¡we ¡want ¡to ¡minimize, ¡ ¡

ü So< ¡clustering ¡ ü Unknown ¡number ¡of ¡clusters ¡over ¡Gme ¡ ü Changing ¡number ¡of ¡clusters ¡over ¡Gme ¡ § Temporal ¡smoothness ¡ ¡

Goals ¡

11 ¡

Dynamic ¡Model ¡

12 ¡

W H

V

...

t t

W H

t

V

1 1 + + t t

W H

1 + t

V

Dir Poiss Poiss Poiss

b

a

t

β

Half Normal

b

a

1 + t

β

Half Normal

b

a

Half Normal

β

§ Parameter ¡inference ¡using ¡mul6plica6ve ¡update ¡rules ¡ § Point ¡es6ma6on ¡to ¡find ¡the ¡maximum ¡of ¡likelihood ¡ func6on ¡ § Replacing ¡ ¡ ¡ ¡ ¡ ¡. ¡We ¡have, ¡ ¡

¡ ¡

Parameter ¡inference ¡

13 ¡

) W | P(W log ) W | P(W log ) V | , H , P(W log ) H , L(W log

1

• t

t 1

• t

t t t t t t t

+ + = β

α α µ − = 1

Experiment ¡1 ¡

14 ¡

¡ § 128 ¡nodes ¡ § 4 ¡clusters ¡of ¡32 ¡nodes ¡ § Average ¡degree ¡=16 ¡ § Zout= ¡2,3,4 ¡ § Alpha=0.9 ¡

¡

¡ § Dynamic ¡part: ¡3 ¡nodes ¡from ¡each ¡cluster ¡leave ¡their ¡original ¡cluster ¡ and ¡join ¡other ¡cluster ¡

Experiment ¡2 ¡

15 ¡

0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ Detected ¡number ¡of ¡clusters ¡vs. ¡real ¡ number ¡of ¡clusters ¡ ¡ Detected ¡ number ¡of ¡ clusters ¡ ¡

¡ § 300 ¡nodes ¡ § Average ¡degree=16 ¡ § Alpha=0.9 ¡ § Changing ¡number ¡of ¡ ¡ ¡clusters ¡ ¡

§ Used ¡non-­‑nega6ve ¡matrix ¡factoriza6on ¡for ¡soQ ¡ clustering ¡ § Introduced ¡automa6c ¡relevance ¡determina6on ¡ § Proposed ¡dynamic ¡model ¡ § Parameter ¡inference ¡ § Showed ¡that ¡DMNF ¡gives ¡compe66ve ¡results ¡and ¡ is ¡capable ¡of ¡detec6ng ¡changing ¡number ¡of ¡ clusters ¡ § How ¡to ¡set ¡alpha? ¡How ¡to ¡avoid ¡local ¡op6mums? ¡ ¡

Summary ¡and ¡Future ¡work ¡

16 ¡

Thanks! ¡

Ques6ons? ¡

17 ¡