MLSS ¡2016 ¡– ¡Prac<cal ¡ Machine ¡Learning ¡for ¡Networks ¡ ¡ Isabel ¡Valera ¡ Utkarsh ¡Upadhyay ¡ MPI ¡for ¡So)ware ¡Systems ¡ MLSS ¡2016 ¡ C ADIZ ¡
GeEng ¡ready ¡ 1. ¡Install ¡CVX ¡for ¡MATLAB ¡/ ¡cvxpy ¡for ¡Python ¡ http://cvxr.com/cvx/download/ import ¡cvxpy ¡as ¡CVX ¡ x ¡= ¡CVX.Variable(n) ¡ constraints ¡= ¡[ ¡ ¡ ¡f(x) ¡<= ¡0, ¡ ¡ ¡A ¡* ¡x ¡– ¡b ¡== ¡0 ¡ ] ¡ prob ¡= ¡CVX.Problem( ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ CVX.Minimize(f0(x)), ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡constraints) ¡ prob.solve() ¡ 2
Outline ¡ Point ¡Processes ¡ è è ¡Simula<on ¡and ¡es<ma<on ¡ Part ¡I ¡ Part ¡II ¡ Informa<on ¡Diffusion ¡ Social ¡Ac<vity ¡ ¡ NetRate ¡ Hawkes ¡Process ¡ [Gomez ¡Rodriguez ¡et ¡al., ¡ICML ¡ [Aalen ¡et ¡al., ¡Springer ¡2008] ¡ 2011] ¡ ¡ 3
Task ¡I ¡ Es<mate ¡transmission ¡rates ¡in ¡NetRate ¡model ¡with ¡ exponen<al ¡transmission ¡func<on. ¡ Data ¡ Model ¡ Es<ma<on ¡ Cascade ¡1 ¡ NetRate ¡ ¡ α ji j i t j t k t l t i ? ¡ ¡ α li . . Cascade ¡N ¡ . l k ¡ α lk t i t l t j t k [Gomez ¡Rodriguez ¡et ¡al., ¡ICML ¡2011] ¡ 4
Task ¡I ¡ Es<mate ¡transmission ¡rates ¡in ¡NetRate ¡model ¡with ¡ exponen<al ¡transmission ¡func<on. ¡ Data ¡ Model ¡ Es<ma<on ¡ Cascade ¡1 ¡ NetRate ¡ MLE ¡soluTon ¡ ¡ α ji j i t j t k t l t i ¡ α li max {αji} ¡Σ c ¡log ¡f({t j } c ¡; ¡{α ji }) . . Cascade ¡N ¡ . l k ¡ α lk t i t l t j t k [Gomez ¡Rodriguez ¡et ¡al., ¡ICML ¡2011] ¡ 5
Task ¡I ¡ Es<mate ¡transmission ¡rates ¡in ¡NetRate ¡model ¡with ¡ exponen<al ¡transmission ¡func<on. ¡ Data ¡ Model ¡ Es<ma<on ¡ Cascade ¡1 ¡ NetRate ¡ MLE ¡soluTon ¡ ¡ α ji j i t j t k t l t i ¡ α li max {αji} ¡Σ c ¡log ¡f({t j } c ¡; ¡{α ji }) . . Cascade ¡N ¡ . l k ¡ α lk Exercise ¡1 ¡ t i t l t j t k [Gomez ¡Rodriguez ¡et ¡al., ¡ICML ¡2011] ¡ 6
Task ¡I ¡ The ¡ likelihood ¡of ¡a ¡cascade ¡by ¡Tme ¡T ¡is: ¡ MLE ¡es<ma<on: ¡ 7
Task ¡I ¡ https://github.com/Networks-Learning/mlss-2016
OUTLINE ¡ Point ¡Processes ¡ è è ¡Simula<on ¡and ¡es<ma<on ¡ Part ¡I ¡ Part ¡II ¡ Informa<on ¡Diffusion ¡ Social ¡Ac<vity ¡ ¡ NetRate ¡ Hawkes ¡Process ¡ [Gomez ¡Rodriguez ¡et ¡al., ¡ICML ¡ [Aalen ¡et ¡al., ¡Springer ¡2008] ¡ 2011] ¡ ¡ 9
Task ¡II ¡ Generate ¡samples ¡from ¡a ¡(univariate) ¡Hawkes ¡Process ¡ Model ¡ Simula<on ¡ Es<ma<on ¡ Hawkes ¡process ¡ Ogata’s ¡algorithm ¡ MLE ¡soluTon ¡ max α , λ 0 L ( t 1 , . . . , t n ) ¡ ¡ ¡ ¡= ¡Base ¡intensity ¡ λ 0 t 1 t 2 t 3 t 4 k α ( t ) = α e − w ( t − t i ) X λ ( t ) = λ 0 + k α ( t − ti ) i : t i ∈ H ( t ) [Gomez ¡Rodriguez ¡et ¡al., ¡ICML ¡2011] ¡ 10
Task ¡II ¡ Generate ¡samples ¡from ¡a ¡(univariate) ¡Hawkes ¡Process ¡ Model ¡ Simula<on ¡ Es<ma<on ¡ Hawkes ¡process ¡ Ogata’s ¡algorithm ¡ MLE ¡soluTon ¡ max α , λ 0 L ( t 1 , . . . , t n ) ¡ ¡ ¡ ¡= ¡Base ¡intensity ¡ λ 0 t 1 t 2 t 3 t 4 k α ( t ) = α e − w ( t − t i ) Exercise ¡2 ¡ X λ ( t ) = λ 0 + k α ( t − ti ) i : t i ∈ H ( t ) [Gomez ¡Rodriguez ¡et ¡al., ¡ICML ¡2011] ¡ 11
Task ¡II ¡ Ogata’s ¡Algorithm: ¡ 1: Input: λ 0 , α and T 2: Initialize: n 1, λ ⇤ λ 0 Generate first event : 3: Generate q ⇠ U [0 , 1] and s � 1 λ ⇤ ln( q ) 4: if s > T , then go to last step. 5: else Set t 1 s and n n + 1, General subroutine: 6: while s < T do Update λ ⇤ λ ( t n � 1 ) + α 7: 1 8: Generate q ⇠ U [0 , 1] and s t n � 1 � λ ⇤ ln( q ) 9: if s > T , then go to last step 10: else Rejection Test: Sample d ⇠ U [0 , 1] if d λ ( s ) λ ⇤ , then t n s and n n + 1 else update λ ⇤ λ ( s ). end while [Ogata, ¡1981] ¡ 11: Output: Retrieve the events ( { t n } ) on [0 , T ] 12 −
Task ¡II ¡ Ogata’s ¡Algorithm: ¡ 1: Input: λ 0 , α and T 2: Initialize: n 1, λ ⇤ λ 0 X λ ( t ) = λ 0 + k α ( t − ti ) Generate first event : 3: Generate q ⇠ U [0 , 1] and s � 1 λ ⇤ ln( q ) i : t i ∈ H ( t ) 4: if s > T , then go to last step. 5: else Set t 1 s and n n + 1, General subroutine: History up to but 6: while s < T do Update λ ⇤ λ ( t n � 1 ) + α not including t. 7: 1 8: Generate q ⇠ U [0 , 1] and s t n � 1 � λ ⇤ ln( q ) 9: if s > T , then go to last step 10: else Rejection Test: Sample d ⇠ U [0 , 1] if d λ ( s ) λ ⇤ , then t n s and n n + 1 else update λ ⇤ λ ( s ). end while [Ogata, ¡1981] ¡ 11: Output: Retrieve the events ( { t n } ) on [0 , T ] 13 −
Task ¡II ¡ Condi<onal ¡ Events ¡likelihood ¡ intensity ¡rate ¡ Maximum ¡likelihood ¡ approach ¡to ¡find ¡ ¡ model ¡parameters! ¡ max α , λ 0 L ( t 1 , . . . , t n ) [Farajtabar ¡et ¡al., ¡NIPS ¡2014] ¡ 14
Downloads ¡ NetRate: Paper: http://www.mpi-sws.org/~manuelgr/pubs/netrate-icml11.pdf Code: https://github.com/Networks-Learning/netrate Hawkes ¡Process: Slides: http://lamp.ecp.fr/MAS/fiQuant/ioane_files/HawkesCourseSlides.pdf Code: https://github.com/dunan/MultiVariatePointProcess CVX: Slides: http://web.stanford.edu/class/ee364a/lectures/cvx_tutorial.pdf Code: http://cvxr.com/cvx/download/ 15
Recommend
More recommend
