Overview of Markov chains David Gleich Purdue University - PowerPoint PPT Presentation

Overview ¡of ¡Markov ¡chains ¡ David ¡Gleich ¡ Purdue ¡University ¡ Network ¡& ¡Matrix ¡Computa@ons ¡ Computer ¡Science ¡ 15 ¡Sept ¡2011 ¡

Lots ¡of ¡words ¡ transient ¡ Perron ¡vector ¡ recurrent ¡ sta@onary ¡distribu@on ¡ primi@ve ¡ first ¡transi@on ¡analysis ¡ regular ¡ Cesáro ¡limit ¡ ergodic ¡ reversible ¡Markov ¡chain ¡ periodic ¡ simple ¡sta@onary ¡ distribu@on ¡ irreducible ¡ Perron-­‑Frobenius ¡theorem ¡ Perron ¡root ¡ ¡

Some ¡theory ¡ ¡ ¡ Theorem ¡Let ¡ A ¡≥ ¡0 ¡be ¡ irreducible ¡then ¡ A ¡has ¡a ¡ unique ¡posi@ve ¡eigenvector ¡with ¡eigenvalue ¡ equal ¡to ¡the ¡spectral ¡radius ¡of ¡ A . ¡ ¡ ¡

In ¡German ¡ Oskar ¡Perron, ¡Mathema@sche ¡Annalen, ¡64:248-­‑263, ¡1907 ¡doi: ¡10.1007/BF01449896 ¡ ¡

Just ¡kidding ¡

Important ¡applica@on ¡ ¡ PageRank ¡ centrality ¡measures ¡ spectral ¡graph ¡theory ¡ random ¡sampling ¡ ¡

Probable ¡outline ¡ Stochas@c ¡processes, ¡Markov ¡chains, ¡and ¡ random ¡walks, ¡and ¡stochas@c ¡matrices ¡ ¡ The ¡Perron-­‑Frobenius ¡theorem ¡and ¡sta@onary ¡ distribu@on ¡ ¡ Hi`ng ¡@mes, ¡commute ¡@mes, ¡and ¡other ¡ transi@on ¡related ¡problems ¡ ¡ ¡