Probability and Statistics for Computer Science cov ( X, - PowerPoint PPT Presentation

Probability ¡and ¡Statistics ¡ ì ¡ for ¡Computer ¡Science ¡ ¡ cov ( X, Y ) = E [( X − E [ X ])( Y − E [ Y ])] Covariance ¡is ¡coming ¡back ¡in ¡ matrix! ¡ Credit: ¡wikipedia ¡ Hongye ¡Liu, ¡Teaching ¡Assistant ¡Prof, ¡CS361, ¡UIUC, ¡10.29.2019 ¡

Last ¡time ¡ ✺ Review ¡of ¡Bayesian ¡inference ¡ ✺ Refresh ¡of ¡some ¡linear ¡algebra ¡ ✺ Visualizing ¡high ¡dimensional ¡data ¡ ✺ Summarizing ¡data ¡and ¡the ¡ covariance ¡matrix ¡ ¡

Content ¡ ✺ Review ¡of ¡Covariance ¡matrix ¡ ✺ Dimension ¡ReducQon ¡ ✺ Principal ¡Component ¡Analysis ¡ ✺ Examples ¡of ¡PCA ¡

Diagonalization ¡of ¡a ¡symmetric ¡matrix ¡ ✺ If ¡A ¡is ¡an ¡ n × n ¡symmetric ¡square ¡matrix, ¡the ¡eigenvalues ¡ are ¡real. ¡ ✺ If ¡the ¡eigenvalues ¡are ¡also ¡disQnct, ¡their ¡eigenvectors ¡ are ¡orthogonal ¡ ✺ We ¡can ¡then ¡scale ¡the ¡eigenvectors ¡to ¡unit ¡length, ¡and ¡ place ¡them ¡into ¡an ¡orthogonal ¡matrix ¡ U ¡ = ¡[ u 1 ¡ u 2 ¡…. ¡ u n ] ¡ ✺ We ¡can ¡write ¡the ¡diagonal ¡matrix ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡such ¡ Λ = U T AU that ¡the ¡diagonal ¡entries ¡of ¡Λ ¡are ¡λ 1 , ¡λ 2 … ¡λ n ¡in ¡that ¡order. ¡ ¡

Q. ¡Is ¡this ¡true? ¡ Transforming ¡a ¡matrix ¡with ¡ orthonormal ¡matrix ¡only ¡rotates ¡the ¡ data ¡ A. ¡Yes ¡ B. ¡No ¡

Q. ¡Is ¡this ¡true? ¡ Transforming ¡a ¡matrix ¡with ¡ orthonormal ¡matrix ¡only ¡rotates ¡the ¡ data ¡ A. ¡Yes ¡ B. ¡No ¡

Covariance ¡ ✺ The ¡covariance ¡of ¡random ¡ variables ¡ X ¡and ¡ Y ¡is ¡ cov ( X, Y ) = E [( X − E [ X ])( Y − E [ Y ])] ✺ Note ¡that ¡ cov ( X, X ) = E [( X − E [ X ]) 2 ] = var [ X ]

Correlation ¡coefficient ¡is ¡ normalized ¡ ¡covariance ¡ ✺ The ¡correlaQon ¡coefficient ¡is ¡ corr ( X, Y ) = cov ( X, Y ) ¡ σ X σ Y ✺ When ¡ X, Y ¡takes ¡on ¡values ¡with ¡equal ¡ probability ¡to ¡generate ¡data ¡sets ¡ {( x,y )}, ¡the ¡correlaQon ¡coefficient ¡will ¡ be ¡as ¡seen ¡in ¡Chapter ¡2. ¡

Covariance ¡seen ¡from ¡scatter ¡plots ¡ Zero ¡ ¡ PosiQve ¡ ¡ NegaQve ¡ ¡ Covariance ¡ Covariance ¡ Covariance ¡ ¡ ¡ Credit: ¡ Prof.Forsyth ¡

Covariance ¡for ¡a ¡pair ¡of ¡components ¡in ¡a ¡ data ¡set ¡ ✺ For ¡the ¡jth ¡and ¡kth ¡components ¡of ¡a ¡data ¡set ¡ {x} ¡ i ( x ( j ) − mean ( { x ( j ) } ))( x ( k ) − mean ( { x ( k ) } )) T � cov ( { x } ; j, k ) = i i ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ N

Covariance ¡of ¡a ¡pair ¡of ¡components ¡ Data ¡set ¡ cov ( { x } ; 3 , 5) { { x } Take ¡each ¡column ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 10×7 ¡ (component) ¡of ¡a ¡pair ¡ 1 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ and ¡subtract ¡it ¡by ¡the ¡ 2 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 3 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ column ¡mean, ¡then ¡ 4 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ do ¡the ¡inner ¡product ¡ 5 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ of ¡the ¡two ¡resulted ¡ 6 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ columns ¡and ¡divide ¡ 7 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 8 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ by ¡the ¡number ¡of ¡ 9 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ rows ¡ 10 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡

Covariance ¡matrix ¡ Data ¡set ¡ { x } cov ( { x } ; 3 , 5) Covmat( ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ 7×7 ¡ { { x } 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ 10×7 ¡ 1 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 1 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 2 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 2 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 3 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 4 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 3 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 5 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 4 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 6 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 5 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 7 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 8 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 6 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 9 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 7 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 10 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡

Properties ¡of ¡Covariance ¡matrix ¡ { x } Covmat( ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ cov ( { x } ; j, j ) = var ( { x ( j ) } ) 7×7 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ ✺ The ¡diagonal ¡elements ¡ 1 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ of ¡the ¡covariance ¡matrix ¡ 2 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ are ¡just ¡variances ¡of ¡ 3 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ each ¡jth ¡components ¡ 4 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ ✺ The ¡off ¡diagonals ¡are ¡ 5 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ covariance ¡between ¡ 6 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ different ¡components ¡ 7 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡

Properties ¡of ¡Covariance ¡matrix ¡ { x } Covmat( ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ 7×7 ¡ cov ( { x } ; j, k ) = cov ( { x } ; k, j ) 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ ✺ The ¡covariance ¡ 1 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ matrix ¡is ¡ symmetric ! ¡ 2 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ ✺ And ¡it’s ¡ posi7ve ¡ 3 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ semi-­‑definite , ¡that ¡is ¡ 4 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ all ¡λ i ¡≥ ¡0 ¡ 5 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 6 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ ✺ The ¡matrix ¡is ¡ 7 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ diagonalizable ¡

Properties ¡of ¡Covariance ¡matrix ¡ { x } Covmat( ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ✺ If ¡we ¡define ¡ x c ¡as ¡the ¡ 7×7 ¡ mean ¡centered ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡ matrix ¡for ¡dataset ¡{x} ¡ 1 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 2 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ Covmat ( { x } ) = x T c x c 3 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ N 4 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ 5 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ ✺ The ¡covariance ¡ 6 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ matrix ¡is ¡a ¡d×d ¡matrix ¡ 7 ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡ * ¡

Example: ¡covariance ¡matrix ¡of ¡a ¡data ¡set ¡ (I) ¡ Mean ¡centered ¡ X (1) ¡ X (2) ¡     5 − 1 2 − 1 4 1 1 1         A 0 = 3 0 A 1 = 0 0         2 1 − 1 1     1 − 1 − 2 − 1

Example: ¡covariance ¡matrix ¡of ¡a ¡data ¡set ¡ A 2 = A T (I) ¡ Mean ¡centered ¡ (II) ¡ 1 A 1 X (1) ¡ X (2) ¡     5 − 1 2 − 1 Inner ¡product ¡of ¡each ¡pairs: ¡ 4 1 1 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡[1,1] ¡= ¡10 ¡ A 2         A 0 = 3 0 A 1 = 0 0 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡[2,2] ¡= ¡4 ¡ A 2         2 1 − 1 1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡[1,2] ¡= ¡0 ¡     A 2 1 − 1 − 2 − 1 ¡