Non-Normality / Non-Gaussianity and Filtering Cris%an Proistosescu, - - PowerPoint PPT Presentation

Non-Normality / Non-Gaussianity and Filtering

Cris%an ¡Proistosescu, ¡Andy ¡Rhines, ¡Peter ¡Huybers ¡ ¡ ¡ ¡ ¡

Synoptic variability is normal Models require non-normality

Frequency (days-1)

10 -4 10 -3 10 -2 10 -1

|S(f) 2|

10 -5

Standardized Temperature

• 2

2

PDF(T)

0.1 0.2 0.3 0.4 0.5

Standardized Temperature

• 2

2

CDF(T)

0.2 0.4 0.6 0.8 1

• ­‑ ¡Full ¡Record ¡
• ­‑ ¡Filter: ¡3-­‑300 ¡days ¡
• ­‑ ¡Filter: ¡3-­‑90 ¡days ¡
• ­‑ ¡Filter: ¡3-­‑15 ¡days ¡
• ­‑-­‑ ¡Normal ¡PDF ¡ ¡

Kolmogorov – Smirnov test Maximum Deviation between CDF Test ¡Sta%s%c: ¡ ¡D= ¡sup ¡|F-­‑FN| ¡ ¡ Issues: ¡ ¡

• ­‑ Standardized ¡mean ¡and ¡variance ¡(Lilliefors) ¡
• ­‑ Autocorrela%on ¡
• ­‑ Filtered ¡Data ¡reconstructed ¡from ¡limited ¡number ¡of ¡harmonics ¡

Phase Randomization: Type I errors

Autocorrelation

0.5 1

Tpye I error prob

0.2 0.4 0.6 0.8 1

AR(1)

KS test

KSPR

0.05 level

Autocorrelation

0.5 1

Tpye I error prob

0.2 0.4 0.6 0.8 1

AR(1) - Blocks: 40 yrs DJF (90 days) Bandwidth

0.5 1

Tpye I error prob

0.05 0.1 0.15 0.2Filtered and Normalized to unit <

Solu%on ¡ ¡ Null ¡: ¡D= ¡sup ¡|FPR-­‑FN| ¡ ¡ ¡ Solves: ¡ ¡

• ­‑ Ensures ¡sample ¡variance ¡and ¡mean ¡
• ­‑ Same ¡ACF ¡
• ­‑ Same ¡number ¡of ¡harmonics ¡

Phase Randomization: Type II errors

Station Data:

Medford Lowest Admitted Frequency [1/days]

1/30 1/7 1/3

Highest Admitted Frequency [1/days]

1/30 1/7 1/3

2-10 days 3-15 days 25-35 days

Lowest Admitted Frequency [1/days]

1/30 1/7 1/3

Highest Admitted Frequency [1/days]

1/30 1/7 1/3

Frequency [1/days]

1/90 1/30 1/7 1/3

Power Density

10-2 100 102 104

Barrow Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3

Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3

Frequency [1/days]

1/90 1/30 1/7 1/3 10-2 100 102 104

Novgorod Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3

Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3

Frequency [1/days]

1/90 1/30 1/7 1/3 10-2 100 102 104

Sapporo Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3 Skewnes

• 0.5

0.5

Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3 Excess Kurtosis

• 1
• 0.5

0.5 1

Frequency [1/days]

1/90 1/30 1/7 1/3 10-2 100 102 104

Lore Rosenblat ¡(1961): ¡“It ¡appears ¡to ¡be ¡part ¡of ¡the ¡engineering ¡folklore ¡ that ¡a ¡narrow ¡band-­‑pass ¡filter ¡applied ¡to ¡a ¡sta%onary ¡random ¡ input ¡yields ¡an ¡output ¡that ¡is ¡approximately ¡normally ¡distributed." ¡ When? ¡(For ¡Finite, ¡discrete ¡data) ¡ Quan%fy ¡rate ¡of ¡convergence? ¡

Higher Order Spectra and Cumulants

S =σ −3/2 B( f1, f2)df1 df2

∫∫

K =σ −4 T ( f1, f2, f

3)df1 df2 df3

∫∫

x(t)

F

! → ! X( f ) σ 2 = P( f )df2

∫

Parseval ¡Theorem: ¡

B( f1, f2) = X( f1)X( f2)X*( f1 + f2) P( f ) = X( f )X*( f ) T( f1, f2, f3) = X( f1)X( f2)X( f3)X*( f1 + f2 + f3)

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

• N

N

Admitted Bispectrum Excluded Bispectrum

• N

N 1

1D Filter

Filtering and the Bi-Spectra

B`( f1, f2) = h( f1)h( f2)h*( f1 + f2)B( f1, f2)

Filtering and the Tri-Spectra

Analytical Solution for Skewness

1 2 3 4 5 6

a b e c d

Skewness - Analytical Lowest Admitted Frequency (High-Pass)

N/2 N

Highest Admitted Frequency (Low-Pass)

N/2 N

2-10 days 3-15 days 25-35 days 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

Decay of S and K for I.I.D.

Lowest Admitted Frequency (High-Pass)

N/2 N

Highest Admitted Frequency (Low-Pass)

N/2 N

Skewness - Numerical

Theoretical

Synthetic (107 points) Synthetic (105 points)

2-10 days 3-15 days 25-35 days

Lowest Admitted Frequency (High-Pass)

N/2 N N/2 N

Excess Kurtosis - Numerical

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

Autocorrelation

x(t +1) = ρx(t)+ε ε ~ Pearson x(t +1) = ρx(t)+[bη1 +(Ex(t)+ g)η2 − 0.5Eg] η1,2 ~ N

AR(1) ¡ Correlated ¡Addi%ve ¡and ¡Mul%plica%ve ¡Noise ¡

(Sardeshmukh ¡and ¡Sura ¡2009) ¡

Autocorrelation

I.I.D Noise Lowest Admitted Frequency [1/days]

1/30 1/7 1/3

Highest Admitted Frequency [1/days]

1/30 1/7 1/3

2-10 days 3-15 days 25-35 days

Lowest Admitted Frequency [1/days]

1/30 1/7 1/3

Highest Admitted Frequency [1/days]

1/30 1/7 1/3

Frequency [1/days]

1/90 1/30 1/7 1/3

Power Density

10-2 100 102

AR(1): p=0.5 Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3

Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3

Frequency [1/days]

1/90 1/30 1/7 1/3 10-2 100 102

AR(1): p=0.9 Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3

Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3

Frequency [1/days]

1/90 1/30 1/7 1/3 10-2 100 102

CAM noise Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3 Skewnes

• 0.5

0.5

Lowest Admitted Frequency [1/days]

1/30 1/7 1/3 1/30 1/7 1/3 Excess Kurtosis

• 1
• 0.5

0.5 1

Frequency [1/days]

1/90 1/30 1/7 1/3 10-2 100 102

Outline Non-­‑Normality ¡encoded ¡in ¡interac%on ¡terms ¡between ¡%me ¡scales ¡ ¡ May ¡be ¡most ¡pronounced ¡when ¡filtered ¡to ¡%me ¡scales ¡other ¡than ¡ genera%ng ¡mechanisms ¡ ¡ Reconciled ¡models ¡requiring ¡non-­‑normality ¡on ¡synop%c ¡%me ¡scales ¡with ¡

• bserva%ons ¡of ¡normal ¡variability ¡when ¡filtering ¡to ¡synop%c ¡scales ¡

¡ Developed ¡Non-­‑Normality ¡test ¡for ¡autocorrelated ¡data ¡ ¡ How ¡do ¡we ¡iden%fy ¡mechanisms? ¡

Reconstructing i.i.d. normal from a finite number of sinusoids

Distribu%on ¡of ¡a ¡sinusoid ¡ K-­‑th ¡moment ¡for ¡n ¡independent ¡sinusoids: ¡ Convergence ¡of ¡Kurtosis: ¡

Decay with Bandwidth