Beware of Interpre-ng Non-Orthogonal Contrasts > - PowerPoint PPT Presentation

Beware ¡of ¡ Interpre-ng ¡ Non-­‑Orthogonal ¡ Contrasts ¡

> contrasts(lev_se) > tapply(x,lev_se,mean) quad High Low Medium High 1 0 60.42472 54.49830 52.17486 Low 0 0 Medium 0 1 > mean(tapply(x,lev_se,mean)) [1] 55.69929 > summary(lm(x~lev_se)) (Intercept) 54.498 2.019 26.991 <2e-16 *** lev_se 5.926 2.855 2.075 0.0409 * lev_sequad -2.323 2.855 -0.814 0.4181 > contrasts(lev_se) High Med High 1 0 Low -1 -1 Medium 0 1 > summary(lm(x~lev_se)) (Intercept) 55.699 1.166 47.780 < 2e-16 *** > 60.42472-55.69929 lev_seHigh 4.725 1.649 2.866 0.00521 ** [1] 4.72543 lev_seMed -3.524 1.649 -2.138 0.03534 * > contrasts(lev_se) lin quad So ¡while ¡the ¡contrasts ¡code ¡look ¡the ¡same, ¡ High 1 1 they ¡capture ¡very ¡different ¡comparisons! ¡ Low -1 1 Medium 0 -2 > summary(lm(x~lev_se)) (Intercept) 55.6993 1.1657 47.780 <2e-16 *** > (60.42472-54.49830)/2 lev_selin 2.9632 1.4277 2.075 0.0409 * [1] 2.96321 lev_sequad 1.7622 0.8243 2.138 0.0353 *

p ¡ Curves ¡

How ¡Are ¡ p -­‑values ¡Distributed? ¡ If ¡you ¡thought ¡you ¡had ¡a ¡weak ¡effect, ¡where ¡would ¡you ¡expect ¡ your ¡p ¡values ¡to ¡cluster? ¡

Sta-s-cal ¡Power ¡ Criterion Criterion If Null Hyp. is true If Alt. Hyp. is true Power b a

Distribu-on ¡of ¡obtained ¡p-­‑values? ¡

Uri ¡Simonsohn’s ¡“p ¡curves” ¡

How ¡Are ¡ p -­‑values ¡Distributed? ¡ Why ¡might ¡you ¡get ¡the ¡pa@ern ¡to ¡the ¡leA? ¡

Credibility ¡of ¡ ReplicaDons ¡

Sta-s-cal ¡Power ¡ Criterion Criterion If Null Hyp. is true If Alt. Hyp. is true Power b a

Tricky ¡Consequences ¡of ¡Sta-s-cal ¡Power ¡ • The ¡best ¡way ¡to ¡dispel ¡concerns ¡is ¡to ¡show ¡ mulDple ¡replicaDons, ¡right? ¡ • Say ¡that ¡you ¡show ¡5 ¡studies ¡that ¡all ¡replicate ¡ the ¡effect ¡ • Say ¡that ¡your ¡effecDve ¡power ¡is ¡60% ¡ • The ¡probability ¡of ¡all ¡5 ¡tests ¡being ¡significant ¡is ¡ 7.8% ¡(.60^5) ¡ • ReplicaDons ¡can ¡hurt ¡your ¡credibility!!! ¡

Advanced ¡Topics: ¡ ¡Within-­‑Subject ¡Media-on ¡& ¡ Moderated ¡Media-on ¡ 12 ¡

Within-­‑Subject ¡Media-on ¡ Time ¡1: ¡ Time ¡2: ¡ OpDmism1 ¡ OpDmism2 ¡ IntenDons1 ¡ IntenDons2 ¡ Cras ash h Model: ¡ ¡ Crash à ¡OpDmism ¡ à ¡IntenDons ¡ ¡ Imagine ¡that ¡a ¡researcher ¡is ¡curious ¡about ¡changes ¡in ¡couples’ ¡intenDon ¡to ¡ conceive ¡before ¡and ¡aAer ¡the ¡financial ¡crash. ¡Furthermore, ¡he ¡believes ¡that ¡ any ¡change ¡he ¡finds ¡is ¡mediated ¡by ¡changes ¡in ¡general ¡opDmism. ¡ ¡ Other ¡Examples: ¡ (Husband,Wife) ¡ à ¡Sense ¡of ¡IdenDty ¡ à ¡SaDsfacDon ¡with ¡Marriage ¡ Rhyming ¡ à ¡Fluency ¡ à ¡Familiarity à Truth/Buying ¡IntenDons ¡ ¡

Med a b IV DV IV DV c c’

Within-­‑Subject ¡Media-on ¡ Judd, ¡C.M., ¡Kenny, ¡D.A., ¡& ¡McClelland, ¡G.H. ¡(2001). ¡EsDmaDng ¡and ¡tesDng ¡mediaDon ¡and ¡ Model: ¡ ¡ Crash à ¡OpDmism ¡ à ¡IntenDons ¡ ¡ moderaDon ¡in ¡within-­‑subject ¡designs. ¡ Psychological ¡Methods, ¡6 , ¡115-­‑134. ¡ Remember ¡that ¡a ¡within-­‑subject ¡or ¡paired-­‑sample ¡ t -­‑test ¡is ¡equivalent ¡to ¡ tesDng ¡a ¡one-­‑sample ¡ t -­‑test ¡on ¡a ¡difference ¡score ¡computed ¡for ¡each ¡ respondent, ¡i.e. ¡ D intenDons . ¡Here ¡it ¡is ¡the ¡test ¡of ¡ c . ¡Similarly, ¡it ¡is ¡fairly ¡intuiDve ¡ that ¡a ¡test ¡of ¡ D opDmism ¡is ¡a ¡test ¡of ¡ a . ¡The ¡next ¡step ¡it ¡to ¡predict ¡ D intenDons ¡with ¡ D opDmism . ¡The ¡slope ¡of ¡ D opDmism ¡is ¡a ¡test ¡of ¡ b. ¡ MediaDon ¡is ¡tested ¡by ¡looking ¡at ¡ the ¡significance ¡of ¡the ¡intercept. ¡ ¡ (1) ¡ D DV ¡ ≠ ¡0 ¡? ¡ ¡ ¡ ¡ ¡ ó ¡c ¡ (2) ¡ D Med ¡ ≠ ¡0 ¡? ¡ ¡ ¡ ¡ ¡ ó ¡ a ¡ (3) ¡Does ¡ D Med ¡ predict ¡ D DV ¡? ¡ ¡ ¡ ó ¡ b ¡ (4) ¡Intercept ¡ ≠ ¡0 ¡ ¡or ¡compared ¡to ¡(1) ¡? ¡ ó ¡ c’ ¡ It ¡turns ¡out ¡that ¡it ¡makes ¡sense ¡to ¡also ¡include ¡the ¡sum ¡of ¡mediators, ¡ S med , ¡ centered, ¡in ¡the ¡regression ¡equaDon. ¡This ¡tests ¡moderaDon, ¡i.e., ¡ whether ¡the ¡relaDonship ¡between ¡intenDons ¡and ¡opDmism ¡is ¡constant ¡ at ¡Time ¡1 ¡and ¡Time ¡2. ¡(See ¡Judd ¡et ¡al., ¡2001). ¡

Within-­‑Subject ¡Media-on: ¡Example ¡1 ¡ 80 80 75 75 70 70 intentions1 intentions2 65 65 60 60 55 55 50 50 0 0 2 2 4 4 6 6 8 8 optimism1 optimism2

Within-­‑Subject ¡Media-on: ¡Example ¡1 ¡ IntenDons1 ¡ IntenDons2 ¡ *3 ¡ *3 ¡ -­‑2 ¡ optimism1<-rnorm(100,5,1) OpDmism1 ¡ OpDmism2 ¡ optimism2<-optimism1-2+rnorm(100,0,1) intentions1<-50+3*optimism1+rnorm(100,0,5) intentions2<-50+3*optimism2+rnorm(100,0,5) cbind(optimism1,optimism2,intentions1,intentions2)->crashd round(cor(crashd),2) optimism1 optimism2 intentions1 intentions2 optimism1 1.00 0.65 0.48 0.36 optimism2 0.65 1.00 0.40 0.59 intentions1 0.48 0.40 1.00 0.18 intentions2 0.36 0.59 0.18 1.00 diff_optimism<-optimism2-optimism1 diff_intentions<-intentions2-intentions1 csum_optimism<-scale(optimism2+optimism1,scale=F) # By using scale = F we center it without dividing it by the s.d.

Within-­‑Subject ¡Media-on: ¡Example ¡1 ¡ > t.test(optimism1,optimism2,paired=T) Paired t-test t = 20.565 , df = 99, p-value < 2.2e-16 alternative hypothesis: true difference in means is not equal to 0 > t.test(diff_optimism) One Sample t-test t = -20.565 , df = 99, p-value < 2.2e-16 alternative hypothesis: true mean is not equal to 0 > summary(lm(diff_optimism~1)) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -2.03701 0.09905 -20.57 <2e-16 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 0.9905 on 99 degrees of freedom Many ¡ways ¡to ¡skin ¡a ¡cat: ¡The ¡point ¡is ¡to ¡show ¡you ¡the ¡use ¡of ¡lm(X~1), ¡the ¡ model ¡that ¡only ¡includes ¡the ¡intercept. ¡

Within-­‑Subject ¡Media-on: ¡Example ¡1 ¡ > summary(lm(diff_intentions~1)) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -5.5870 0.7716 -7.241 9.76e-11 *** > summary(lm(diff_intentions~diff_optimism+csum_optimism)) Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -0.5351 1.8189 -0.294 0.76925 diff_optimism 2.4801 0.8150 3.043 0.00301 ** csum_optimism -0.2316 0.3972 -0.583 0.56121 --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 7.435 on 97 degrees of freedom Multiple R-squared: 0.09038, Adjusted R-squared: 0.07163 F-statistic: 4.819 on 2 and 97 DF, p-value: 0.01011 We ¡would ¡conclude ¡that ¡opDmism ¡mediates ¡the ¡effect ¡of ¡the ¡crash ¡on ¡ intenDons, ¡and ¡that ¡the ¡relaDonship ¡between ¡opDmism ¡and ¡intenDons ¡is ¡ similar ¡in ¡both ¡groups. ¡

Within-­‑Subject ¡Media-on: ¡Example ¡2 ¡ Evaluate ¡30 ¡aphorisms ¡for ¡truth ¡and ¡familiarity: ¡ Non-­‑Rhyming ¡ Rhyming ¡ When ¡good ¡cheer ¡is ¡absent, ¡friends ¡ When ¡good ¡cheer ¡is ¡lacking, ¡friends ¡will ¡ will ¡go ¡packing. ¡ go ¡packing. ¡ A ¡person ¡without ¡reason ¡is ¡a ¡deer ¡ A ¡person ¡without ¡reason ¡is ¡a ¡deer ¡in ¡ being ¡hunted. ¡(etc.) ¡ season. ¡(etc.) ¡ • ¡Within ¡individuals ¡ 4 Average ¡r (truth,familiarity) =.30 ¡ Rhyming Skurnilk, ¡Monin, ¡& ¡ ¡Dewan ¡(in ¡prep.) ¡ 3.9 Non-rhyming 95%CI ¡= ¡[.25, ¡.34] ¡ 3.8 3.7 3.6 • ¡D familiarity ¡ à ¡D truth ¡: ¡ 1-7 ratings 3.5 ¡β=.245, ¡t(150)=3.15, ¡p=.002 ¡ 3.4 ¡intercept ¡t=1.2, ¡n.s. ¡ 3.3 3.2 • ¡D truth ¡ à ¡D familiarity ¡: ¡ 3.1 ¡β=.245, ¡t(150)=3.15, ¡p=.002 ¡ 3 intercept ¡t=4.41, ¡p<.0005 ¡ Truth Familiarity ¡