The MAGIC Poten.al of Large Online Experiments for Theory - - PowerPoint PPT Presentation

The ¡MAGIC ¡Poten.al ¡of ¡Large ¡Online ¡ Experiments ¡for ¡Theory ¡Development ¡

Darren ¡Gergle ¡ Northwestern ¡University ¡

¡ Discussant ¡for ¡D. ¡Lomas’ ¡ ¡ “Accelera=ng ¡Theory ¡Development ¡with ¡Large ¡Online ¡Experiments: ¡ Towards ¡an ¡Interac=on ¡Design ¡Science” ¡

What ¡Derek ¡Gives ¡Us… ¡At ¡a ¡High ¡Level ¡

+

What ¡Derek ¡Gives ¡Us… ¡More ¡Concretely ¡ ¡

A ¡vision ¡of ¡the ¡poten=al ¡and ¡vast ¡scale ¡of ¡online ¡ experimenta=on ¡for ¡theory ¡development ¡

¡

• > ¡10,000 ¡online ¡controlled ¡experiments ¡every ¡day ¡

¡ ¡(Stu’s ¡“expensive ¡experiments” ¡comment…) ¡ ¡

• Demonstrates ¡scale ¡within ¡a ¡given ¡study ¡ ¡

(a ¡2 ¡x ¡9 ¡x ¡8 ¡x ¡6 ¡x ¡4 ¡x ¡4 ¡factorial; ¡n ¡= ¡69,642) ¡

• Suggests ¡scale ¡across ¡studies ¡

A ¡“Design ¡PaFern” ¡for ¡Online ¡Theory ¡Tes.ng ¡

¡ (1) ¡Set ¡a ¡goal ¡of ¡contribu.ng ¡to ¡theory ¡ (2) ¡Use ¡theory ¡to ¡predict ¡how ¡design ¡varia.ons ¡will ¡ ¡ ¡ ¡ ¡ ¡ ¡influence ¡outcomes ¡

• Link ¡soXware ¡design ¡to ¡theore=cal ¡factors ¡(predictors, ¡IVs) ¡
• Link ¡soXware ¡metrics ¡to ¡theore=cal ¡constructs ¡(outcomes, ¡DVs) ¡

(3) ¡Generate ¡designs ¡that ¡only ¡differ ¡on ¡important ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡theore.cal ¡factors ¡ (4) ¡Randomly ¡assign ¡par.cipants ¡to ¡condi.ons ¡ (5) ¡Sta.s.cally ¡test ¡the ¡hypotheses ¡and ¡assess ¡outcomes ¡

• J. ¡Derek ¡Lomas ¡(2014).”Op=mizing ¡Mo=va=on ¡and ¡Learning ¡with ¡Large-­‑Scale ¡Game ¡Design ¡

Experiments”, ¡Carnegie ¡Mellon ¡University ¡Doctoral ¡Disserta=on ¡(CMU-­‑HCII-­‑14-­‑112) ¡

A ¡Powerful ¡Idea ¡for ¡Dealing ¡with ¡Scale ¡

¡ Integrate ¡techniques ¡from ¡ ¡ AI ¡& ¡ML ¡to ¡efficiently ¡search ¡ ¡ a ¡theore-cal ¡design ¡space ¡

“Accelera.ng ¡Theory ¡Development ¡ ¡ ¡ ¡with ¡Large ¡Online ¡Experiments”

¡ What ¡are ¡the ¡poten=al ¡ benefits? ¡ ¡ ¡ What ¡are ¡some ¡of ¡the ¡ challenges ¡(i.e., ¡nits)? ¡

Robert ¡P. ¡Abelson ¡(1995). ¡Sta-s-cs ¡as ¡Principled ¡Argument. ¡ Hillsdale, ¡NJ: ¡L. ¡Erlbaum ¡and ¡Associates. ¡ ¡ Gergle, ¡D., ¡& ¡Tan, ¡D. ¡(2014). ¡Experimental ¡Research ¡in ¡HCI. ¡In ¡ Ways ¡of ¡Knowing ¡in ¡HCI. ¡(Eds: ¡J.S. ¡Olson ¡and ¡W. ¡Kellogg). ¡

• Springer. ¡

The ¡“MAGIC” ¡ ¡ Criteria ¡

Magnitude ¡

“The ¡strength ¡of ¡a ¡sta-s-cal ¡argument ¡is ¡enhanced ¡in ¡accord ¡ with ¡the ¡quan-ta-ve ¡magnitude ¡of ¡support ¡for ¡its ¡qualita-ve ¡ claim” ¡–Abelson ¡ “How ¡large ¡is ¡the ¡effect?” ¡–Gergle ¡ ¡ ¡ Benefits ¡of ¡large-­‑scale ¡online ¡experimenta.on ¡

• Large ¡sample ¡sizes ¡and ¡increased ¡sta=s=cal ¡power ¡ ¡

(i.e., ¡likelihood ¡of ¡detec=ng ¡an ¡effect ¡given ¡that ¡one ¡exists) ¡

• Many ¡HCI ¡studies ¡are ¡under ¡powered ¡

Challenges ¡of ¡large-­‑scale ¡online ¡experimenta.on ¡

• With ¡such ¡power, ¡how ¡do ¡we ¡determine ¡what ¡is ¡a ¡meaningful ¡effect? ¡ ¡
• We ¡need ¡to ¡report ¡effect ¡sizes, ¡cause ¡sizes, ¡and ¡discuss ¡causal ¡efficacy ¡

Ar.cula.on ¡

“… ¡the ¡degree ¡of ¡comprehensible ¡detail ¡in ¡which ¡conclusions ¡are ¡ phrased” ¡–Abelson ¡ “How ¡detailed ¡are ¡the ¡findings?” ¡–Gergle ¡

¡

Benefits ¡of ¡large-­‑scale ¡online ¡experimenta.on ¡

• Inves=gate ¡a ¡large ¡# ¡of ¡factors ¡and ¡their ¡rela=onships ¡
• Move ¡from ¡the ¡existence ¡of ¡an ¡effect ¡to ¡describing ¡ ¡

when, ¡how ¡and ¡why ¡ ¡

• Permit ¡process-­‑oriented ¡techniques ¡ ¡

(e.g., ¡Condi=onal ¡Process ¡Analysis) ¡

¡ Challenges ¡of ¡large-­‑scale ¡experimenta.on ¡

• Repor=ng ¡effects ¡(2-­‑way ¡vs. ¡6-­‑way ¡interac=on) ¡
• Poten=al ¡for ¡the ¡loss ¡of ¡theore=cal ¡conciseness ¡and ¡

coherence ¡

Generality ¡

“Generality ¡denotes ¡the ¡breadth ¡of ¡applicability ¡of ¡the ¡ conclusions.” ¡–Abelson ¡ ¡ “How ¡broadly ¡do ¡the ¡findings ¡apply?” ¡–Gergle ¡ Benefits ¡of ¡large-­‑scale ¡experimenta.on ¡

• Access ¡to ¡larger ¡and ¡poten=ally ¡broader ¡samples ¡
• Mul=ple ¡approaches ¡to ¡answering ¡the ¡same ¡ques=on ¡
• Same ¡approach ¡in ¡mul=ple ¡contexts ¡

Challenges ¡of ¡large-­‑scale ¡experimenta.on ¡

• Unknown ¡demographics ¡and ¡contextual ¡variables ¡
• Selec=on ¡and ¡sampling ¡biases ¡(e.g., ¡Hargioai ¡et ¡al.) ¡

Eszter ¡Hargioai ¡(2014). ¡Is ¡Bigger ¡Always ¡Beoer? ¡Poten=al ¡Biases ¡of ¡Big ¡Data ¡Derived ¡from ¡ Social ¡Network ¡Sites. ¡

Selec.on ¡Effects ¡

Original ¡plane ¡outline ¡created ¡by ¡Jaap ¡Knevel ¡from ¡the ¡Noun ¡Project. ¡

Abraham ¡Wald ¡(1943). ¡A ¡Method ¡of ¡Es=ma=ng ¡Plane ¡Vulnerability ¡Based ¡on ¡Damage ¡of ¡Survivors. ¡

Interes.ngness ¡

“For ¡a ¡sta-s-cal ¡story ¡to ¡be ¡theore-cally ¡interes-ng, ¡it ¡ must ¡have ¡the ¡poten-al ¡… ¡to ¡change ¡what ¡people ¡believe ¡ about ¡an ¡important ¡issue” ¡–Abelson ¡ ¡ “Yes. ¡What ¡he ¡said.” ¡–Gergle ¡ Benefits ¡of ¡large-­‑scale ¡experimenta.on ¡

• Derek’s ¡work ¡challenges ¡the ¡the ¡dominant ¡theory ¡that ¡suggests ¡

“moderate ¡challenge ¡maximizes ¡mo=va=on,” ¡instead ¡we ¡need ¡ to ¡consider ¡both ¡challenge ¡and ¡novelty ¡

Challenges ¡of ¡large-­‑scale ¡experimenta.on ¡

• Thoughts? ¡

Credibility ¡

“Credibility ¡refers ¡to ¡the ¡believability ¡of ¡a ¡research ¡claim. ¡It ¡ requires ¡both ¡methodological ¡soundness, ¡and ¡theore7cal ¡ coherence.” ¡– ¡Abelson ¡ “How ¡believable ¡is ¡it?” ¡–Gergle ¡ ¡ Benefits ¡of ¡large-­‑scale ¡experimenta.on ¡

• Opportunity ¡for ¡embedded ¡replica=ons ¡and ¡extensions ¡

Challenges ¡of ¡large-­‑scale ¡experimenta.on ¡

• Credibility ¡in ¡science ¡includes ¡doing ¡things ¡according ¡to ¡pre-­‑

established ¡best ¡prac=ces–what ¡happens ¡when ¡we ¡don’t ¡have ¡ those? ¡

• … ¡ ¡

Jean-­‑Christophe ¡Plan=n, ¡C. ¡Lagoze, ¡P. ¡Edwards, ¡and ¡C. ¡Sandvig ¡C. ¡(forthcoming) ¡“Big ¡Data ¡is ¡not ¡About ¡ Size ¡: ¡When ¡Data ¡Transform ¡Scholarship,” ¡in ¡Mabi, ¡C., ¡Plan=n ¡JC., ¡Monnoyer-­‑Smith ¡L., ¡(eds.) ¡

Null ¡Hypothesis ¡Significance ¡Tes.ng ¡

“…the ¡null ¡hypothesis ¡ significance ¡tes=ng ¡procedure ¡ is ¡invalid… ¡BASP ¡is ¡banning ¡ the ¡NHSTP.” ¡ ¡ “…prior ¡to ¡publica=on, ¡authors ¡ will ¡have ¡to ¡remove ¡… ¡ ¡ (p-­‑values, ¡t-­‑values, ¡F-­‑values, ¡ statements ¡about ¡‘‘significant’’ ¡ differences ¡or ¡lack ¡thereof, ¡ and ¡so ¡on).” ¡

David ¡Trafimow ¡& ¡Michael ¡Marks ¡(2015) ¡Editorial, ¡Basic ¡and ¡Applied ¡Social ¡Psychology, ¡37:1, ¡1-­‑2. ¡

The ¡BASP ¡Ban ¡on ¡NHST ¡

Oooh ¡pick ¡us ¡ – ¡we ¡have ¡a ¡ much ¡beFer ¡ way! ¡ I’m ¡not ¡even ¡certain ¡ about ¡you ¡two… ¡I ¡find ¡ your ¡Laplacian ¡ assump.ons ¡and ¡ priors ¡troubling! ¡

P(H0 ¡true|observed ¡data) ¡

✗

What ¡a ¡p-­‑value ¡tells ¡us: ¡ ¡ ¡ P(observed ¡data|H0 ¡true) ¡

✓

P(HA ¡true|observed ¡data) ¡

✗

Some ¡Addi.onal ¡Thoughts ¡for ¡Discussion ¡

Developing ¡a ¡community ¡of ¡prac=ce ¡around ¡large-­‑scale ¡online ¡ experimenta=on? ¡ Are ¡there ¡cri=cal ¡differences ¡between ¡a ¡science ¡of ¡designs ¡(n.) ¡vs. ¡a ¡ science ¡of ¡human ¡behavior? ¡ Experimenta=on ¡and ¡hypothesis ¡tes=ng ¡as ¡an ¡approach ¡to ¡causal ¡ inference ¡and ¡theory ¡development? ¡Or ¡a ¡decomposi=onal ¡approach? ¡ ¡ Can ¡this ¡approach ¡move ¡us ¡beyond ¡binary ¡“mini-­‑theories” ¡(as ¡ lamented ¡by ¡Newell ¡in ¡his ¡1973, ¡“You ¡can’t ¡play ¡20 ¡ques=ons ¡with ¡ nature ¡and ¡win” ¡paper)? ¡ ¡ What ¡about ¡“the ¡end ¡of ¡theory” ¡from ¡big ¡data? ¡