Machine Learning and Computational Social Science - PowerPoint PPT Presentation

Machine ¡Learning ¡and ¡ Computational ¡Social ¡Science Intersections ¡and ¡Collisions David ¡Jensen Department ¡of ¡Computer ¡Science University ¡of ¡Massachusetts ¡Amherst 17 ¡December ¡2011

1202

Introduced ¡new ¡representations ¡and ¡algorithms 0 ¡ ¡1 ¡ ¡2 ¡ ¡3 ¡ ¡4 ¡ ¡5 ¡ ¡6 ¡ ¡7 ¡ ¡8 ¡ ¡9 ¡ ¡ ¡ CCXXVI 226 226 = ¡(2 ¡x ¡100) ¡+ ¡(2 ¡x ¡10) ¡+ ¡6 ¡ 226 382 + ¡471 x ¡16 ⅜ ¡+ ¼ ¡= ¡ ⅝ ¡ 697 6112

Displaced ¡existing ¡methods

Computational ¡ Social ¡Science

Decomposing ¡research ¡problems Agent Task Behavior Environment

Example Agent Agent Task Task Person Job-­‑hunting Behavior Behavior Exploiting ¡the strength ¡of weak ¡ties (Granovetter ¡1973) Environment Environment Social ¡network ¡of ¡friends ¡and ¡acquaintances

Traditional ¡social ¡science Agent Agent Task Task Scientists Understand ¡the ¡ behavior ¡of ¡ social ¡systems Behavior Behavior Current ¡research ¡ practices ¡in ¡ social ¡science ¡ Environment Environment Available ¡data ¡and ¡analytic ¡methods

Computational ¡social ¡science Agent Agent Task Scientists Scientist Understand ¡the ¡ + ¡Computation behavior ¡of ¡ social ¡systems Behavior Behavior New ¡research ¡ Current ¡research ¡ practices ¡in ¡ practices ¡in ¡ social ¡science ¡ social ¡science ¡ Environment Environment Environment Available ¡data ¡and ¡analytic ¡methods Available ¡data ¡and ¡analytic ¡methods Available ¡data ¡and ¡analytic ¡methods

Computational ¡social ¡science Social ¡scientists ¡+ ¡ Computer ¡scientists ¡+ ¡ Agent Task Statisticians ¡+ ¡others Scientists Understand ¡the ¡ + ¡Computation behavior ¡of ¡ Representations ¡+ ¡ social ¡systems Algorithms Behavior New ¡research ¡ practices ¡in ¡ social ¡science ¡ Environment Available ¡data ¡and ¡analytic ¡methods

Key ¡question Given ¡the ¡ environment ¡and ¡ task , ¡ what ¡ representations ¡and ¡algorithms are ¡most ¡appropriate? Also: What ¡new ¡ tasks ¡can ¡we ¡accomplish, ¡ given ¡agents ¡and ¡environments? What ¡new ¡ environments ¡can ¡be ¡studied, ¡ given ¡existing ¡tasks ¡and ¡agents

Key ¡points • The ¡ environments ¡and ¡ tasks ¡of ¡social ¡science ¡ make ¡new ¡requirements ¡on ¡the ¡representations ¡ and ¡algorithms ¡from ¡computer ¡science ¡and ¡ statistics. • Unless ¡we ¡adapt ¡computational ¡representations ¡ and ¡algorithms ¡to ¡that ¡new ¡context, ¡they ¡are ¡ unlikely ¡to ¡be ¡widely ¡adopted ¡and ¡used. • If ¡we ¡adapt, ¡radical ¡improvements ¡are ¡possible ¡ in ¡our ¡understanding ¡of ¡social ¡systems.

Example

(Armour ¡& ¡Haynie ¡2007) (Harden ¡et ¡al. ¡2007)

A B A B Early Sex Delinquency Early Sex Delinquency (Armour ¡& ¡Haynie ¡2007) (Harden ¡et ¡al. ¡2007)

Genetics and Family Environment C A B A B Early Sex Delinquency Early Sex Delinquency (Armour ¡& ¡Haynie ¡2007) (Harden ¡et ¡al. ¡2007)

What ¡is ¡causality? “The ¡paradigmatic ¡assertion ¡in ¡causal ¡relationships ¡ is ¡that ¡manipulation ¡of ¡a ¡cause ¡ will ¡result ¡in ¡the ¡manipulation ¡of ¡an ¡effect… ¡ Causation ¡implies ¡that ¡by ¡varying ¡one ¡factor, ¡ I ¡can ¡make ¡another ¡vary.” – ¡ Cook ¡& ¡Campbell ¡(1979)

Causal ¡structures ¡producing ¡association Direct ¡causation ¡— ¡ A ¡causes ¡B ¡ in ¡the ¡ A B expected ¡direction. Reverse ¡causation ¡— ¡ A ¡causes ¡B ¡ in ¡the ¡ A B reverse ¡direction. Causal ¡chain ¡— ¡A ¡indirectly ¡causes ¡B ¡ A C B through ¡C. Common ¡cause ¡— ¡The ¡variable ¡ C ¡causes ¡ C both ¡ A ¡and ¡ B , ¡thus ¡inducing ¡a ¡dependence ¡ A B between ¡ A ¡and ¡ B . Conditioning ¡on ¡a ¡common ¡effect ¡— ¡ A ¡and ¡ B ¡ A B share ¡a ¡common ¡effect ¡ C , ¡and ¡conditioning ¡ on ¡this ¡variable ¡can ¡induce ¡a ¡dependence ¡ C between ¡ A ¡and ¡ B .

Causal ¡structures ¡producing ¡association Direct ¡causation ¡— ¡ A ¡causes ¡B ¡ in ¡the ¡ Direct ¡causation ¡— ¡ A ¡causes ¡B ¡ in ¡the ¡ A B expected ¡direction. expected ¡direction. Reverse ¡causation ¡— ¡ A ¡causes ¡B ¡ in ¡the ¡ A B reverse ¡direction. Causal ¡chain ¡— ¡A ¡indirectly ¡causes ¡B ¡ A C B through ¡C. Common ¡cause ¡— ¡The ¡variable ¡ C ¡causes ¡ Common ¡cause ¡— ¡The ¡variable ¡ C ¡causes ¡ C both ¡ A ¡and ¡ B , ¡thus ¡inducing ¡a ¡dependence ¡ both ¡ A ¡and ¡ B , ¡thus ¡inducing ¡a ¡dependence ¡ A B between ¡ A ¡and ¡ B . between ¡ A ¡and ¡ B . Conditioning ¡on ¡a ¡common ¡effect ¡— ¡ A ¡and ¡ B ¡ A B share ¡a ¡common ¡effect ¡ C , ¡and ¡conditioning ¡ on ¡this ¡variable ¡can ¡induce ¡a ¡dependence ¡ C between ¡ A ¡and ¡ B .

Modeling ... ... ... C 1 C 1 C 2 C 2 C 3 C 3 C n C n C 1 C 2 C 3 C n A A B B A B Early Sex Early Sex Delinquency Delinquency Early Sex Delinquency (Armour ¡& ¡Haynie ¡2007) (Harden ¡et ¡al. ¡2007)

Modeling • Armour ¡and ¡Haynie ¡modeled ¡a ¡large ¡number ¡ of ¡potential ¡influences ¡on ¡adolescent ¡behavior. • Even ¡after ¡accounting ¡for ¡these ¡potential ¡causes, ¡a ¡ statistical ¡association ¡remained ¡between ¡ early ¡sexual ¡activity ¡and ¡delinquency.

Modeling ... ... C 1 C 2 C 3 C n C 1 C 2 C 3 C n A B A B Early Sex Delinquency Early Sex Delinquency (Armour ¡& ¡Haynie ¡2007) (Harden ¡et ¡al. ¡2007)

Control Modeling ... ... ... ... C 1 C 1 C 2 C 2 C 3 C 3 C n C n C 1 C 1 C 2 C 2 C 3 C 3 C n C n A A B B A A B B Early Sex Early Sex Delinquency Delinquency Early Sex Early Sex Delinquency Delinquency (Armour ¡& ¡Haynie ¡2007) (Harden ¡et ¡al. ¡2007)

Twin ¡studies Genotype ... ... E F Z E F Z A C A C Phenotype D B D B Person ¡1 Person ¡2

Twin ¡studies Genotype ... E F Z A C A C Phenotype D B D B Person ¡1 Person ¡2

(Hardin ¡et ¡al. ¡2007)

Quasi-­‑experimental ¡Designs • Quasi-­‑experimental ¡designs ¡(QEDs) ¡are ¡a ¡family ¡of ¡ methods ¡for ¡exploiting ¡fortuitous ¡situations ¡in ¡ observational ¡data ¡that ¡emulate ¡control ¡and ¡ randomization. • QEDs... • ... are ¡ templates ¡for ¡causal ¡inference... • ...that ¡increase ¡ statistical ¡power ... ¡ • ...by ¡exploiting ¡relations ¡and ¡time ... • ...to ¡reduce ¡or ¡eliminate ¡the ¡need ¡to ¡model ¡the ¡ effects ¡of ¡some ¡variables.

Many ¡types ¡of ¡QEDs Within twin pairs • Twin ¡design ¡— ¡Control ¡the ¡value ¡of ¡some ¡ C potential ¡common ¡causes ¡ within ¡specified ¡pairs ¡of ¡instances. A B • Non-­‑equivalent ¡control ¡group ¡design ¡— ¡ C Compare ¡temporal ¡responses ¡of ¡treated ¡ instances ¡to ¡a ¡control ¡group ¡of ¡similar ¡ A B untreated ¡instances. • Regression ¡discontinuity ¡design ¡— ¡Identify ¡ C cases ¡where ¡treatment ¡is ¡assigned ¡based ¡ on ¡a ¡single ¡variable. A B • and ¡many ¡more... ¡

Types ¡of ¡threats ¡to ¡validity • Statistical ¡conclusion ¡validity ¡ Is ¡there ¡a ¡statistical ¡dependence ¡between ¡ treatment ¡and ¡outcome? • Internal ¡validity ¡ Does ¡the ¡observed ¡correlation ¡reflect ¡a ¡causal ¡ dependence ¡between ¡treatment ¡and ¡outcome? • Construct ¡validity ¡ Do ¡the ¡sampling ¡particulars ¡correspond ¡to ¡the ¡ higher-­‑order ¡constructs ¡we ¡wish ¡to ¡examine? • External ¡validity ¡ Does ¡the ¡inferred ¡causal ¡relationship ¡generalize ¡to ¡ alternative ¡units, ¡treatment ¡variables, ¡and ¡outcome ¡ variables? Shadish, ¡Cook, ¡& ¡Campbell, ¡ Experimental ¡and ¡Quasi-­‑experimental ¡Designs ¡for ¡Generalized ¡Causal ¡Inference , ¡Houghton ¡Mifflin, ¡2002