Why Incen)ve Alignment is Relevant for Data Science - - PowerPoint PPT Presentation

Why ¡Incen)ve ¡Alignment ¡ ¡ is ¡Relevant ¡for ¡Data ¡Science ¡

Yiling ¡Chen ¡ Harvard ¡University ¡

¡

February ¡24, ¡2016 ¡

People ¡are ¡strategic ¡

▶ Report ¡outcome ¡of ¡a ¡private ¡die ¡roll ¡

[Fischbacher ¡& ¡Heusi ¡2008] ¡

▶ Pay ¡1, ¡2, ¡3, ¡4, ¡5, ¡or ¡0 ¡CHF ¡ ¡ ▶ One-­‑shot: ¡27% ¡4, ¡35% ¡5, ¡6.5% ¡6 ¡ ▶ Repeated: ¡52% ¡5 ¡

▶ Report ¡outcome ¡of ¡a ¡private ¡coin ¡flip ¡ ¡ ¡ ¡

[Rob ¡Miller, ¡CI ¡2012] ¡

▶ 70 ¡heads, ¡29 ¡tails, ¡1 ¡other ¡ ¡

¡

12 ¡

¡ ¡ ¡

¡ ¡ ¡How ¡we ¡collect ¡data ¡maYers! ¡ ¡

Outline ¡

▶ Examples ¡on ¡how ¡mechanisms ¡can ¡affect ¡data ¡

collected ¡in ¡crowdsourcing ¡

▶ Purchasing ¡data ¡for ¡machine ¡learning ¡

Games ¡with ¡a ¡Purpose ¡

▶ The ¡ESP ¡game ¡

David ¡Rudisha ¡ Runner ¡ Person ¡ Runner ¡

Collected ¡seman)c ¡labels ¡for ¡over ¡100 ¡million ¡pictures ¡in ¡< ¡5 ¡years. ¡ ¡

[von ¡Ahn ¡& ¡Dabbish ¡04, ¡08, ¡von ¡Ahn ¡06] ¡

Output-­‑Agreement ¡Mechanisms ¡ ¡

▶ The ¡ESP ¡Game ¡rewards ¡agreement ¡ ▶ More ¡generally, ¡reward ¡in ¡an ¡output-­‑

agreement ¡mechanism ¡increases ¡with ¡the ¡ degree ¡of ¡agreement ¡

16 ¡

[Waggoner ¡& ¡Chen ¡14] ¡ ¡

What ¡knowledge ¡is ¡elicited ¡in ¡an ¡output-­‑agreement ¡mechanism? ¡ ¡

Output ¡Agreement ¡and ¡Common ¡Knowledge ¡

▶ Thm: ¡Output ¡agreement ¡elicits ¡common ¡knowledge ¡

but ¡not ¡rare ¡knowledge ¡at ¡a ¡game-­‑theore)c ¡ equilibrium ¡

17 ¡

The ¡image ¡ is ¡a ¡runner. ¡

The ¡image ¡is ¡David ¡ Rudisha ¡at ¡2008 ¡ Beijing ¡Olympics. ¡

Performance-­‑Con)ngent ¡Financial ¡Rewards ¡

▶ Learn ¡a ¡model ¡to ¡characterize ¡how ¡

workers ¡react ¡to ¡bonuses ¡provided ¡in ¡ selected ¡tasks. ¡

▶ Use ¡the ¡model ¡to ¡make ¡online ¡bonus ¡

placement ¡decisions ¡ ¡

19 ¡

[Yin ¡& ¡Chen ¡15] ¡ ¡

How ¡do ¡workers ¡react ¡to ¡bonuses ¡on ¡ selected ¡tasks? ¡

▶ A ¡sequence ¡of ¡9 ¡word ¡puzzles ¡ ▶ Randomly ¡placed ¡bonus ¡

20 ¡

Characterize ¡the ¡Bonus ¡Impact ¡

at : whether ¡bonus ¡is ¡ ¡

provided ¡in ¡task ¡t

xt : whether ¡the ¡answer ¡

in ¡task ¡t has ¡high-­‑quality ¡

zt : worker’s ¡hidden ¡

state ¡in ¡task ¡t (out ¡of ¡ K ¡possibili)es) ¡ Emission ¡probability: Pe (xt | zt , at ) Transi)on ¡probability: Ptr (zt | zt-1 , at )

Input-­‑Output ¡Hidden ¡Markov ¡Model ¡

Learn ¡the ¡IOHMM ¡

Training ¡Dataset ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ … ¡

✓ ¡

✓ ¡

✗ ¡ … ¡ ✓ ¡

… ¡

✗ ¡

✗ ¡

✓ ¡ … ¡ ✓ ¡

… ¡

✓ ¡

✗ ¡

✓ ¡ … ¡ ✗ ¡

Learned ¡IOHMM ¡

¡ ¡ ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Transi)on ¡Probability ¡ ¡ ¡ ¡ ¡Matrices ¡(Ta) ¡

¡ ¡ ¡Emission ¡Probability ¡ ¡

¡ ¡Matrices ¡(Ea) ¡

¡

¡ ¡Ini)al ¡State ¡Belief ¡(b0) ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

Expecta(on-­‑ ¡ Maximiza(on ¡

The ¡Learned ¡IOHMM ¡

K = 2 ¡hidden ¡states ¡in ¡the ¡Learned ¡IOHMM. ¡

Ini(al ¡state ¡belief: ¡b0 = (0.67, 0.33) Emission ¡probability ¡matrices: ¡

¡

¡

¡

¡

Transi(on ¡probability ¡matrices: ¡ ¡

!! = 0.10 0.90 0.88 0.12 , !!!! = 0.13 0.87 0.61 0.39 !

• State ¡1: ¡“Diligent” ¡
• State ¡2: ¡“Lazy”, ¡but ¡can ¡be ¡improved ¡with ¡bonus ¡

!! = 0.92 0.08 1 , !!!! = 1 0.09 0.91 !

• No ¡Bonus: ¡a ¡small ¡chance ¡to ¡“slack ¡off” ¡from ¡the ¡diligent ¡state ¡
• Bonus: ¡a ¡small ¡chance ¡to ¡“promote” ¡to ¡the ¡diligent ¡state ¡

No ¡Bonus ¡ Bonus ¡ LQ ¡ HQ ¡ LQ ¡ HQ ¡ S1 ¡ S2 ¡ S1 ¡ S2 ¡ Bonus ¡ No ¡Bonus ¡ S1 ¡ S2 ¡ S1 ¡ S2 ¡ S1 ¡ S2 ¡ S1 ¡ S2 ¡

Requester’s ¡u(lity ¡ improves ¡27% ¡

▶ Does ¡magnitude ¡of ¡bonus ¡maYer? ¡ ▶ Does ¡change ¡in ¡bonus ¡magnitude ¡

maYer? ¡ ¡

24 ¡

[Yin, ¡Chen ¡& ¡Sun ¡13] ¡ ¡

Experiment ¡Design ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡fixed ¡payment ¡bonus ¡1

¡ ¡ ¡bonus ¡2 ¡ ¡

1 ¡ 2 ¡

HIT ¡

Base ¡treatments ¡ Increasing ¡ Sequences ¡ Decreasing ¡ Sequences ¡ 4¢−4¢ ¡ 8¢−8¢ ¡ 4¢−8¢ ¡ 8¢−4¢ ¡ 16¢−16¢ ¡ 4¢−16¢ ¡ 16¢−4¢ ¡ 32¢−32¢ ¡ 4¢−32¢ ¡ 32¢−4¢ ¡

100 ¡unique ¡subjects ¡for ¡each ¡treatment ¡ Two ¡experiments: ¡fine ¡motor ¡skill ¡task ¡and ¡cogni)ve ¡skill ¡task ¡ ¡

Bonus Level # of clicks on target

260 280 300 320 340 360

• 4−4

8−8 16−16 32−32 Task

• Task 1

Task 2

Base ¡Treatments ¡

• Increasing ¡Sequences ¡

Decreasing ¡Sequences ¡

Observa)ons ¡

▶ The ¡magnitude ¡of ¡performance-­‑con)ngent ¡financial ¡

rewards ¡alone ¡does ¡not ¡affect ¡work ¡quality ¡

▶ The ¡change ¡in ¡the ¡magnitude ¡does ¡affect ¡work ¡

quality ¡

Possible ¡Explana)on ¡

▶ Fair ¡wage ¡– ¡effort ¡hypothesis ¡[Akerlof ¡and ¡Yellen ¡1988] ¡

▶ Workers ¡have ¡a ¡concep)on ¡of ¡a ¡fair ¡wage ¡and ¡supply ¡a ¡frac)on ¡

• f ¡their ¡normal ¡effort ¡if ¡the ¡actual ¡wage ¡is ¡less ¡than ¡the ¡fair ¡
• wage. ¡

▶ They ¡may ¡not ¡have ¡the ¡concep)on ¡a ¡priori ¡

¡

▶ The ¡anchoring ¡effect ¡[Tversky ¡and ¡Kahneman ¡1974, ¡Ariely, ¡

Loewenstein, ¡and ¡Prelec ¡2003] ¡

▶ Human ¡tendency ¡to ¡rely ¡heavily ¡on ¡the ¡first ¡piece ¡of ¡informa)on, ¡

which ¡may ¡be ¡irrelevant, ¡in ¡making ¡subsequent ¡judgments ¡

Outline ¡

▶ Examples ¡on ¡how ¡mechanisms ¡(interac)on ¡rules) ¡can ¡

affect ¡data ¡collected ¡in ¡crowdsourcing ¡

▶ Purchasing ¡data ¡for ¡machine ¡learning ¡

[Abernethy, ¡Chen, ¡Ho ¡and ¡Waggoner ¡‘15] ¡ ¡

31 ¡

z1 z2

learning ¡alg ¡

data ¡source ¡ h

hypothesis ¡ data ¡ data-­‑needer ¡ Goal: ¡use ¡small ¡amount ¡of ¡data, ¡output ¡“good” ¡h. ¡

Classic ¡Machine ¡Learning ¡Problem ¡

32 ¡

c1 z1 z2

mechanism ¡

data ¡source ¡

c2

h

hypothesis ¡ “Cost ¡of ¡revealing ¡data” ¡ ¡ ¡ ¡Goal: ¡spend ¡small ¡budget, ¡output ¡“good” ¡h. ¡ data-­‑needer ¡ data-­‑holders ¡

When ¡data ¡are ¡held ¡by ¡individuals ¡ ¡

33 ¡

• 1. Data ¡may ¡be ¡correlated ¡with ¡cost ¡(causing ¡bias) ¡

Paying ¡$10 ¡for ¡data ¡ (to ¡study ¡HIV) ¡ HIV-­‑nega)ve ¡ yes ¡ yes ¡ no ¡ yes ¡ yes ¡ HIV-­‑posi)ve ¡ no ¡ no ¡ yes ¡

Machine ¡Learning ¡roadblock: ¡ how ¡to ¡deal ¡with ¡biases? ¡

Why ¡is ¡it ¡difficult? ¡ ¡

34 ¡

• 2. ¡(Rela)vely) ¡few ¡data ¡are ¡useful ¡

Why ¡is ¡it ¡difficult? ¡ ¡

• ­‑ ¡
• ­‑ -­‑
• ­‑
• ­‑

+ ¡ + ¡ + ¡ + ¡ + ¡ + ¡ + ¡ + ¡

• ­‑ ¡
• ­‑ ¡
• ­‑ ¡
• ­‑ ¡
• ­‑ ¡
• ­‑ ¡
• ­‑ ¡
• ­‑ ¡

+ ¡ + ¡ + ¡ + ¡ + ¡ + ¡+ ¡ + ¡

35 ¡

• 3. ¡ ¡Usefulness ¡(ML) ¡and ¡cost ¡(econ) ¡live ¡in ¡different ¡worlds ¡

learning ¡alg ¡

entropies, ¡gradients, ¡loss ¡ func)ons, ¡divergences ¡

mechanism ¡

auc)ons, ¡budgets, ¡value ¡ distribu)ons, ¡reserve ¡prices ¡

Econ ¡roadblock: ¡ how ¡to ¡assign ¡value ¡to ¡data? ¡

Why ¡is ¡it ¡difficult? ¡ ¡

Broad ¡Research ¡Challenge ¡

• 1. How ¡to ¡assign ¡value ¡(prices) ¡to ¡pieces ¡of ¡data? ¡

¡

• 2. How ¡to ¡design ¡mechanisms ¡for ¡procuring ¡and ¡

learning ¡from ¡data? ¡ ¡

• 3. Develop ¡a ¡theory ¡of ¡budget-­‑constrained ¡learning ¡

36 ¡

Machine ¡Learning ¡roadblock: ¡ how ¡to ¡deal ¡with ¡biases? ¡ Econ ¡roadblock: ¡ how ¡to ¡assign ¡value ¡to ¡data? ¡

37 ¡

E loss( h ) ≤ E loss( h* ) + O

VC-dim

T

h

alg’s ¡hypothesis ¡

• p)mal ¡hypothesis ¡

# ¡of ¡data ¡points ¡ measure ¡of ¡problem ¡ difficulty ¡

Classic ¡ML ¡Bounds ¡

38 ¡

For ¡a ¡variety ¡of ¡learning ¡problems: ¡

¡

E loss( h ) ≤ E loss( h* ) + O

γ

h

• ur ¡hypothesis ¡
• p)mal ¡hypothesis ¡

Budget ¡constraint ¡ measure ¡of ¡“problem ¡difficulty”, ¡ in ¡[0,1]. ¡

B ¡

Our ¡Result ¡

39 ¡

For ¡a ¡variety ¡of ¡learning ¡problems: ¡

¡

E loss( h ) ≤ E loss( h* ) + O

γ

h

• ur ¡hypothesis ¡
• p)mal ¡hypothesis ¡

Budget ¡constraint ¡ measure ¡of ¡“problem ¡difficulty”, ¡ in ¡[0,1]. ¡

B ¡

γ ≈ average ¡ ¡cost ¡* ¡difficulty ¡ ¡ “if ¡problem ¡is ¡cheap ¡or ¡easy ¡or ¡has ¡good ¡correla(ons, ¡ ¡we ¡do ¡well” ¡

Our ¡Result ¡

Conclusion ¡

Incen)ve ¡ ¡ Alignment ¡ Analysis ¡& ¡ ¡ Learning ¡

Collaborators ¡

41 ¡

Ques)ons? ¡

yiling@seas.harvard.edu ¡ hYp://yiling.seas.harvard.edu ¡

42 ¡