Devavrat Shah Laboratory for Information and Decision - PowerPoint PPT Presentation

Devavrat ¡Shah ¡ ¡ Laboratory ¡for ¡Information ¡and ¡Decision ¡Systems ¡ Department ¡of ¡EECS ¡ Massachusetts ¡Institute ¡of ¡Technology ¡ http://web.mit.edu/devavrat/www ¡ (list ¡of ¡relevant ¡references ¡in ¡the ¡last ¡set ¡of ¡slides) ¡ ¡

o Ideally ¡ o Graphical ¡models ¡ o Belief ¡propagation ¡ o Connections ¡to ¡Probability, ¡Statistics, ¡EE, ¡CS,… ¡ ¡ ¡ o ¡In ¡reality ¡ o A ¡set ¡of ¡very ¡exciting ¡(to ¡me, ¡may ¡be ¡others) ¡questions ¡at ¡the ¡ interface ¡of ¡all ¡of ¡the ¡above ¡and ¡more ¡ o Seemingly ¡unrelated ¡to ¡graphical ¡model ¡ ¡ o However, ¡provide ¡fertile ¡ground ¡to ¡understand ¡everything ¡about ¡ graphical ¡models ¡(algorithms, ¡analysis) ¡ ¡

o Recommendations ¡ o What ¡movie ¡to ¡watch ¡ o Which ¡restaurant ¡to ¡eat ¡ o … ¡ ¡ o Precisely, ¡ ¡ o Suggest ¡what ¡you ¡may ¡like ¡ o Given ¡what ¡others ¡have ¡liked ¡ o By ¡finding ¡others ¡like ¡you ¡and ¡what ¡they ¡had ¡liked ¡ ¡

o Ranking ¡ o Players ¡and/or ¡Teams ¡ ¡ o Based ¡on ¡outcome ¡of ¡games ¡ ¡ o Papers ¡at ¡a ¡competitive ¡conference ¡ o Using ¡reviews ¡ o Graduate ¡admissions ¡ o From ¡feedback ¡of ¡professors ¡ o Precisely, ¡ ¡ o Global ¡ranking ¡of ¡objects ¡from ¡partial ¡preferences ¡

o Partial ¡preferences ¡are ¡revealed ¡in ¡different ¡forms ¡ o Sports: ¡Win ¡and ¡Loss ¡ o Social: ¡Starred ¡rating ¡ o Conferences: ¡Scores ¡ ¡ o All ¡can ¡be ¡viewed ¡as ¡ pair-­‑wise ¡comparisons ¡ o IND ¡beats ¡AUS: ¡IND ¡> ¡AUS ¡ o Clio ¡***** ¡vs ¡No ¡9 ¡Park ¡****: ¡Clio ¡> ¡No ¡9 ¡Park ¡ o Ranking ¡Paper ¡9/10 ¡vs ¡Other ¡Paper ¡5/10: ¡Ranking ¡> ¡Other ¡

o Revealed ¡preferences ¡lead ¡to ¡ ¡ o Bag ¡of ¡pair-­‑wise ¡comparisons ¡ o Question ¡of ¡interest ¡ ¡ o Recommendations ¡ o Suggest ¡what ¡you ¡may ¡like ¡given ¡what ¡others ¡have ¡liked ¡ o Ranking ¡ ¡ o Global ¡ranking ¡of ¡objects ¡given ¡outcome ¡of ¡games/… ¡ Ø This ¡requires ¡understanding ¡(computing) ¡choice ¡model ¡ o What ¡people ¡like/dislike ¡from ¡pair-­‑wise ¡comparisons ¡

o Rational ¡view: ¡Axiom ¡of ¡revealed ¡preferences ¡[Samuelson ¡’37] ¡ o There ¡is ¡one ¡ordering ¡over ¡all ¡objects ¡consistent ¡across ¡population ¡ o Unlikely ¡(lack ¡of ¡transitivity ¡in ¡people’s ¡preferences) ¡ ¡ o Meaningful ¡view ¡– ¡“discrete ¡choice ¡model’’ ¡ o Distribution ¡over ¡orderings ¡of ¡objects ¡ ¡ o consistent ¡with ¡population’s ¡revealed ¡preferences ¡ Choice ¡ ¡ Data ¡ Decision ¡ Model ¡ > > A ¡ B ¡ C ¡ > > A ¡ B ¡ C ¡ 0.25 ¡ > B ¡ > > A ¡ A ¡ C ¡ > B ¡ C ¡ > > A ¡ B ¡ C ¡ 0.75 ¡ > > A ¡ B ¡ C ¡ > > A ¡ B ¡ C ¡

o Object ¡tracking ¡(cf. ¡Huang, ¡Guestrin, ¡Guibas ¡‘08) ¡ o Noisy ¡observations ¡of ¡locations ¡ o Feasible ¡to ¡maintain ¡partial ¡information ¡only ¡ o Q=[Q ij ] ¡– ¡first-­‑order ¡information ¡ ¡ Q 11 ¡= ¡ P (1 è P1) ¡ 1 ¡ P1 ¡ Q 12 ¡ Q 13 ¡ 2 ¡ P2 ¡ 3 ¡ P3 ¡ Locations ¡ Objects ¡

o Object ¡tracking ¡ o Noisy ¡observations ¡of ¡locations ¡ o Feasible ¡to ¡maintain ¡partial ¡information ¡only ¡ o Q=[Q ij ] ¡– ¡first-­‑order ¡information ¡ ¡ Choice ¡ ¡ Data ¡ Decision ¡ Model ¡ Q 11 ¡ 1 ¡ 1 ¡ 1 ¡ P1 ¡ P1 ¡ P1 ¡ Q 12 ¡ Q 13 ¡ 2 ¡ 2 ¡ 2 ¡ P2 ¡ P2 ¡ P2 ¡ 3 ¡ 3 ¡ 3 ¡ P3 ¡ P3 ¡ P3 ¡

o Recommendation ¡ o Ranking ¡ o Object ¡tracking ¡ o Policy ¡making ¡ o Business ¡operations ¡(assortment ¡optimization) ¡ o Display ¡advertising ¡ o Polling,… ¡ o Canonical ¡question ¡ o Decision ¡using ¡choice ¡model ¡learnt ¡from ¡partial ¡preference ¡data ¡

Q 11 ¡ 1 ¡ P1 ¡ Q 12 ¡ Q 13 ¡ 2 ¡ P2 ¡ 3 ¡ P3 ¡

Q 11 ¡ 1 ¡ P1 ¡ Q 12 ¡ Q 13 ¡ 2 ¡ P2 ¡ 3 ¡ P3 ¡ o Q. ¡Given ¡weighted ¡bipartite ¡graph ¡G=(V, ¡E, ¡Q) ¡ o Find ¡matching ¡of ¡objects/positions ¡ o That ¡is ¡`most ¡likely’ ¡

1 ¡ P1 ¡ 2 ¡ P2 ¡ 3 ¡ P3 ¡ o Answer: ¡maximum ¡weight ¡matching ¡ o Weight ¡of ¡a ¡matching ¡equals ¡ ¡ o summation ¡of ¡Q-­‑entries ¡of ¡edges ¡participating ¡in ¡the ¡matching ¡

> ¡ A ¡ B ¡ > ¡ B ¡ C ¡ > ¡ C ¡ A ¡ > ¡ C ¡ A ¡

# ¡times ¡1 ¡defeats ¡2 ¡ A 12 ¡ 1 ¡ A 21 ¡ 6 ¡ 2 ¡ 5 ¡ 3 ¡ 4 ¡ o Q1. ¡Given ¡weighted ¡comparison ¡graph ¡G=(V, ¡E, ¡A) ¡ o Find ¡ranking ¡of/scores ¡associated ¡with ¡objects ¡ o Q2. ¡When ¡possible ¡(e.g. ¡Conference/Crowd-­‑Sourcing), ¡choose ¡G ¡so ¡as ¡to ¡ ¡ o Minimize ¡the ¡number ¡of ¡comparisons ¡required ¡to ¡find ¡ranking/scores ¡ ¡ ¡ ¡

A 12 ¡ 1 ¡ A 21 ¡ 6 2 o Random ¡walk ¡on ¡comparison ¡graph ¡G=(V,E,A) ¡ o d ¡= ¡max ¡(undirected) ¡vertex ¡degree ¡of ¡G ¡ 5 3 o For ¡each ¡edge ¡(i,j): ¡ o P ij ¡ = ¡(A ji ¡ +1)/(A ij ¡ +A ij ¡ +2) ¡x ¡1/d ¡ 4 o For ¡each ¡node ¡i: ¡ ¡ o P ii ¡ = ¡1-­‑ ¡ ¡Σ j≠i ¡P ij ¡ o Let ¡G ¡be ¡connected ¡ o Let ¡s ¡be ¡the ¡unique ¡stationary ¡distribution ¡of ¡RW ¡P ¡ s T = s T P o Ranking: ¡ ¡ o Use ¡s ¡as ¡scores ¡of ¡objects ¡ ¡

A 12 ¡ 1 ¡ A 21 ¡ 6 2 o Random ¡walk ¡on ¡comparison ¡graph ¡G=(V,E,A) ¡ o d ¡= ¡max ¡(undirected) ¡vertex ¡degree ¡of ¡G ¡ 5 3 o For ¡each ¡edge ¡(i,j): ¡ o P ij ¡ = ¡(A ji ¡ +1)/(A ij ¡ +A ij ¡ +2) ¡x ¡1/d ¡ 4 o For ¡each ¡node ¡i: ¡ ¡ o P ii ¡ = ¡1-­‑ ¡ ¡Σ j≠i ¡P ij ¡ o Ranking: ¡use ¡s ¡as ¡scores ¡of ¡objects, ¡where ¡ o s ¡be ¡the ¡unique ¡stationary ¡distribution ¡of ¡RW ¡P ¡ s T = s T P o Choice ¡of ¡graph ¡G ¡ o Subject ¡to ¡constraints, ¡choose ¡G ¡so ¡that ¡ ¡ o Spectral ¡gap ¡of ¡natural ¡RW ¡on ¡G ¡is ¡maximized ¡ o SDP ¡[Boyd, ¡Diaconis, ¡Xiao ¡‘04] ¡

Q 11 ¡ > ¡ A ¡ B ¡ 1 ¡ P1 ¡ Q 12 ¡ > ¡ Q 13 ¡ B ¡ C ¡ 2 ¡ P2 ¡ > ¡ C ¡ A ¡ 3 ¡ P3 ¡ > ¡ C ¡ A ¡ o Rank ¡centrality ¡ o Maximum ¡Weight ¡Matching ¡ o How ¡to ¡compute ¡it ¡? ¡ o How ¡to ¡compute ¡it ¡? ¡ o Power-­‑iteration ¡ o Belief ¡propagation ¡ o Why ¡does ¡it ¡make ¡sense ¡? ¡ o Why ¡does ¡it ¡make ¡sense ¡? ¡ o Mode ¡for ¡Bradley-­‑Terry-­‑Luce ¡ ¡ o Max-­‑likelihood ¡estimation ¡ ¡ ¡ ¡ ¡ ¡(or ¡MNL) ¡model ¡ ¡ ¡ ¡ ¡ ¡w.r.t. ¡“exponential ¡family’’ ¡ ¡ ¡

Q 11 ¡ 1 ¡ P1 ¡ Q 12 ¡ Q 13 ¡ 2 ¡ P2 ¡ 3 ¡ P3 ¡

(all ¡of ¡below ¡explained ¡using ¡class-­‑board) ¡ o Computation ¡ o Belief ¡propagation ¡ o Algorithm ¡ o Why ¡it ¡works ¡ o Model ¡ ¡ o Maximum ¡entropy ¡(max-­‑ent) ¡consistent ¡distribution ¡ o Maximum ¡Likelihood ¡in ¡exponential ¡family ¡ o Maximum ¡weight ¡matching ¡ ¡ o “First-­‑order” ¡approximation ¡of ¡mode ¡of ¡this ¡distribution ¡ o Exact ¡computation ¡of ¡max-­‑ent ¡ ¡ ¡ o Via ¡dual ¡gradient ¡ ¡ o Belief ¡propagation/MCMC ¡at ¡rescue ¡

> ¡ A ¡ B ¡ > ¡ B ¡ C ¡ > ¡ C ¡ A ¡ > ¡ C ¡ A ¡

o Choice ¡model ¡(distribution ¡over ¡permutations) ¡ ¡ ¡ ¡ ¡ ¡ [Bradley-­‑Terry-­‑Luce ¡(BTL) ¡or ¡MNL ¡(cf. ¡McFadden) ¡Model] ¡ o Each ¡object ¡i ¡has ¡an ¡associated ¡ weight ¡ w i ¡ > ¡0 ¡ o When ¡objects ¡i ¡and ¡j ¡are ¡compared ¡ o P(i ¡> ¡j) ¡= ¡w i ¡ /(w i ¡+ ¡w j ) ¡ o Sampling ¡model ¡ o Edges ¡E ¡of ¡graph ¡G ¡are ¡selected ¡ o For ¡each ¡(i,j) ¡ε ¡E, ¡sample ¡k ¡pair-­‑wise ¡comparisons ¡ ¡ ¡