Aleksander Mdry Graphs are everywhere Physics Biology Social - PowerPoint PPT Presentation

Graphs, ¡Linear ¡Algebra, ¡ and ¡Con4nuous ¡Op4miza4on ¡ ¡ Part ¡I: ¡Overview ¡ Aleksander ¡Mądry ¡

Graphs ¡are ¡ everywhere ¡ Physics ¡ Biology ¡ Social ¡Sciences ¡ Graph ¡Algorithms ¡ Sta4s4cs ¡ Computer ¡Science ¡ Economics ¡ Algorithmic ¡Graph ¡Theory: ¡ Shaping ¡our ¡understanding ¡ ¡of ¡algorithms ¡since ¡1950s ¡ But: ¡ Our ¡graph ¡toolkit ¡is ¡s;ll ¡far ¡from ¡being ¡complete ¡

Challenge ¡I: ¡Tackling ¡the ¡complexity ¡of ¡core ¡problems ¡ Shortest ¡path/Reachability ¡ ¡ problems ¡ ¡ Matchings/Assignment ¡tasks ¡ Many ¡central ¡ques;ons ¡ is ¡resis;ng ¡progress ¡ ¡ for ¡a ¡long ¡;me ¡ Network ¡Flows ¡ Possible ¡reason: ¡ Our ¡approaches ¡to ¡them ¡did ¡not ¡change ¡ much ¡over ¡the ¡last ¡couple ¡of ¡decades ¡

Challenge ¡II ¡: ¡Dealing ¡with ¡massive ¡graphs ¡ “Big ¡graph” ¡regime: ¡ → ¡Asympto4cs ¡maNers ¡– ¡(“O(n 2 ) ¡won’t ¡cut ¡it”) ¡ ¡ Algorithms ¡can ¡be ¡dirty, ¡but ¡have ¡to ¡be ¡REALLY ¡fast ¡ → ¡Parallelism/distributed ¡aspects ¡increasingly ¡important ¡ Emerging ¡mindset: ¡ What ¡can ¡we ¡do ¡in ¡ nearly-­‑linear ¡4me ? ¡ “ nearly-­‑linear ¡4me ” ¡= ¡new ¡P ¡ Problem: ¡ Tradi;onal ¡techniques ¡seem ¡inadequate ¡here ¡ ¡ ¡ ¡→ ¡ New ¡type ¡of ¡approaches ¡needed ¡

Grand ¡goal: ¡ Forging ¡the ¡next ¡genera;on ¡of ¡tools ¡ ¡ to ¡speed ¡up ¡graph ¡algorithms ¡ Linear-­‑algebraic ¡ tools ¡ (eigenvalues, ¡ electrical ¡flows, ¡ linear ¡systems,…) ¡ Combinatorial ¡methods ¡ Cont. ¡opt. ¡primi4ves ¡ (trees, ¡paths, ¡par;;ons, ¡ matchings, ¡rou;ngs,…) ¡ (gradient-­‑descent, ¡interior-­‑ point ¡methods,…) ¡ Underlying ¡theme: ¡ Merging ¡ ¡ combinatorial ¡and ¡con;nuous ¡methods ¡ Interes4ngly: ¡ The ¡same ¡new ¡tools ¡apply ¡to ¡ ¡ both ¡classic ¡and ¡new ¡challenges ¡

Our ¡plan ¡for ¡this ¡week: ¡ Illustrate ¡this ¡theme ¡on ¡an ¡example ¡ ¡ of ¡a ¡single ¡problem ¡ Problem: ¡ Maximum ¡flow ¡ Underlying ¡approach: ¡ Relate ¡combinatorial ¡structure ¡of ¡a ¡graph ¡to ¡ ¡ linear-­‑algebraic ¡proper;es ¡of ¡associated ¡matrices ¡

¡ Maximum ¡flow ¡problem ¡ Input: ¡ ¡ Directed ¡graph ¡ G , ¡ ¡integer ¡ capaci4es ¡u e , ¡ ¡source ¡s ¡ and ¡sink ¡t ¡ 3 ¡ Think: ¡ ¡arcs ¡= ¡roads ¡ 5 ¡ 8 ¡ ¡capaci;es ¡= ¡# ¡of ¡lanes ¡ ¡ 1 ¡ 1 ¡ t ¡ ¡s/t ¡ = ¡origin/des;na;on ¡ s ¡ 10 ¡ 3 ¡ 4 ¡ 2 ¡ 6 ¡ 6 ¡ 7 ¡ 4 ¡ Task: ¡ Find ¡a ¡ feasible ¡s-­‑t ¡flow ¡of ¡ max ¡value ¡ ( Think: ¡ Es;mate ¡the ¡ max ¡ possible ¡rate ¡of ¡traffic ¡from ¡ s ¡ ¡ to ¡ t ) ¡

¡ Maximum ¡flow ¡problem ¡ Input: ¡ ¡ Directed ¡graph ¡ G , ¡ ¡integer ¡ capaci4es ¡u e , ¡ ¡source ¡s ¡ and ¡sink ¡t ¡ value ¡= ¡net ¡flow ¡out ¡of ¡ s ¡ 3 ¡ Think: ¡ ¡arcs ¡= ¡roads ¡ 5 ¡ 1 ¡ 1 ¡ 8 ¡ ¡capaci;es ¡= ¡# ¡of ¡lanes ¡ ¡ 1 ¡ 1 ¡ 1 ¡ t ¡ ¡s/t ¡ = ¡origin/des;na;on ¡ s ¡ 10 ¡ 3 ¡ 4 ¡ 6 ¡ 2 ¡ 2 ¡ 6 ¡ 6 ¡ 6 ¡ 2 ¡ Max ¡flow ¡value ¡ 7 ¡ Here, ¡value ¡= ¡ 7 ¡ 4 ¡ 4 ¡ F*=10 ¡ no ¡overflow ¡ on ¡arcs : ¡ ¡ no ¡leaks ¡ at ¡all ¡ v≠s,t ¡ 0 ¡≤ ¡f(e) ¡≤ ¡u(e) ¡ Task: ¡ Find ¡a ¡ feasible ¡s-­‑t ¡flow ¡of ¡ max ¡value ¡ ( Think: ¡ Es;mate ¡the ¡ max ¡ possible ¡rate ¡of ¡traffic ¡from ¡ s ¡ ¡ to ¡ t ) ¡

¡ Maximum ¡flow ¡problem ¡ Input: ¡ ¡ Directed ¡graph ¡ G , ¡ ¡integer ¡ capaci4es ¡u e , ¡ ¡source ¡s ¡ and ¡sink ¡t ¡ 3 ¡ 3 ¡ Think: ¡ ¡arcs ¡= ¡roads ¡ 5 ¡ 3 ¡ 1 ¡ 4 ¡ 8 ¡ ¡capaci;es ¡= ¡# ¡of ¡lanes ¡ ¡ 1 ¡ 1 ¡ 4 ¡ t ¡ ¡s/t ¡ = ¡origin/des;na;on ¡ s ¡ 10 ¡ 3 ¡ 4 ¡ 6 ¡ 2 ¡ 2 ¡ 6 ¡ 6 ¡ 6 ¡ 2 ¡ Max ¡flow ¡value ¡ 7 ¡ Here, ¡value ¡= ¡ 7 ¡ 4 ¡ 4 ¡ F*=10 ¡ Task: ¡ Find ¡a ¡ feasible ¡s-­‑t ¡flow ¡of ¡ max ¡value ¡ ( Think: ¡ Es;mate ¡the ¡ max ¡ possible ¡rate ¡of ¡traffic ¡from ¡ s ¡ ¡ to ¡ t ) ¡

Why ¡is ¡this ¡a ¡good ¡problem ¡to ¡study? ¡ Max ¡flow ¡is ¡a ¡fundamental ¡ op;miza;on ¡problem ¡ • ¡ Extensively ¡studied ¡since ¡1930s ¡ (classic ¡‘textbook ¡problem’) ¡ ¡ • ¡Surprisingly ¡diverse ¡set ¡of ¡applica4ons ¡ • ¡Very ¡influen4al ¡in ¡development ¡of ¡(graph) ¡algorithms ¡ Graph ¡par44oning ¡ Transporta4on ¡ Scheduling, ¡ (Clustering) ¡ (Route ¡planning) ¡ Assignment ¡problems ¡ Computer ¡Vision ¡ Connec4vity ¡ Max ¡Flow ¡ (Image ¡segmenta;on) ¡ Analysis ¡

What ¡is ¡known ¡about ¡Max ¡Flow? ¡ A ¡ LOT ¡of ¡previous ¡work ¡

What ¡is ¡known ¡about ¡Max ¡Flow? ¡ A ¡(very) ¡rough ¡history ¡outline ¡ O(mn 2 ¡ U) ¡ ¡ [Dantzig ¡‘51] ¡ ¡ O(mn ¡U) ¡ [Ford ¡Fulkerson ¡’56] ¡ O(mn 2 ) ¡ ¡ [Dinitz ¡’70] ¡ O(m 2 n) ¡ [Dinitz ¡‘70] ¡[Edmonds ¡Karp ¡’72] ¡ O(m 2 ¡ log ¡U) ¡ ¡ [Dinitz ¡‘73] ¡[Edmonds ¡Karp ¡’72] ¡ O(mn ¡ log ¡U) ¡ ¡ [Dinitz ¡‘73] ¡[Gabow ¡’85] ¡ Õ(m ¡ min(m 1/2 ,n 2/3 ) ¡log ¡U) ¡ ¡ [Goldberg ¡Rao ¡’98] ¡ Õ(mn 1/2 ¡log ¡U) ¡ ¡ [Lee ¡Sidford ¡’14] ¡ Our ¡focus: ¡ Sparse ¡graph ¡( m=O(n) ) ¡and ¡unit-­‑capacity ¡( U=1 ) ¡regime ¡ → ¡ It ¡is ¡a ¡good ¡benchmark ¡for ¡combinatorial ¡graph ¡algorithms ¡ → ¡ Already ¡captures ¡interes;ng ¡problems, ¡e.g., ¡ bipar4te ¡matching ¡ ( n ¡= ¡# ¡of ¡ver;ces, ¡ m ¡= ¡# ¡of ¡arcs, ¡ U ¡= ¡max ¡capacity, ¡ Õ() ¡ hides ¡polylogs) ¡

What ¡is ¡known ¡about ¡Max ¡Flow? ¡ A ¡(very) ¡rough ¡history ¡outline ¡ O(n 3 ) ¡ ¡ [Dantzig ¡‘51] ¡ ¡ O(n 2 ) ¡ [Ford ¡Fulkerson ¡’56] ¡ O(n 3 ) ¡ ¡ [Dinitz ¡’70] ¡ O(n 3 ) ¡ [Dinitz ¡‘70] ¡[Edmonds ¡Karp ¡’72] ¡ Õ(n 2 ) ¡ ¡ [Dinitz ¡‘73] ¡[Edmonds ¡Karp ¡’72] ¡ Õ(n 2 ) ¡ ¡ [Dinitz ¡‘73] ¡[Gabow ¡’85] ¡ Õ(n 3/2 ) ¡ ¡ [Goldberg ¡Rao ¡’98] ¡ Õ(n 3/2 ) ¡ ¡ [Lee ¡Sidford ¡’14] ¡ Our ¡focus: ¡ Sparse ¡graph ¡( m=O(n) ) ¡and ¡unit-­‑capacity ¡( U=1 ) ¡regime ¡ → ¡ It ¡is ¡a ¡good ¡benchmark ¡for ¡combinatorial ¡graph ¡algorithms ¡ → ¡ Already ¡captures ¡interes;ng ¡problems, ¡e.g., ¡ bipar4te ¡matching ¡ ( n ¡= ¡# ¡of ¡ver;ces, ¡ m ¡= ¡# ¡of ¡arcs, ¡ U ¡= ¡max ¡capacity, ¡ Õ() ¡ hides ¡polylogs) ¡

What ¡is ¡known ¡about ¡Max ¡Flow? ¡ ¡ ¡ ¡ ¡Emerging ¡barrier: ¡ ¡ ¡O(n 3/2 ) ¡ ¡ [Even ¡Tarjan ¡’75, ¡Karzanov ¡‘73]: ¡ Achieved ¡this ¡bound ¡for ¡ U=1 ¡ long ¡;me ¡ago ¡ Last ¡40 ¡years: ¡Matching ¡this ¡bound ¡in ¡increasingly ¡ ¡ more ¡general ¡sehngs, ¡but ¡ no ¡improvement ¡ This ¡indicates ¡a ¡fundamental ¡limita;on ¡of ¡our ¡techniques ¡ Our ¡goal: ¡ Show ¡a ¡new ¡approach ¡finally ¡breaking ¡this ¡barrier ¡ ( n ¡= ¡# ¡of ¡ver;ces, ¡ m ¡= ¡# ¡of ¡arcs, ¡ U ¡= ¡max ¡capacity, ¡ Õ() ¡ hides ¡polylogs) ¡

Breaking ¡the ¡Ω(n 3/2 ) ¡barrier ¡ Undirected ¡graphs ¡and ¡approx. ¡answers ¡ ( Ω(n 3/2 ) ¡ barrier ¡s;ll ¡holds ¡here) ¡ ¡[M ¡‘10]: ¡ ¡ Crude ¡ approx. ¡of ¡ max ¡flow ¡ value ¡ in ¡ close ¡to ¡linear ¡ ;me ¡ ¡[CKMST ¡‘11]: ¡ (1-­‑ε)-­‑approx. ¡ to ¡max ¡flow ¡in ¡ Õ(n 4/3 ε -­‑3 ) ¡ ;me ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡[LSR ¡’13, ¡S ¡’13, ¡KLOS ¡’14, ¡P ¡’14]: ¡ (1-­‑ε)-­‑approx. ¡in ¡ Õ(nε -­‑2 ) ¡ ;me ¡ ¡ But: ¡ What ¡about ¡the ¡ directed ¡ and ¡ exact ¡sehng? ¡ [M ¡‘13]: ¡ Exact ¡ Õ(n 10/7 )=Õ(n 1.43 )-­‑ ;me ¡alg. ¡ ¡ Next ¡week ¡ ( n ¡= ¡# ¡of ¡ver;ces, ¡ Õ() ¡ hides ¡polylog ¡factors) ¡

Previous ¡approach ¡