CCR Photos placed in horizontal position with even amount of white - PowerPoint PPT Presentation

CCR Photos placed in horizontal position with even amount of white space between photos and header Center for Computing Research Comparing ¡global ¡link ¡arrangements ¡for ¡ Dragonfly ¡networks ¡ Has7ngs, ¡Rincon-­‑Cruz, ¡Spehlmann, ¡ Meyers, ¡Xu, ¡and ¡Bunde ¡(Knox ¡College) ¡ and ¡Vitus ¡Leung ¡(Discrete ¡Math ¡& ¡Opt) ¡ ¡New ¡Challenges ¡in ¡Scheduling ¡Theory ¡2016 ¡ Sandia National Laboratories is a multi-program laboratory managed and operated by Sandia Corporation, a wholly owned subsidiary of Lockheed Martin Corporation, for the U.S. Department of Energy’s National Nuclear Security Administration under contract DE- AC04-94AL85000.

Dragonfly ¡ § Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡

Dragonfly ¡ § Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡ § Nodes ¡aRached ¡to ¡switches ¡

Dragonfly ¡ § Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡ § Nodes ¡aRached ¡to ¡switches ¡ § Switches ¡form ¡groups ¡ § Group ¡members ¡connected ¡w/ ¡local ¡edge ¡(electrical) ¡

Dragonfly ¡ § Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡ § Nodes ¡aRached ¡to ¡switches ¡ § Switches ¡form ¡groups ¡ § Group ¡members ¡connected ¡w/ ¡local ¡edge ¡(electrical) ¡ § Each ¡pair ¡of ¡groups ¡connected ¡w/ ¡global ¡edge ¡(op7cal) ¡

Dragonfly ¡ § Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡ 0 1 2 3 4 5 6 7 § Nodes ¡aRached ¡to ¡switches ¡ § Switches ¡form ¡groups ¡ § Group ¡members ¡connected ¡w/ ¡local ¡edge ¡(electrical) ¡ § Each ¡pair ¡of ¡groups ¡connected ¡w/ ¡global ¡edge ¡(op7cal) ¡

Dragonfly ¡parameters ¡ § p ¡= ¡number ¡of ¡nodes ¡connected ¡to ¡a ¡switch ¡ § a ¡= ¡number ¡of ¡switches ¡in ¡a ¡group ¡ § h ¡= ¡number ¡of ¡op7cal ¡links ¡on ¡a ¡switch ¡ 0 1 2 3 4 5 6 7 § Number ¡of ¡groups ¡ g ¡= ¡ ah +1 ¡

Which ¡port ¡connects ¡to ¡which ¡group? ¡ G 1 G 2 G 8 G 0 R 0 R 1 R 2 R 3 P0 P1 P2 P3 P4 P5 P6 P7 From original Dragonfly paper: Kim et al., ISCA 2008

Three ¡dis7nct ¡global ¡link ¡arrangements ¡ 4 4 5 4 5 5 0 0 3 0 3 3 1 1 2 1 2 2 2 2 2 1 1 3 1 3 3 0 0 0 0 3 0 3 0 3 3 3 6 6 3 1 2 6 1 1 2 2 2 1 2 1 2 1 3 0 3 0 3 0 3 3 0 3 0 0 2 2 1 2 1 1 7 7 2 7 2 2 1 1 1 2 2 2 0 0 3 0 3 3 0 3 0 3 0 3 1 2 1 2 1 2 2 1 2 2 1 1 1 8 8 1 8 1 3 0 3 0 3 0 0 1 2 3 0 1 2 3 0 1 2 3 0 0 0 Absolute arrangement Relative arrangement Circulant-based arrangement Arrangements defined in Camarero et al. ACM Trans. Architec. Code Optim., 2014.

Three ¡dis7nct ¡global ¡link ¡arrangements ¡ 4 4 5 4 5 5 0 0 3 0 3 3 1 1 2 1 2 2 2 2 2 1 1 3 1 3 3 0 0 0 0 3 0 3 0 3 3 3 6 6 3 1 2 6 1 1 2 2 2 1 2 1 2 1 3 0 3 0 3 0 3 3 0 3 0 0 2 2 1 2 1 1 7 7 2 7 2 2 1 1 1 2 2 2 0 0 3 0 3 3 0 3 0 3 0 3 1 2 1 2 1 2 2 1 2 2 1 1 1 8 8 1 8 1 3 0 3 0 3 0 0 1 2 3 0 1 2 3 0 1 2 3 0 0 0 Absolute arrangement Relative arrangement Circulant-based arrangement Arrangements defined in Camarero et al. ACM Trans. Architec. Code Optim., 2014. Note: IBM implementation (PERCS) uses absolute Researchers who draw entire system in their papers use relative

Absolute ¡arrangement ¡ (aka Consecutive arrangement) 4 5 0 3 1 2 2 1 3 0 0 3 3 6 1 2 Port k connects to group k 2 1 (except skip own group) 3 0 3 0 Equivalently, port k of group i 2 1 connects to 7 2 1 2 group k if k < i 0 3 group k +1 if k ≥ i 0 3 1 2 2 1 8 1 3 0 0 1 2 3 0

Rela7ve ¡arrangement ¡ (aka Palmtree arrangement) 4 5 0 3 1 2 2 1 3 0 0 3 3 6 1 2 2 Port k connects ( k +1) st group CW 1 3 0 Equivalently, port k of group i 3 0 connects to group ( i + k +1) mod g 2 1 7 2 1 2 0 3 0 3 1 2 2 1 1 8 3 0 0 1 2 3 0

Circulant-­‑based ¡arrangement ¡ 4 5 0 3 1 2 Port 0 connects to next group (CW) 2 1 3 0 Port 1 connects to previous group 0 3 Port 2 connects to group 2 ahead 3 6 1 2 Port 3 connects to group 2 behind 2 1 ... 3 0 Equivalently, port k of group i 3 0 connects to group 2 1 7 2 ( i + k /2+1) mod g if k is even 1 2 ( i - k /2-1) mod g if k is odd 0 3 0 3 1 2 2 1 1 8 3 0 0 1 2 3 0

Circulant-­‑based ¡arrangement ¡ 4 5 0 3 1 2 Port 0 connects to next group (CW) 2 1 3 0 Port 1 connects to previous group 0 3 Port 2 connects to group 2 ahead 3 6 1 2 Port 3 connects to group 2 behind 2 1 ... 3 0 Equivalently, port k of group i 3 0 connects to group 2 1 7 2 ( i + k /2+1) mod g if k is even 1 2 ( i - k /2-1) mod g if k is odd 0 3 0 3 1 2 2 1 1 8 3 0 Notes: 0 1 2 3 Assumes # global links/switch (i.e. h ) is even 0 Always connects switches at same position in their groups

Our ¡contribu7on ¡ § Comparing ¡absolute, ¡rela7ve, ¡and ¡circulant-­‑based ¡ arrangements ¡ § Bisec7on ¡bandwidth ¡ § “Ease ¡of ¡use” ¡with ¡task ¡mapping ¡ § ¡Criteria ¡for ¡good ¡mapping ¡adapted ¡from ¡Prisacari ¡et ¡al., ¡IPDPS ¡2013 ¡ § Communica7on ¡in ¡phases ¡such ¡that ¡ – Messages ¡distributed ¡evenly ¡on ¡links ¡ – All ¡paths ¡in ¡a ¡phase ¡have ¡same ¡length ¡

Bisec7on ¡bandwidth ¡ § Minimum ¡bandwidth ¡between ¡two ¡equal-­‑sized ¡parts ¡of ¡the ¡ system ¡ § Bandwidth ¡for ¡a ¡par7cular ¡bisec7on ¡is ¡the ¡(weighted) ¡number ¡of ¡edges ¡ crossing ¡from ¡one ¡part ¡to ¡the ¡other ¡ § Minimize ¡this ¡over ¡all ¡bisec7ons ¡ § Tries ¡to ¡measure ¡worst-­‑case ¡communica7on ¡boRleneck ¡in ¡a ¡ large ¡computa7on ¡ ¡

Ini7al ¡explora7on ¡ § Branch ¡and ¡bound ¡on ¡small ¡Dragonfly ¡system ¡(NP-­‑hard ¡…) ¡ ¡ ¡ ¡( p ,4,2): ¡4 ¡switches ¡per ¡group ¡ ¡ ¡ ¡ ¡ ¡2 ¡global ¡links ¡per ¡switch ¡ ¡ ¡ ¡Has ¡36 ¡switches ¡ ¡ § Treat ¡types ¡of ¡edges ¡separately ¡ § local ¡edges ¡have ¡bandwidth ¡1 ¡ § global ¡edges ¡have ¡bandwidth ¡α ¡ ¡

Bisec7on ¡bandwidth ¡as ¡func7on ¡of ¡α ¡ 40 35 Normalized bisection bandwidth 30 25 20 15 circulant − based arrangement 10 relative arrangement absolute arrangement 5 0 0 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) α

Bisec7on ¡bandwidth ¡as ¡func7on ¡of ¡α ¡ 40 Cray XC PERCS PERCS 35 Normalized bisection bandwidth Cray XC 30 25 20 15 circulant − based arrangement 10 relative arrangement absolute arrangement 5 0 0 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) α

Min-­‑bandwidth ¡cuts ¡for ¡absolute ¡arrangement ¡ 4 4 5 5 0 0 3 3 1 1 2 2 2 2 1 1 3 3 0 0 0 3 0 3 3 3 6 6 1 2 1 2 2 1 2 1 3 0 3 0 3 3 0 0 2 2 1 1 7 7 2 2 1 1 2 2 0 0 3 3 0 3 0 3 1 2 1 2 2 2 1 1 8 8 1 1 3 0 3 0 0 1 2 3 1 2 3 0 0 0 Bandwidth 4 + 16 α Bandwidth 24 Normalized bisection bandwidth 25 20 15 10 5 0 0 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) α

Min-­‑bandwidth ¡cuts ¡for ¡rela7ve ¡arrangement ¡ 0 0 0 0 3 3 3 3 1 1 1 1 2 2 2 2 2 2 2 2 1 1 1 1 3 3 3 3 0 0 0 0 0 3 0 3 0 3 0 3 1 2 1 2 1 2 1 2 2 2 2 2 1 1 1 1 3 3 3 3 0 0 0 0 3 3 3 3 0 0 0 0 2 2 2 2 1 1 1 1 1 1 1 1 2 2 2 2 0 0 0 0 3 3 3 3 0 3 0 3 0 3 0 3 1 2 1 2 1 2 1 2 2 2 2 2 1 1 1 1 3 3 3 3 0 0 0 0 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3 bandwidth 14 + 8 α bandwidth 4 + 16 α bandwidth 20 + 4 α bandwidth 36 40 35 Normalized bisection bandwidth 30 25 20 15 10 5 0 0 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) α