CCR Photos placed in horizontal position with even amount of white - - PowerPoint PPT Presentation

▶
ccr
SMART_READER_LITE
LIVE PREVIEW

CCR Photos placed in horizontal position with even amount of white - - PowerPoint PPT Presentation

Sep 19, 2023 351 likes •868 views

CCR Photos placed in horizontal position with even amount of white space between photos and header Center for Computing Research Comparing global link arrangements for Dragonfly networks Has7ngs,

slide-1
SLIDE 1 Sandia National Laboratories is a multi-program laboratory managed and operated by Sandia Corporation, a wholly owned subsidiary of Lockheed Martin Corporation, for the U.S. Department of Energy’s National Nuclear Security Administration under contract DE- AC04-94AL85000.

Photos placed in horizontal position with even amount of white space between photos and header

Comparing ¡global ¡link ¡arrangements ¡for ¡ Dragonfly ¡networks ¡

Has7ngs, ¡Rincon-­‑Cruz, ¡Spehlmann, ¡ Meyers, ¡Xu, ¡and ¡Bunde ¡(Knox ¡College) ¡ and ¡Vitus ¡Leung ¡(Discrete ¡Math ¡& ¡Opt) ¡

¡New ¡Challenges ¡in ¡Scheduling ¡Theory ¡2016 ¡

CCR

Center for Computing Research

slide-2
SLIDE 2

Dragonfly ¡

§ Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡

slide-3
SLIDE 3

Dragonfly ¡

§ Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡

§ Nodes ¡aRached ¡to ¡switches ¡

slide-4
SLIDE 4

Dragonfly ¡

§ Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡

§ Nodes ¡aRached ¡to ¡switches ¡ § Switches ¡form ¡groups ¡ § Group ¡members ¡connected ¡w/ ¡local ¡edge ¡(electrical) ¡

slide-5
SLIDE 5

Dragonfly ¡

§ Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡

§ Nodes ¡aRached ¡to ¡switches ¡ § Switches ¡form ¡groups ¡ § Group ¡members ¡connected ¡w/ ¡local ¡edge ¡(electrical) ¡ § Each ¡pair ¡of ¡groups ¡connected ¡w/ ¡global ¡edge ¡(op7cal) ¡

slide-6
SLIDE 6

Dragonfly ¡

§ Hierarchical ¡architecture ¡to ¡exploit ¡high-­‑radix ¡switches ¡and ¡op7cal ¡ links ¡

§ Nodes ¡aRached ¡to ¡switches ¡ § Switches ¡form ¡groups ¡ § Group ¡members ¡connected ¡w/ ¡local ¡edge ¡(electrical) ¡ § Each ¡pair ¡of ¡groups ¡connected ¡w/ ¡global ¡edge ¡(op7cal) ¡

7 0 1 2 3 4 5 6

slide-7
SLIDE 7

Dragonfly ¡parameters ¡

§ p ¡= ¡number ¡of ¡nodes ¡connected ¡to ¡a ¡switch ¡ § a ¡= ¡number ¡of ¡switches ¡in ¡a ¡group ¡ § h ¡= ¡number ¡of ¡op7cal ¡links ¡on ¡a ¡switch ¡ § Number ¡of ¡groups ¡g ¡= ¡ah+1 ¡

7 0 1 2 3 4 5 6

slide-8
SLIDE 8

Which ¡port ¡connects ¡to ¡which ¡group? ¡

P0 P1 P2 P3 P4 P5 P6 P7

R0 R1 R2 R3

G0 G1 G8 G2

From original Dragonfly paper: Kim et al., ISCA 2008

slide-9
SLIDE 9

Three ¡dis7nct ¡global ¡link ¡arrangements ¡

8

1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3

1 2 3 4 5 6 7

3

2 3 4 5 6 7 8 1

1 2 3 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3

8

1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3

1 2 3 4 5 6 7

Absolute arrangement Relative arrangement Circulant-based arrangement Arrangements defined in Camarero et al. ACM Trans. Architec. Code Optim., 2014.

slide-10
SLIDE 10

Three ¡dis7nct ¡global ¡link ¡arrangements ¡

8

1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3

1 2 3 4 5 6 7

3

2 3 4 5 6 7 8 1

1 2 3 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3

8

1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3

1 2 3 4 5 6 7

Absolute arrangement Relative arrangement Circulant-based arrangement Arrangements defined in Camarero et al. ACM Trans. Architec. Code Optim., 2014. Note: IBM implementation (PERCS) uses absolute Researchers who draw entire system in their papers use relative

slide-11
SLIDE 11

Absolute ¡arrangement ¡

(aka Consecutive arrangement)

3

2 3 4 5 6 7 8 1

1 2 3 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3

Port k connects to group k (except skip own group) Equivalently, port k of group i connects to group k if k < i group k+1 if k ≥ i

slide-12
SLIDE 12

Rela7ve ¡arrangement ¡

8

1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3

1 2 3 4 5 6 7

(aka Palmtree arrangement) Port k connects (k+1)st group CW Equivalently, port k of group i connects to group (i+k+1) mod g

slide-13
SLIDE 13

Circulant-­‑based ¡arrangement ¡

8 3 4 5 6 7

1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3

1 2

Port 0 connects to next group (CW) Port 1 connects to previous group Port 2 connects to group 2 ahead Port 3 connects to group 2 behind ... Equivalently, port k of group i connects to group (i+k/2+1) mod g if k is even (i-k/2-1) mod g if k is odd

slide-14
SLIDE 14

Circulant-­‑based ¡arrangement ¡

8 3 4 5 6 7

1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3

1 2

Port 0 connects to next group (CW) Port 1 connects to previous group Port 2 connects to group 2 ahead Port 3 connects to group 2 behind ... Equivalently, port k of group i connects to group (i+k/2+1) mod g if k is even (i-k/2-1) mod g if k is odd Notes: Assumes # global links/switch (i.e. h) is even Always connects switches at same position in their groups

slide-15
SLIDE 15

Our ¡contribu7on ¡

§ Comparing ¡absolute, ¡rela7ve, ¡and ¡circulant-­‑based ¡ arrangements ¡

§ Bisec7on ¡bandwidth ¡ § “Ease ¡of ¡use” ¡with ¡task ¡mapping ¡

§ ¡Criteria ¡for ¡good ¡mapping ¡adapted ¡from ¡Prisacari ¡et ¡al., ¡IPDPS ¡2013 ¡ § Communica7on ¡in ¡phases ¡such ¡that ¡

– Messages ¡distributed ¡evenly ¡on ¡links ¡ – All ¡paths ¡in ¡a ¡phase ¡have ¡same ¡length ¡

slide-16
SLIDE 16

Bisec7on ¡bandwidth ¡

§ Minimum ¡bandwidth ¡between ¡two ¡equal-­‑sized ¡parts ¡of ¡the ¡ system ¡

§ Bandwidth ¡for ¡a ¡par7cular ¡bisec7on ¡is ¡the ¡(weighted) ¡number ¡of ¡edges ¡ crossing ¡from ¡one ¡part ¡to ¡the ¡other ¡ § Minimize ¡this ¡over ¡all ¡bisec7ons ¡

§ Tries ¡to ¡measure ¡worst-­‑case ¡communica7on ¡boRleneck ¡in ¡a ¡ large ¡computa7on ¡ ¡

slide-17
SLIDE 17

Ini7al ¡explora7on ¡

§ Branch ¡and ¡bound ¡on ¡small ¡Dragonfly ¡system ¡(NP-­‑hard ¡…) ¡ ¡ ¡ ¡(p,4,2): ¡4 ¡switches ¡per ¡group ¡ ¡ ¡ ¡ ¡ ¡2 ¡global ¡links ¡per ¡switch ¡ ¡ ¡ ¡Has ¡36 ¡switches ¡ ¡ § Treat ¡types ¡of ¡edges ¡separately ¡

§ local ¡edges ¡have ¡bandwidth ¡1 ¡ § global ¡edges ¡have ¡bandwidth ¡α ¡

¡

slide-18
SLIDE 18

Bisec7on ¡bandwidth ¡as ¡func7on ¡of ¡α ¡

α

Normalized bisection bandwidth 10 15 20 25 30 35 40 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) circulant−based arrangement relative arrangement absolute arrangement 5

slide-19
SLIDE 19

Bisec7on ¡bandwidth ¡as ¡func7on ¡of ¡α ¡

α

Normalized bisection bandwidth 10 15 20 25 30 35 40 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) circulant−based arrangement relative arrangement absolute arrangement 5

PERCS Cray XC PERCS Cray XC

slide-20
SLIDE 20

Min-­‑bandwidth ¡cuts ¡for ¡absolute ¡arrangement ¡

3

2 3 4 5 6 7 8 1

1 2 3 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3

2 3 4 5 6 7 8 1

1 2 3 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3

Bandwidth 4 + 16α Bandwidth 24

α

Normalized bisection bandwidth 10 15 20 25 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) 5

slide-21
SLIDE 21

Min-­‑bandwidth ¡cuts ¡for ¡rela7ve ¡arrangement ¡

2 1 2 3 1 2 3 1 2 3 1 2 3 1 3 1 2 3 1 2 3 1 2 3 1 2 3 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2

α

Normalized bisection bandwidth 10 15 20 25 30 35 40 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) 5

bandwidth 4 + 16α bandwidth 14 + 8α bandwidth 20 + 4α bandwidth 36

slide-22
SLIDE 22

Min-­‑bandwidth ¡cuts ¡for ¡circulant-­‑based ¡arrangement ¡

α

Normalized bisection bandwidth 10 15 20 25 30 35 40 0.5 1 1.5 2 2.5 3 3.5 4 , the global connection bandwidth (local = 1) 5

3 1 2 3 1 2 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 3 1 2 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 3 3 1 2 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 3 1 2 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2

bandwidth 4 + 16α bandwidth 16 + 8α bandwidth 20 + 6α bandwidth 36

slide-23
SLIDE 23

Observa7ons ¡from ¡(p,4,2) ¡

§ In ¡terms ¡of ¡bisec7on ¡bandwidth: ¡ ¡ ¡Absolute ¡≤ ¡Rela7ve ¡≤ ¡Circulant-­‑based ¡ § For ¡all ¡three ¡arrangements, ¡maximum ¡bisec7on ¡bandwidth ¡is ¡ bounded ¡

slide-24
SLIDE 24

Larger ¡networks ¡

§ Focus ¡on ¡large ¡α ¡

§ Determine ¡when ¡bisec7on ¡bandwidth ¡is ¡ul7mately ¡limited ¡by ¡local ¡ edges ¡

§ Globally ¡Connected ¡Component ¡(GCC): ¡Switches ¡that ¡form ¡ connected ¡component ¡in ¡graph ¡without ¡local ¡edges ¡

slide-25
SLIDE 25

GCCs ¡in ¡Circulant-­‑based ¡arrangements ¡

¡Recall: ¡Every ¡edge ¡connects ¡two ¡switches ¡at ¡same ¡

posi7on ¡in ¡their ¡respec7ve ¡groups ¡

slide-26
SLIDE 26

GCCs ¡in ¡Circulant-­‑based ¡arrangements ¡

¡Recall: ¡Every ¡edge ¡connects ¡two ¡switches ¡at ¡same ¡

posi7on ¡in ¡their ¡respec7ve ¡groups ¡

¡There ¡are ¡at ¡least ¡a ¡GCCs ¡ ¡ ¡ ¡ ¡ ¡(a ¡= ¡#switches/group) ¡

slide-27
SLIDE 27

GCCs ¡in ¡Circulant-­‑based ¡arrangements ¡

¡Recall: ¡Every ¡edge ¡connects ¡two ¡switches ¡at ¡same ¡

posi7on ¡in ¡their ¡respec7ve ¡groups ¡

¡There ¡are ¡at ¡least ¡a ¡GCCs ¡ ¡ ¡ ¡ ¡ ¡(a ¡= ¡#switches/group) ¡ ¡If ¡a ¡is ¡even ¡and ¡α ¡is ¡sufficiently ¡large, ¡the ¡bisec7on ¡

bandwidth ¡is ¡(a/2)2g ¡ ¡ ¡(g ¡= ¡#groups) ¡ ¡

slide-28
SLIDE 28

GCCs ¡in ¡Circulant-­‑based ¡arrangements ¡

¡Recall: ¡Every ¡edge ¡connects ¡two ¡switches ¡at ¡same ¡

posi7on ¡in ¡their ¡respec7ve ¡groups ¡

¡There ¡are ¡at ¡least ¡a ¡GCCs ¡ ¡ ¡ ¡ ¡ ¡(a ¡= ¡#switches/group) ¡ ¡If ¡a ¡is ¡even ¡and ¡α ¡is ¡sufficiently ¡large, ¡the ¡bisec7on ¡

bandwidth ¡is ¡(a/2)2g ¡ ¡ ¡(g ¡= ¡#groups) ¡ ¡ ¡

Structure ¡of ¡GCCs ¡poten7ally ¡more ¡complicated ¡than ¡that, ¡ single ¡switch ¡number ¡can ¡be ¡split ¡into ¡mul7ple ¡GCCs ¡if ¡g ¡is ¡ mul7ple ¡of ¡distance ¡traversed ¡by ¡switch’s ¡links ¡

slide-29
SLIDE 29

Circulant-­‑based ¡arrangement ¡

8

1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1 2 3

1 2 3 4 5 6 7

slide-30
SLIDE 30

GCCs ¡in ¡Rela7ve ¡arrangements ¡

¡Recall: ¡Port ¡k ¡connects ¡to ¡(k+1)st ¡group ¡CW ¡ ¡Switch ¡0 ¡connects ¡to ¡switch ¡(a-­‑1) ¡in ¡next ¡group ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h ¡groups ¡ ¡All ¡0th ¡and ¡(a-­‑1)st ¡switches ¡form ¡a ¡GCC ¡ ¡Generalizes: ¡ ¡ ¡a/2 ¡GCCs ¡of ¡size ¡2g ¡(plus ¡1 ¡of ¡size ¡g ¡if ¡a ¡is ¡odd) ¡

slide-31
SLIDE 31

GCCs ¡in ¡Rela7ve ¡arrangements ¡

¡Recall: ¡Port ¡k ¡connects ¡to ¡(k+1)st ¡group ¡CW ¡ ¡Switch ¡0 ¡connects ¡to ¡switch ¡(a-­‑1) ¡in ¡next ¡group ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h ¡groups ¡ ¡All ¡0th ¡and ¡(a-­‑1)st ¡switches ¡form ¡a ¡GCC ¡ ¡Generalizes: ¡ ¡ ¡a/2 ¡GCCs ¡of ¡size ¡2g ¡(plus ¡1 ¡of ¡size ¡g ¡if ¡a ¡is ¡odd) ¡

slide-32
SLIDE 32

GCCs ¡in ¡Rela7ve ¡arrangements ¡

¡Recall: ¡Port ¡k ¡connects ¡to ¡(k+1)st ¡group ¡CW ¡ ¡Switch ¡0 ¡connects ¡to ¡switch ¡(a-­‑1) ¡in ¡next ¡group ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h ¡groups ¡ ¡All ¡0th ¡and ¡(a-­‑1)st ¡switches ¡form ¡a ¡GCC ¡ ¡Generalizes: ¡ ¡ ¡a/2 ¡GCCs ¡of ¡size ¡2g ¡(plus ¡1 ¡of ¡size ¡g ¡if ¡a ¡is ¡odd) ¡

slide-33
SLIDE 33

GCCs ¡in ¡Rela7ve ¡arrangements ¡

¡Recall: ¡Port ¡k ¡connects ¡to ¡(k+1)st ¡group ¡CW ¡ ¡Switch ¡0 ¡connects ¡to ¡switch ¡(a-­‑1) ¡in ¡next ¡group ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h ¡groups ¡ ¡All ¡0th ¡and ¡(a-­‑1)st ¡switches ¡form ¡a ¡GCC ¡ ¡Generalizes: ¡ ¡ ¡a/2 ¡GCCs ¡of ¡size ¡2g ¡(plus ¡1 ¡of ¡size ¡g ¡if ¡a ¡is ¡odd) ¡

slide-34
SLIDE 34

GCCs ¡in ¡Rela7ve ¡arrangements ¡

¡Recall: ¡Port ¡k ¡connects ¡to ¡(k+1)st ¡group ¡CW ¡ ¡Switch ¡0 ¡connects ¡to ¡switch ¡(a-­‑1) ¡in ¡next ¡group ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡h ¡groups ¡ ¡All ¡0th ¡and ¡(a-­‑1)st ¡switches ¡form ¡a ¡GCC ¡ ¡Generalizes: ¡ ¡ ¡a/2 ¡GCCs ¡of ¡size ¡2g ¡(plus ¡1 ¡of ¡size ¡g ¡if ¡a ¡is ¡odd) ¡

slide-35
SLIDE 35

Bisec7on ¡bandwidth ¡in ¡Rela7ve ¡arrangement ¡

When ¡α ¡is ¡sufficiently ¡large, ¡bisec7on ¡bandwidth ¡is ¡ ¡ ¡(a/2)2g ¡ ¡ ¡if ¡a ¡is ¡a ¡mul7ple ¡of ¡4 ¡ ¡ ¡θ(α) ¡ ¡ ¡ ¡otherwise ¡ ¡ ¡ ¡

slide-36
SLIDE 36

GCCs ¡in ¡Absolute ¡arrangements ¡

Recall: ¡Port ¡k ¡connects ¡to ¡group ¡k ¡(skip ¡own ¡group) ¡ ¡ Gives ¡ ¡a(a-­‑1)/2 ¡GCCs ¡of ¡size ¡2h ¡ ¡a ¡GCCs ¡of ¡size ¡h+1 ¡ ¡ ¡ ¡ ¡

slide-37
SLIDE 37

GCCs ¡in ¡Absolute ¡arrangements ¡

Recall: ¡Port ¡k ¡connects ¡to ¡group ¡k ¡(skip ¡own ¡group) ¡ ¡ Gives ¡ ¡a(a-­‑1)/2 ¡GCCs ¡of ¡size ¡2h ¡ ¡a ¡GCCs ¡of ¡size ¡h+1 ¡ ¡ If ¡a ¡is ¡a ¡mul7ple ¡of ¡4, ¡bisec7on ¡bandwidth ¡is ¡≤ ¡(a/2)2g. ¡ (Also ¡3 ¡other ¡7mes, ¡including ¡when ¡h ¡≤ ¡a/2) ¡ ¡ ¡ ¡

slide-38
SLIDE 38

GCCs ¡in ¡Absolute ¡arrangements ¡

Recall: ¡Port ¡k ¡connects ¡to ¡group ¡k ¡(skip ¡own ¡group) ¡ ¡ Gives ¡ ¡a(a-­‑1)/2 ¡GCCs ¡of ¡size ¡2h ¡ ¡a ¡GCCs ¡of ¡size ¡h+1 ¡ ¡ If ¡a ¡is ¡a ¡mul7ple ¡of ¡4, ¡bisec7on ¡bandwidth ¡is ¡≤ ¡(a/2)2g. ¡ (Also ¡3 ¡other ¡7mes, ¡including ¡when ¡h ¡≤ ¡a/2) ¡ ¡ Otherwise, ¡θ(α) ¡

slide-39
SLIDE 39

When ¡bisec7on ¡bandwidth ¡is ¡bounded ¡

§ Circulant: ¡a ¡is ¡even ¡ ¡ ¡(& ¡other ¡7mes) ¡ § Rela7ve: ¡ ¡a ¡is ¡a ¡mul7ple ¡of ¡4 ¡ § Absolute: ¡ ¡a ¡is ¡a ¡mul7ple ¡of ¡4 ¡ ¡(& ¡3 ¡other ¡7mes, ¡including ¡ ¡ ¡ ¡ ¡ ¡when ¡h ¡≤ ¡a/2) ¡ ¡

slide-40
SLIDE 40

Normalize ¡bisec7on ¡bandwidth ¡for ¡ ¡ (p, ¡2, ¡8) ¡

α

Normalized bisection bandwidth 10 15 20 25 30 35 40 45 0.2 0.4 0.6 0.8 1 , the global connection bandwidth (local = 1) relative arrangement absolute arrangement circulant−based arrangement 5

slide-41
SLIDE 41

Task ¡mapping ¡

§ Assignment ¡of ¡tasks ¡to ¡compute ¡nodes ¡to ¡minimize ¡ conten7on ¡ § Our ¡assump7ons: ¡

§ Stencil ¡jobs ¡ § Tasks ¡blocked ¡to ¡fit ¡on ¡en7re ¡switch ¡

slide-42
SLIDE 42

Criteria ¡for ¡good ¡mapping ¡

Adapted from Prisacari et al., IPDPS 2013: Communication in phases such that:

  • 1. Messages distributed evenly on links
  • 2. All paths in a phase have same length
slide-43
SLIDE 43

Criteria ¡for ¡good ¡mapping ¡

3 1 2 3 1 2 2 3 1 2 3 1 2 3 1 2 3 1 3 1 2 3 1 2

Group 1 Group 0 Group 2 Group 3 Group 4 Group 5 Group 6 Group 7 Group 8

3 1 2

Adapted from Prisacari et al., IPDPS 2013: Communication in phases such that:

  • 1. Messages distributed evenly on links
  • 2. All paths in a phase have same length

Mapping of 6 × 6 job onto (p,4,2) Dragonfly with relative global link arrangement

slide-44
SLIDE 44

Criteria ¡for ¡good ¡mapping ¡

3 1 2 3 1 2 2 3 1 2 3 1 2 3 1 2 3 1 3 1 2 3 1 2

Group 1 Group 0 Group 2 Group 3 Group 4 Group 5 Group 6 Group 7 Group 8

3 1 2

Adapted from Prisacari et al., IPDPS 2013: Communication in phases such that:

  • 1. Messages distributed evenly on links
  • 2. All paths in a phase have same length

Phases for this mapping:

  • Neighbors w/ local links
  • Neighbors directly connected by

global link

  • Neighbors with multi-hop path

Mapping of 6 × 6 job onto (p,4,2) Dragonfly with relative global link arrangement

slide-45
SLIDE 45

Criteria ¡for ¡good ¡mapping ¡

3 1 2 3 1 2 2 3 1 2 3 1 2 3 1 2 3 1 3 1 2 3 1 2

Group 1 Group 0 Group 2 Group 3 Group 4 Group 5 Group 6 Group 7 Group 8

3 1 2

Adapted from Prisacari et al., IPDPS 2013: Communication in phases such that:

  • 1. Messages distributed evenly on links
  • 2. All paths in a phase have same length

Phases for this mapping:

  • Neighbors w/ local links
  • Neighbors directly connected by

global link

  • Neighbors with multi-hop path

Mapping of 6 × 6 job onto (p,4,2) Dragonfly with relative global link arrangement Nothing this regular seems to exist for absolute or circulant-based arrangements

slide-46
SLIDE 46

Three ¡mappings ¡for ¡a ¡6 ¡x ¡6 ¡stencil ¡job ¡

2 3 1 2 2 3 1 2 3 1 2 3 1 2 3 1 3 1 2 3 1 2

Group 1 Group 0 Group 2 Group 3 Group 4 Group 5 Group 6 Group 7 Group 8

(a)

Group 1 Group 0 Group 7 Group 8 Group 4 Group 3 Group 2 Group 6

2 3 1 3 1 2 3 1 2 1 2 3 1 2 3 1 3 2 2 3 1 3 2 1 3 2 1

Group 5

(c)

Group 1 Group 0 Group 5 Group 8 Group 2 Group 4 Group 7 Group 3

2 3 1 2 1 3 3 2 1 1 2 3 1 3 2 1 3 2 2 3 1 3 2 1 3 2 1

Group 6

(b)

3 1 2 3 1

Relative Absolute Circulant-based

slide-47
SLIDE 47

Conclusions ¡

§ On ¡original ¡(p, ¡4, ¡2) ¡graph, ¡for ¡bisec7on ¡bandwidth: ¡ ¡ ¡Absolute ¡≤ ¡Rela7ve ¡≤ ¡Circulant-­‑based ¡ § ¡On ¡large ¡graphs, ¡Circulant-­‑based ¡is ¡most ¡oqen ¡bounded, ¡then ¡ Absolute, ¡then ¡Rela7ve ¡ § On ¡(p, ¡2, ¡8) ¡graph, ¡at ¡large ¡α: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Circulant-­‑based ¡≤ ¡Absolute ¡≤ ¡Rela7ve ¡ ¡ ¡ ¡ ¡ ¡ and ¡Absolute ¡and ¡Rela7ve ¡unbounded ¡ § For ¡mapping ¡stencils, ¡Rela7ve ¡gives ¡much ¡more ¡regular ¡ mappings ¡

slide-48
SLIDE 48

Mapping ¡for ¡a ¡12 ¡x ¡8 ¡stencil ¡job ¡on ¡16 ¡ groups ¡of ¡(p, ¡6, ¡3)-­‑Dragonfly ¡with ¡rel. ¡

4 5 2 3 1

Group 1

4 5 2 3 1

Group 4

4 5 2 3 1

Group 8

4 5 2 3 1

Group 12

4 5 2 3 1

Group 9

4 5 2 3 1

Group 5

4 5 2 3 1

Group 2

4 5 5 2 3 1

Group 3

4 5 2 3 1

Group 7

4 5 2 3 1

Group 6

4 5 2 3 1

Group 10

4 5 2 3 1

Group 15

4 5 2 3 1

Group 11

4 5 2 3 1

Group 14

4 5 2 3 1

Group 13

4 5 2 3 1

Group 0

slide-49
SLIDE 49

Future ¡work ¡

§ Bisec7on ¡bandwidth ¡at ¡smaller ¡values ¡of ¡α ¡ § Other ¡global ¡link ¡arrangements ¡ § Generalize ¡task ¡mapping ¡and ¡evalua7on ¡by ¡simula7on ¡ § Communica7on ¡scheduling ¡recommended ¡by ¡Prisacari ¡et ¡al. ¡ may ¡be ¡difficult ¡to ¡implement ¡ § Early ¡Sandia ¡Trinity ¡applica7ons ¡measurements ¡

§ Communica7ons ¡stalls ¡surprisingly ¡high ¡ § Thermal ¡problems ¡in ¡turbo ¡mode, ¡25°F ¡swings ¡

slide-50
SLIDE 50

Thanks! ¡

§ vjleung@sandia.gov ¡