PARALLEL PATTERNS REDUCE & SCAN 2 6/16/2010 Parallel - - PowerPoint PPT Presentation

PARALLEL ¡PATTERNS ¡ REDUCE ¡& ¡SCAN ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

1 ¡

Programming ¡Pa7erns ¡For ¡Parallelism ¡

• Some ¡pa7erns ¡repeat ¡in ¡many ¡different ¡contexts ¡
• e.g. ¡Search ¡an ¡element ¡in ¡an ¡array ¡
• IdenKfying ¡such ¡pa7erns ¡important ¡ ¡
• Solve ¡a ¡problem ¡once ¡and ¡reuse ¡the ¡soluKon ¡
• Split ¡a ¡hard ¡problem ¡into ¡individual ¡problems ¡
• Helps ¡define ¡interfaces ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

2 ¡

We ¡Have ¡Already ¡Seen ¡Some ¡Pa7erns ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

3 ¡

We ¡Have ¡Already ¡Seen ¡Some ¡Pa7erns ¡

• Divide ¡and ¡Conquer ¡
• Split ¡a ¡problem ¡into ¡n ¡sub ¡problems ¡
• Recursively ¡solve ¡the ¡sub ¡problems ¡
• And ¡merge ¡the ¡soluKon ¡
• Data ¡Parallelism ¡
• Apply ¡the ¡same ¡funcKon ¡to ¡all ¡elements ¡in ¡a ¡collecKon, ¡array ¡
• Parallel.For, ¡Parallel.ForEach ¡
• Also ¡called ¡as ¡“map” ¡in ¡funcKonal ¡programming ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

4 ¡

Map ¡

• Given ¡a ¡funcKon ¡f ¡: ¡(A) ¡=> ¡B ¡
• A ¡collecKon ¡a: ¡A[] ¡
• Generates ¡a ¡collecKon ¡b: ¡B[], ¡where ¡B[i] ¡= ¡f( ¡A[i] ¡) ¡
• Parallel.For, ¡Paralle.ForEach ¡
• Where ¡each ¡loop ¡iteraKon ¡is ¡independent ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

5 ¡

f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ A ¡ B ¡

Reduce ¡And ¡Scan ¡

• In ¡pracKce, ¡parallel ¡loops ¡have ¡to ¡work ¡together ¡to ¡

generate ¡an ¡answer ¡

• Reduce ¡and ¡Scan ¡pa7erns ¡capture ¡common ¡cases ¡of ¡

processing ¡results ¡of ¡Map ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

6 ¡

Reduce ¡And ¡Scan ¡

• In ¡pracKce, ¡parallel ¡loops ¡have ¡to ¡work ¡together ¡to ¡

generate ¡an ¡answer ¡

• Reduce ¡and ¡Scan ¡pa7erns ¡capture ¡common ¡cases ¡of ¡

processing ¡results ¡of ¡Map ¡

• Note: ¡Map ¡and ¡Reduce ¡are ¡similar ¡to ¡but ¡not ¡the ¡same ¡

as ¡MapReduce ¡

• MapReduce ¡is ¡a ¡framework ¡for ¡distributed ¡compuKng ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

7 ¡

Reduce ¡

• Given ¡a ¡funcKon ¡f: ¡(A, ¡B) ¡=> ¡B ¡
• A ¡collecKon ¡a: ¡A[] ¡
• An ¡iniKal ¡value ¡b0: ¡B ¡
• Generate ¡a ¡final ¡value ¡b: ¡B ¡
• Where ¡b ¡= ¡f(A[n-­‑1], ¡… ¡f(A[1], ¡f(A[0], ¡b0)) ¡ ¡) ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

8 ¡

f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ b0 ¡ b ¡ A ¡

Reduce ¡

• Given ¡a ¡funcKon ¡f: ¡(A, ¡B) ¡=> ¡B ¡
• A ¡collecKon ¡a: ¡A[] ¡
• An ¡iniKal ¡value ¡b0: ¡B ¡
• Generate ¡a ¡final ¡value ¡b: ¡B ¡
• Where ¡b ¡= ¡f(A[n-­‑1], ¡… ¡f(A[1], ¡f(A[0], ¡b0)) ¡ ¡) ¡
• Only ¡consider ¡where ¡A ¡and ¡B ¡are ¡the ¡same ¡type ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

9 ¡

f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ b0 ¡ b ¡ A ¡

Reduce ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

10 ¡

f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ b0 ¡ b ¡ A ¡ B acc = b_0; for( i = 0; i < n; i++ ) { acc = f( a[i], acc ); } b = acc;

AssociaKvity ¡of ¡the ¡Reduce ¡funcKon ¡

• Reduce ¡is ¡parallelizable ¡if ¡f ¡is ¡associaKve ¡

¡f(a, ¡f(b, ¡c)) ¡= ¡f(f(a,b), ¡c) ¡

• E.g. ¡AddiKon ¡: ¡(a ¡+ ¡b) ¡+ ¡c ¡= ¡a ¡+ ¡(b ¡+ ¡c) ¡
• Where ¡+ ¡is ¡integer ¡addiKon ¡(with ¡modulo ¡arithmeKc) ¡
• But ¡not ¡when ¡+ ¡is ¡floaKng ¡point ¡addiKon ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

11 ¡

AssociaKvity ¡of ¡the ¡Reduce ¡funcKon ¡

• Reduce ¡is ¡parallelizable ¡if ¡f ¡is ¡associaKve ¡

¡f(a, ¡f(b, ¡c)) ¡= ¡f(f(a,b), ¡c) ¡

• E.g. ¡AddiKon ¡: ¡(a ¡+ ¡b) ¡+ ¡c ¡= ¡a ¡+ ¡(b ¡+ ¡c) ¡
• Where ¡+ ¡is ¡integer ¡addiKon ¡(with ¡modulo ¡arithmeKc) ¡
• But ¡not ¡when ¡+ ¡is ¡floaKng ¡point ¡addiKon ¡
• Max, ¡min, ¡mulKply, ¡… ¡
• Set ¡union, ¡intersecKon, ¡ ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

12 ¡

We ¡can ¡use ¡Divide ¡and ¡Conquer ¡

• Reduce(f, ¡A[1…n], ¡b_0) ¡

¡= ¡f ¡( ¡ ¡Reduce(f, ¡A[1..n/2], ¡b_0), ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Reduce(f, ¡A[n/2+1…n], ¡I) ¡) ¡ ¡ ¡where ¡I ¡is ¡the ¡idenKty ¡element ¡of ¡f ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

13 ¡

f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ b0 ¡ b ¡ A ¡ I ¡ f ¡

ImplementaKon ¡OpKmizaKons ¡

• Switch ¡to ¡sequenKal ¡Reduce ¡for ¡the ¡base ¡k ¡elements ¡
• Do ¡k ¡way ¡splits ¡instead ¡of ¡two ¡way ¡splits ¡
• Maintain ¡a ¡thread-­‑local ¡accumulated ¡value ¡
• A ¡task ¡updates ¡the ¡value ¡of ¡the ¡thread ¡it ¡executes ¡in ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

14 ¡

ImplementaKon ¡OpKmizaKons ¡

• Switch ¡to ¡sequenKal ¡Reduce ¡for ¡the ¡base ¡k ¡elements ¡
• Do ¡k ¡way ¡splits ¡instead ¡of ¡two ¡way ¡splits ¡
• Maintain ¡a ¡thread-­‑local ¡accumulated ¡value ¡
• A ¡task ¡updates ¡the ¡value ¡of ¡the ¡thread ¡it ¡executes ¡in ¡
• Requires ¡that ¡the ¡reduce ¡funcKon ¡is ¡also ¡commutaKve ¡

¡ ¡f(a, ¡b) ¡= ¡f(b, ¡a) ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

15 ¡

ImplementaKon ¡OpKmizaKons ¡

• Switch ¡to ¡sequenKal ¡Reduce ¡for ¡the ¡base ¡k ¡elements ¡
• Do ¡k ¡way ¡splits ¡instead ¡of ¡two ¡way ¡splits ¡
• Maintain ¡a ¡thread-­‑local ¡accumulated ¡value ¡
• A ¡task ¡updates ¡the ¡value ¡of ¡the ¡thread ¡it ¡executes ¡in ¡
• Requires ¡that ¡the ¡reduce ¡funcKon ¡is ¡also ¡commutaKve ¡

¡ ¡f(a, ¡b) ¡= ¡f(b, ¡a) ¡

• Thread ¡local ¡values ¡are ¡then ¡merged ¡in ¡a ¡separate ¡pass ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

16 ¡

Scan ¡

• Given ¡a ¡funcKon ¡f: ¡(A, ¡B) ¡=> ¡B ¡
• A ¡collecKon ¡a: ¡A[] ¡
• An ¡iniKal ¡value ¡b0: ¡B ¡
• Generate ¡a ¡collecKon ¡b: ¡B[] ¡
• Where ¡b[i] ¡= ¡f(A[i-­‑1], ¡… ¡f(A[1], ¡f(A[0], ¡b0)) ¡ ¡) ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

17 ¡

f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ b0 ¡ A ¡

Scan ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

18 ¡

f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ b0 ¡ A ¡ B acc = b_0; for( i = 0; i < n; i++ ) { acc = f( a[i], acc ); }

Scan ¡is ¡Efficiently ¡Parallelizable ¡

• When ¡f ¡is ¡associaKve ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

19 ¡

Scan ¡is ¡Efficiently ¡Parallelizable ¡

• When ¡f ¡is ¡associaKve ¡
• Scan(f, ¡A[1..n], ¡b_0) ¡= ¡Scan(f, ¡A[1..n/2], ¡b_0), ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Scan(f, ¡A[n/2+1…n], ¡____) ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

20 ¡

f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ b0 ¡ A ¡ ? ¡

Scan ¡is ¡Efficiently ¡Parallelizable ¡

• When ¡f ¡is ¡associaKve ¡
• Scan(f, ¡A[1..n], ¡b_0) ¡= ¡Scan(f, ¡A[1..n/2], ¡b_0), ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Scan(f, ¡A[n/2+1…n], ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Reduce(f, ¡A[1..n/2], ¡b_0)) ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

21 ¡

f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ f ¡ b0 ¡ A ¡ ? ¡

Scan ¡is ¡useful ¡in ¡many ¡places ¡

• Radix ¡Sort ¡ ¡
• Ray ¡Tracing ¡
• … ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

22 ¡

Scan ¡is ¡useful ¡in ¡many ¡places ¡

• Radix ¡Sort ¡( ¡ ¡) ¡
• Ray ¡Tracing ¡
• … ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

23 ¡

CompuKng ¡Line ¡of ¡Sight ¡

• Given ¡x1, ¡… ¡xn ¡with ¡alKtudes ¡a[1],…a[n] ¡
• Which ¡of ¡the ¡points ¡are ¡visible ¡from ¡x0 ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

24 ¡

CompuKng ¡Line ¡of ¡Sight ¡

• Given ¡x0, ¡… ¡xn ¡with ¡alKtudes ¡alt[0],…alt[n] ¡
• Which ¡of ¡the ¡points ¡are ¡visible ¡from ¡x0 ¡
• angle[i] ¡= ¡arctan( ¡(alt[i] ¡– ¡alt[0]) ¡/ ¡i ¡) ¡
• xi ¡is ¡visible ¡from ¡x0 ¡if ¡all ¡points ¡between ¡them ¡have ¡

lesser ¡angle ¡than ¡angle[i] ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

25 ¡

SoluKon ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

26 ¡

Radix ¡Sort ¡

5 ¡= ¡101 ¡ 7 ¡= ¡111 ¡ 2 ¡= ¡010 ¡ 4 ¡= ¡100 ¡ 5 ¡= ¡101 ¡ 3 ¡= ¡011 ¡ 1 ¡= ¡001 ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

27 ¡

Radix ¡Sort ¡

5 ¡= ¡101 ¡ 7 ¡= ¡111 ¡ 2 ¡= ¡010 ¡ 4 ¡= ¡100 ¡ 5 ¡= ¡101 ¡ 3 ¡= ¡011 ¡ 1 ¡= ¡001 ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

28 ¡

2 ¡= ¡010 ¡ 4 ¡= ¡100 ¡ 5 ¡= ¡101 ¡ 7 ¡= ¡111 ¡ 5 ¡= ¡101 ¡ 3 ¡= ¡011 ¡ 1 ¡= ¡001 ¡

Radix ¡Sort ¡

5 ¡= ¡101 ¡ 7 ¡= ¡111 ¡ 2 ¡= ¡010 ¡ 4 ¡= ¡100 ¡ 5 ¡= ¡101 ¡ 3 ¡= ¡011 ¡ 1 ¡= ¡001 ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

29 ¡

2 ¡= ¡010 ¡ 4 ¡= ¡100 ¡ 5 ¡= ¡101 ¡ 7 ¡= ¡111 ¡ 5 ¡= ¡101 ¡ 3 ¡= ¡011 ¡ 1 ¡= ¡001 ¡ 4 ¡= ¡100 ¡ 5 ¡= ¡101 ¡ 5 ¡= ¡101 ¡ 1 ¡= ¡001 ¡ 2 ¡= ¡010 ¡ 7 ¡= ¡111 ¡ 3 ¡= ¡011 ¡

Radix ¡Sort ¡

5 ¡= ¡101 ¡ 7 ¡= ¡111 ¡ 2 ¡= ¡010 ¡ 4 ¡= ¡100 ¡ 5 ¡= ¡101 ¡ 3 ¡= ¡011 ¡ 1 ¡= ¡001 ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

30 ¡

2 ¡= ¡010 ¡ 4 ¡= ¡100 ¡ 5 ¡= ¡101 ¡ 7 ¡= ¡111 ¡ 5 ¡= ¡101 ¡ 3 ¡= ¡011 ¡ 1 ¡= ¡001 ¡ 4 ¡= ¡100 ¡ 5 ¡= ¡101 ¡ 5 ¡= ¡101 ¡ 1 ¡= ¡001 ¡ 2 ¡= ¡010 ¡ 7 ¡= ¡111 ¡ 3 ¡= ¡011 ¡ 1 ¡= ¡001 ¡ 2 ¡= ¡010 ¡ 3 ¡= ¡011 ¡ 4 ¡= ¡100 ¡ 5 ¡= ¡101 ¡ 5 ¡= ¡101 ¡ 7 ¡= ¡111 ¡

Basic ¡PrimiKve: ¡Pack ¡

• Given ¡an ¡array ¡A ¡and ¡an ¡array ¡F ¡of ¡flags ¡
• A ¡= ¡[5 ¡7 ¡2 ¡4 ¡5 ¡3 ¡1] ¡
• F ¡= ¡[1 ¡1 ¡0 ¡0 ¡1 ¡1 ¡1] ¡
• Pack ¡all ¡elements ¡with ¡flag ¡= ¡0 ¡before ¡elements ¡with ¡

flag ¡ ¡= ¡1 ¡

• A’ ¡= ¡[2 ¡4 ¡5 ¡7 ¡5 ¡3 ¡1] ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

31 ¡

SoluKon ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

32 ¡

Other ¡ApplicaKons ¡of ¡Scan ¡

• Radix ¡Sort ¡
• CompuKng ¡Line ¡of ¡Sight ¡
• Adding ¡mulK-­‑precision ¡numbers ¡
• Quick ¡Sort ¡
• To ¡search ¡for ¡regular ¡expressions ¡
• Parallel ¡grep ¡
• … ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

33 ¡

High ¡Level ¡Points ¡

• Minimize ¡dependence ¡between ¡parallel ¡loops ¡
• Unintended ¡dependences ¡= ¡data ¡races ¡
• Next ¡lecture ¡
• Carefully ¡analyze ¡remaining ¡dependences ¡
• Use ¡Reduce ¡and ¡Scan ¡pa7erns ¡where ¡applicable ¡ ¡

6/16/2010 ¡ Parallel ¡Pa7erns ¡-­‑ ¡Reduce ¡& ¡Scan ¡

34 ¡