sr s - - PowerPoint PPT Presentation

✶✴✺✶

❡❈❙❊✵✺✲✵✺✿ ❖♣❡♥ s♦✉r❝❡ ❡①❛s❝❛❧❡ ♠✉❧t✐✲s❝❛❧❡ ❢r❛♠❡✇♦r❦ ❢♦r t❤❡ ❯❑ s♦❧✐❞ ♠❡❝❤❛♥✐❝s ❝♦♠♠✉♥✐t②

❆✳ ❙❤t❡r❡♥❧✐❦❤t✶✱ ▲✳ ▼❛r❣❡tts✷✱ ▲✳ ❈❡❜❛♠❛♥♦s✸

✶▼❡❝❤ ❊♥❣ ❉❡♣t✱ ❚❤❡ ❯♥✐✈❡rs✐t② ♦❢ ❇r✐st♦❧✱ ❇r✐st♦❧ ❇❙✽ ✶❚❘✱ ❯❑✱

♠❡①❛s❅❜r✐s✳❛❝✳✉❦

✷❙❝❤♦♦❧ ♦❢ ▼❡❝❤❛♥✐❝❛❧✱ ❆❡r♦ ❛♥❞ ❈✐✈✐❧ ❊♥❣✐♥❡❡r✐♥❣✱ ❚❤❡ ❯♥✐✈❡rs✐t② ♦❢ ▼❛♥❝❤❡st❡r✱

▼❛♥❝❤❡st❡r ▼✶✸ ✾P▲✱ ❯❑✱ ▲❡❡✳▼❛r❣❡tts❅♠❛♥❝❤❡st❡r✳❛❝✳✉❦

✸❊❞✐♥❜✉r❣❤ P❛r❛❧❧❡❧ ❈♦♠♣✉t✐♥❣ ❈❡♥tr❡ ✭❊P❈❈✮✱ ❚❤❡ ❯♥✐✈❡rs✐t② ♦❢ ❊❞✐♥❜✉r❣❤✱

❑✐♥❣✬s ❇✉✐❧❞✐♥❣s✱ ❊❞✐♥❜✉r❣❤ ❊❍✾ ✸❋❉✱ ❯❑✱ ❧✳❝❡❜❛♠❛♥♦s❅❡♣❝❝✳❡❞✳❛❝✳✉❦ ✷✾✲▼❆❘✲✷✵✶✼

✷✴✺✶

❚❛❜❧❡ ♦❢ ❈♦♥t❡♥ts

❲❤② ♠✉❧t✐✲s❝❛❧❡ ♠♦❞❡❧❧✐♥❣ ♦❢ ❢r❛❝t✉r❡❄ ❈❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ❋♦rtr❛♥ ❝♦❛rr❛②s P❛r❛❋❊▼ ✲ ♦♣❡♥ s♦✉r❝❡ ♣❛r❛❧❧❡❧ ❋❊❆ ❈❆❋❊✿ ▼P■ t♦ ❝♦❛rr❛②s ♠❛♣♣✐♥❣ ❈r❛②P❆❚ ♣r♦☞❧✐♥❣✱ tr❛❝✐♥❣ ❛♥❞ ♦♣t✐♠✐s❛t✐♦♥ ❚❆❯ ♣r♦☞❧✐♥❣ ❯♥r❡s♦❧✈❡❞ ✐ss✉❡s ❛♥❞ ❢✉t✉r❡ ✇♦r❦

✸✴✺✶

❚❛❜❧❡ ♦❢ ❈♦♥t❡♥ts

❲❤② ♠✉❧t✐✲s❝❛❧❡ ♠♦❞❡❧❧✐♥❣ ♦❢ ❢r❛❝t✉r❡❄ ❈❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ❋♦rtr❛♥ ❝♦❛rr❛②s P❛r❛❋❊▼ ✲ ♦♣❡♥ s♦✉r❝❡ ♣❛r❛❧❧❡❧ ❋❊❆ ❈❆❋❊✿ ▼P■ t♦ ❝♦❛rr❛②s ♠❛♣♣✐♥❣ ❈r❛②P❆❚ ♣r♦☞❧✐♥❣✱ tr❛❝✐♥❣ ❛♥❞ ♦♣t✐♠✐s❛t✐♦♥ ❚❆❯ ♣r♦☞❧✐♥❣ ❯♥r❡s♦❧✈❡❞ ✐ss✉❡s ❛♥❞ ❢✉t✉r❡ ✇♦r❦

✹✴✺✶

❋r❛❝t✉r❡ ✐♥ ❤❡t❡r♦❣❡♥❡♦✉s ♠❛t❡r✐❛❧s

♣♦❧②❝r②st❛❧ ❝❧❡❛✈❛❣❡ r❡✐♥❢♦r❝❡❞ ❝♦♥❝r❡t❡ ❈❋❘P ♠❡t❛❧ ♠❛tr✐① ❜♦♥❡ ❣r❛♣❤✐t❡

■ ❆❧❧ r❡❛❧ ♠❛t❡r✐❛❧s ❛r❡ ❤❡t❡r♦❣❡♥❡♦✉s ■ ▼✉❧t✐♣❧❡ ❢r❛❝t✉r❡ ❛♥❞ ❞❛♠❛❣❡ ♣r♦❝❡ss❡s ❤❛♣♣❡♥ ❛t ❞✐☛❡r❡♥t

t✐♠❡ ❛♥❞ ❧❡♥❣t❤ s❝❛❧❡s ✦ ♥❡❡❞ ♠✉❧t✐✲s❝❛❧❡ ❢r❛♠❡✇♦r❦

✺✴✺✶

❋r❛❝t✉r❡✿ ❈❆ ✰ ❋❊ ❂ ❈❆❋❊ ♠✉❧t✐✲s❝❛❧❡ ♠♦❞❡❧

❈●P❆❈❑

■ ❙tr✉❝t✉r❡❞ ❣r✐❞s ✲ ❝❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ✭❈❆✮✱ ✉♥str✉❝t✉r❡❞ ❣r✐❞s ✲

☞♥✐t❡ ❡❧❡♠❡♥ts ✭❋❊✮

■ ❈❆ ✭♠✐❝r♦str✉❝t✉r❡✮ ✰ ❋❊ ✭❝♦♥t✐♥✉✉♠ ♠❡❝❤❛♥✐❝s✮ ❂ ❈❆❋❊ ■ ❚r❛♥s❣r❛♥✉❧❛r ❝❧❡❛✈❛❣❡ ✲ ❢r❛❝t✉r❡ str❡ss ♦r str❛✐♥ ❝r✐t❡r✐❛ ■ ❋❊ ✦ ❈❆ ✭❧♦❝❛❧✐s❛t✐♦♥✮ ✲ str❡ss✱ str❛✐♥ ☞❡❧❞s ■ ❈❆ ✦ ❋❊ ✭❤♦♠♦❣❡♥✐s❛t✐♦♥✮ ✲ ❞❛♠❛❣❡ ✈❛r✐❛❜❧❡s

✻✴✺✶

❚❛❜❧❡ ♦❢ ❈♦♥t❡♥ts

❲❤② ♠✉❧t✐✲s❝❛❧❡ ♠♦❞❡❧❧✐♥❣ ♦❢ ❢r❛❝t✉r❡❄ ❈❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ❋♦rtr❛♥ ❝♦❛rr❛②s P❛r❛❋❊▼ ✲ ♦♣❡♥ s♦✉r❝❡ ♣❛r❛❧❧❡❧ ❋❊❆ ❈❆❋❊✿ ▼P■ t♦ ❝♦❛rr❛②s ♠❛♣♣✐♥❣ ❈r❛②P❆❚ ♣r♦☞❧✐♥❣✱ tr❛❝✐♥❣ ❛♥❞ ♦♣t✐♠✐s❛t✐♦♥ ❚❆❯ ♣r♦☞❧✐♥❣ ❯♥r❡s♦❧✈❡❞ ✐ss✉❡s ❛♥❞ ❢✉t✉r❡ ✇♦r❦

✼✴✺✶

❈❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ✭❈❆✮ ❜❛s✐❝s

■ ❞✐s❝r❡t❡ s♣❛❝❡✱ ❞✐s❝r❡t❡ t✐♠❡✱ ❞✐s❝r❡t❡ st❛t❡s ✲ ❢✉❧❧② ❞✐❣✐t❛❧

❢r❛♠❡✇♦r❦✱ str✉❝t✉r❡❞ ❣r✐❞s

■ ☞♥✐t❡ ♦r ✐♥☞♥✐t❡ s♣❛❝❡ ■ ☞♥✐t❡ s♣❛❝❡✿ ☞①❡❞ ♦r s❡❧❢✲s✐♠✐❧❛r ❜♦✉♥❞❛r✐❡s ■ ❝❡❧❧ ♥❡✐❣❤❜♦✉r❤♦♦❞✱ ❡✳❣✳ ✈♦♥ ◆❡✉♠❛♥♥✬s✿

✱ ♦r ▼♦♦r❡✬s✿

■ ✐t❡r❛t✐✈❡ ♣r♦❝❡ss ■ st❛t❡ ♦❢ ❛ ❝❡❧❧s ❛t ♥❡①t ✐t❡r❛t✐♦♥ ✐s ❛ ❢✉♥❝t✐♦♥ ♦❢ t❤❡ st❛t❡ ♦❢

t❤✐s ❝❡❧❧s ❛♥❞ ♦❢ t❤❡ st❛t❡s ♦❢ ✐ts ♥❡✐❣❤❜♦✉r❤♦♦❞ ❝❡❧❧s ❛t t❤❡ ❝✉rr❡♥t ✐t❡r❛t✐♦♥

❲✐❦✐♣❡❞✐❛

✽✴✺✶

Pr✐♠✐t✐✈❡ ✸❉ s♦❧✐❞✐☞❝❛t✐♦♥ ✲ ♣r♦❜❛❜✐❧✐st✐❝ ❈❆

■ ❙t❛t❡s✿ ❧✐q✉✐❞ ❂ ✵✱ ❝r②st❛❧s ❃ ✵✳ ■ ❈❡❧❧ st❛t❡ ✉♥✐q✉❡❧② ❡♥❝♦❞❡s ❝r②st❛❧

♦r✐❡♥t❛t✐♦♥ t❡♥s♦r✱ ✐✳❡✳ ❛ ❧♦♦❦✲✉♣ t❛❜❧❡✳

■ ❊❛❝❤ ✐t❡r❛t✐♦♥ ❛ ❧✐q✉✐❞ ❝❡❧❧ ❛❝q✉✐r❡s ❛

st❛t❡ ♦❢ ❛ r❛♥❞♦♠❧② ❝❤♦s❡♥ ♥❡✐❣❤❜♦✉r ✭✸❉ ▼♦♦r❡✬s ♥❡✐❣❤❜♦✉r❤♦♦❞ ✲ ✷✻ ❝❡❧❧s✮✳

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 1 1 1 1 1 1 1 1 1 1 1 1 1 1 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 24 1 1 1 24 24 1 24 1 1 1

✐ ✐ ✰ ✶

✾✴✺✶

Pr✐♠✐t✐✈❡ ♣r♦❜❛❜✐❧✐st✐❝ ✸❉ s♦❧✐❞✐☞❝❛t✐♦♥ ✲ r❡s✉❧ts

❋♦r ♠♦r❡ r❡s✉❧ts

❈●P❆❈❑

✶✵✴✺✶

❈❆ ✇✐t❤ ☞❡❧❞s

■ ❯s❡❞ ❢♦r s♦❧✐❞✐☞❝❛t✐♦♥

❬✶❪✱ r❡❝r②st❛❧❧✐s❛t✐♦♥ ❬✷❪ ❛♥❞ ❢r❛❝t✉r❡ ❬✸✱ ✹❪✳

■ ❋❊ ✲ ❝♦♥t✐♥✉✉♠

♠❡❝❤❛♥✐❝s ✲ str❡ss✱ str❛✐♥✱ ❡t❝✳

■ ❈❆ ✲ ❝r②st❛❧s✱ ❝r②st❛❧

❜♦✉♥❞❛r✐❡s✱ ❝❧❡❛✈❛❣❡✱ ❣r❛✐♥ ❜♦✉♥❞❛r② ❢r❛❝t✉r❡

■ ❋❊ ✦ ❈❆ ✲ str❡ss✱

str❛✐♥

■ ❈❆ ✦ ❋❊ ✲ ❞❛♠❛❣❡

✈❛r✐❛❜❧❡s

✶✶✴✺✶

❖t❤❡r ❈❆ ❡①❛♠♣❧❡s

❙❛♥❞ ♣✐❧❡ ❢♦r♠❛t✐♦♥ ■s✐♥❣ ♠❛❣♥❡t✐s❛t✐♦♥ ♠♦r❡ ✐♥❢♦ ▲❛♥❞ ✉s❡ ♠♦r❡ ✐♥❢♦ ❉✐☛✉s✐♦♥ ❛♥✐♠❛t✐♦♥ ✐♥❢♦ ❋✐r❡ ♠♦r❡ ✐♥❢♦ ❊♣✐❞❡♠✐❝s✱ ❢r♦♠ ❚❤❡ ❖♣❡♥ ▼❡❞✳ ■♥❢♦r♠✳ ❏✳ ✷✭✶✮✿✼✵✲✽✶✱ ✷✵✵✽✳ P❉❋

✶✷✴✺✶

❚❛❜❧❡ ♦❢ ❈♦♥t❡♥ts

❲❤② ♠✉❧t✐✲s❝❛❧❡ ♠♦❞❡❧❧✐♥❣ ♦❢ ❢r❛❝t✉r❡❄ ❈❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ❋♦rtr❛♥ ❝♦❛rr❛②s P❛r❛❋❊▼ ✲ ♦♣❡♥ s♦✉r❝❡ ♣❛r❛❧❧❡❧ ❋❊❆ ❈❆❋❊✿ ▼P■ t♦ ❝♦❛rr❛②s ♠❛♣♣✐♥❣ ❈r❛②P❆❚ ♣r♦☞❧✐♥❣✱ tr❛❝✐♥❣ ❛♥❞ ♦♣t✐♠✐s❛t✐♦♥ ❚❆❯ ♣r♦☞❧✐♥❣ ❯♥r❡s♦❧✈❡❞ ✐ss✉❡s ❛♥❞ ❢✉t✉r❡ ✇♦r❦

✶✸✴✺✶

❋♦rtr❛♥ ❝♦❛rr❛②s ❢♦r ❈❆

■ ❋♦rtr❛♥ ♥❛t✐✈❡ ❙P▼❉ ♣❛r❛❧❧❡❧ ♣r♦❣r❛♠♠✐♥❣ ❢❡❛t✉r❡ ■ ❋♦rtr❛♥ st❛♥❞❛r❞ s✐♥❝❡ ✷✵✵✽✳ ▼♦r❡ ❢❡❛t✉r❡s ✐♥ ✷✵✶✺✳ ■ ❈r❛②✱ ■♥t❡❧✱ ❖♣❡♥❈♦❛rr❛②s✴●❈❈ s✉♣♣♦rt ■ ❈●P❆❈❑ ✲ ❝❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ♠✐❝r♦str✉❝t✉r❡ s✐♠✉❧❛t✐♦♥

❧✐❜r❛r②✿

❝❣♣❛❝❦✳s❢✳♥❡t ✳ ❙❡❡ ❛❧s♦ ❬✺✱ ✻✱ ✼❪✳

■ ❊❛s② ❤❛❧♦ ❡①❝❤❛♥❣❡ ■ ❈❆ s♣❛❝❡ ❝♦❛rr❛② ✲ ✹❉ ❛rr❛②✱ ✸ ❝♦❞✐♠❡♥s✐♦♥s✿

✐♥ t❡❣ ❡r ✱ ❛ ❧ ❧ ♦ ❝ ❛ t ❛ ❜ ❧ ❡ ✿ ✿ s♣❛❝❡ ✭ ✿ ✱ ✿ ✱ ✿ ✱ ✿ ✮ ❬ ✿ ✱ ✿ ✱ ✿ ❪

■ ■❞❡❛❧ ❢♦r str✉❝t✉r❡❞ ❣r✐❞s✿

✥ ✶✽ ✐♠❣s❀ ✻✹ ✐♠❣s ✦

✶✹✴✺✶

❈♦❛rr❛② ■❖ ✲ ♥♦ ♥❛t✐✈❡ ❋♦rtr❛♥ ♣❛r❛❧❧❡❧ ■❖

■ ▼P■✴■❖ ✉♣ t♦ ✷✳✸●❇✴s

♦♥ ❈r❛② ❳❊✻

❇❈❙ t❛❧❦

■ ▼P■✴■❖ ✉♣ t♦ ✽●❇✴s ♦♥

❈r❛② ❳❈✸✵ ✭❝❛♥ r❡❛❝❤ ✶✹●❇✴s ❬✽❪✮

■ ◆❡t❈❉❋ ✹✳✸✱ ❍❉❋✺

✶✳✽✳✶✹ ✲ ♦♥❧② ✉♣ t♦ ✶✳✷●❇✴s ♦♥ ❈r❛② ❳❈✸✵✳

■ ❧❢s str✐♣❡ ❝♦✉♥t✱ s✐③❡✱

♥✉♠❜❡r ♦❢ ✐♠❛❣❡s✱ ☞❧❡ s✐③❡✱ ❈r❛② ❤✉❣❡♣❛❣❡s✳✳✳

■ ✵✳✺ ✲ ✶❚❇ ❞❛t❛s❡ts

0.2 0.4 0.6 0.8 1 1.2 1.4 1 2 4 8 16 32 64 IO rate, GB/s lfs stripe size, MB Cray XC30, 20 nodes, lfs, NetCDF IO rates count 1 count 4 count 8 count 16 count 20 count 32 count 40 count 56

✶✺✴✺✶

❈●P❆❈❑ s♦❧✐❞✐☞❝❛t✐♦♥ s❝❛❧✐♥❣

1 10 100 1000 8 64 512 4096 32768 speed-up #cores, Cray XE6 sync all sync images serial sync images d&c co_sum

❙❝❛❧✐♥❣ ✈❛r✐❡s ❢♦r ❞✐☛❡r❡♥t ♣r♦❣r❛♠s ❜✉✐❧t ✇✐t❤ ❈●P❆❈❑✱ ❞❡♣❡♥❞✐♥❣ ♦♥ ✇❤✐❝❤ r♦✉t✐♥❡s ❛r❡ ❝❛❧❧❡❞✱ ✐♥ ✇❤❛t ♦r❞❡r ❛♥❞ r❡q✉✐r❡♠❡♥ts ❢♦r s②♥❝❤r♦♥✐s❛t✐♦♥✳

✶✻✴✺✶

❚❛❜❧❡ ♦❢ ❈♦♥t❡♥ts

❲❤② ♠✉❧t✐✲s❝❛❧❡ ♠♦❞❡❧❧✐♥❣ ♦❢ ❢r❛❝t✉r❡❄ ❈❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ❋♦rtr❛♥ ❝♦❛rr❛②s P❛r❛❋❊▼ ✲ ♦♣❡♥ s♦✉r❝❡ ♣❛r❛❧❧❡❧ ❋❊❆ ❈❆❋❊✿ ▼P■ t♦ ❝♦❛rr❛②s ♠❛♣♣✐♥❣ ❈r❛②P❆❚ ♣r♦☞❧✐♥❣✱ tr❛❝✐♥❣ ❛♥❞ ♦♣t✐♠✐s❛t✐♦♥ ❚❆❯ ♣r♦☞❧✐♥❣ ❯♥r❡s♦❧✈❡❞ ✐ss✉❡s ❛♥❞ ❢✉t✉r❡ ✇♦r❦

✶✼✴✺✶

P❛r❛❋❊▼ ✲ s❝❛❧❛❜❧❡ ▼P■ ☞♥✐t❡ ❡❧❡♠❡♥t ❧✐❜r❛r②

■

♣❛r❛❢❡♠✳♦r❣✳✉❦

■ ❖♣❡♥ s♦✉r❝❡ ❧✐❜r❛r② ✰ ✘✼✵ ♠✐♥✐

❆♣♣s

■ ❋♦rtr❛♥ ✾✵ ▼P■ ■ Pr♦✈❡♥ s❝❛❧✐♥❣ ✉♣ t♦ ✘✻✹✱✵✵✵ ❝♦r❡s ■ ❃ ✶ ❜✐❧❧✐♦♥ ❞❡❣r❡❡s ♦❢ ❢r❡❡❞♦♠ ■ ❯s❡❞ ❢♦r t❡❛❝❤✐♥❣ ❛♥❞ r❡s❡❛r❝❤ ■ ✶✵✵✵✰ r❡❣✐st❡r❡❞ ✉s❡rs ♦♥ ✇❡❜s✐t❡ ■ ✘✶✹✵✵ ❝✐t❛t✐♦♥s ♦❢ t❡①t ❜♦♦❦ ❬✾❪ ■ ❍✐❣❤❧② ♣♦rt❛❜❧❡ ■ ❇❙❉ ❧✐❝❡♥s❡

✶✽✴✺✶

P❛r❛❋❊▼ ❧✐❜r❛r② ✐♥t❡r❢❛❝❡s

✶✾✴✺✶

P❛r❛❋❊▼ ❡①❛♠♣❧❡s ✲ ♥✉❝❧❡❛r ❢✉s✐♦♥

✷✵✴✺✶

P❛r❛❋❊▼ s❝❛❧✐♥❣

✷✶✴✺✶

P❛r❛❋❊▼ ❛♣♣❧✐❝❛t✐♦♥ ❛r❡❛s

♣♦✇❡r ❣❡♥❡r❛t✐♦♥ ♣❛❧❡♦♥t♦❧♦❣② ♠✐❝r♦✲♠❡❝❤❛♥✐❝s ❜✐♦✲♠❡❝❤❛♥✐❝s

✷✷✴✺✶

❚❛❜❧❡ ♦❢ ❈♦♥t❡♥ts

❲❤② ♠✉❧t✐✲s❝❛❧❡ ♠♦❞❡❧❧✐♥❣ ♦❢ ❢r❛❝t✉r❡❄ ❈❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ❋♦rtr❛♥ ❝♦❛rr❛②s P❛r❛❋❊▼ ✲ ♦♣❡♥ s♦✉r❝❡ ♣❛r❛❧❧❡❧ ❋❊❆ ❈❆❋❊✿ ▼P■ t♦ ❝♦❛rr❛②s ♠❛♣♣✐♥❣ ❈r❛②P❆❚ ♣r♦☞❧✐♥❣✱ tr❛❝✐♥❣ ❛♥❞ ♦♣t✐♠✐s❛t✐♦♥ ❚❆❯ ♣r♦☞❧✐♥❣ ❯♥r❡s♦❧✈❡❞ ✐ss✉❡s ❛♥❞ ❢✉t✉r❡ ✇♦r❦

✷✸✴✺✶

❈❆❋❊ ❞❡s✐❣♥✿ str✉❝t✉r❡❞ ❈❆ ❣r✐❞ ✰ ✉♥str✉❝t✉r❡❞ ❋❊ ❣r✐❞

material l

1

l

3

l

2 body (domain) multi−scale model

❈❆ ✰ ❋❊ ❂ ❈❆❋❊

MPI 1 MPI 4 MPI 2

multi−scale model

MPI 3 image 2 image 4 image 3 image 1

❊①❛♠♣❧❡ ✇✐t❤ ✹ P❊ ✭✹ ▼P■ ♣r♦✲ ❝❡ss❡s✱ ✹ ❝♦❛rr❛② ✐♠❛❣❡s✮✳ ❆rr♦✇s ❛r❡ ❋❊ ✩ ❈❆ ❝♦♠♠s✳

image 2 PE 2 PE 1 PE 3 PE 4 MPI 3 MPI 4 MPI 2 MPI 1 image 3 image 4 image 1

✷✹✴✺✶

❋❊ ✦ ❈❆ ♠❛♣♣✐♥❣ ✈✐❛ ❛ ♣r✐✈❛t❡ ❛❧❧♦❝❛t❛❜❧❡ ❛rr❛② ♦❢ ❞❡r✐✈❡❞ t②♣❡✿

t②♣❡ ♠❝❡♥ ✐ ♥ t ❡ ❣ ❡ r ✿ ✿ ✐♠❛❣❡ ✱ ❡❧♥✉♠ r ❡ ❛ ❧ ✿ ✿ ❝❡♥tr ✭✸✮ ❡♥❞ t②♣❡ ♠❝❡♥ t②♣❡ ✭ ♠❝❡♥ ✮ ✱ ❛ ❧ ❧ ♦ ❝ ❛ t ❛ ❜ ❧ ❡ ✿ ✿ ❧ ❝ ❡ ♥ t r ✭ ✿ ✮ ❜❛s❡❞ ♦♥ ❝♦♦r❞✐♥❛t❡s ♦❢ ❋❊ ❝❡♥tr♦✐❞s ❝❛❧❝✉❧❛t❡❞ ❜② ❡❛❝❤ ▼P■ ♣r♦❝❡ss ❛♥❞ st♦r❡❞ ✐♥ ❝❡♥tr♦✐❞ t♠♣ ❝♦❛rr❛②✿ t②♣❡ r❝❛ r❡❛❧ ✱ ❛ ❧ ❧ ♦ ❝ ❛ t ❛ ❜ ❧ ❡ ✿ ✿ r ✭ ✿ ✱ ✿ ✮ ❡♥❞ t②♣❡ r❝❛ t②♣❡ ✭ r❝❛ ✮ ✿ ✿ ❝❡♥tr♦✐❞ t♠♣ ❬ ✄ ❪ ✿ ❛ ❧ ❧ ♦ ❝ ❛ t ❡ ✭ ❝❡♥tr♦✐❞ t♠♣✪r ✭✸ ✱ ♥ ❡ ❧ s ♣ ♣ ✮ ✮ ✇❤❡r❡ ♥❡❧s ♣♣ ✐s t❤❡ ♥✉♠❜❡r ♦❢ ❋❊ st♦r❡❞ ♦♥ t❤✐s P❊✳

✷✺✴✺✶

❧❝❡♥tr ❛rr❛②s ♦♥ ✐♠❛❣❡s P ❛♥❞ ◗

PE, image, MPI process P

. .

m

. . . .

n

. . .

elements image elnum centr . . . Q . . . P . . . CA lcentr . . . m . . . a . . . . . . u . . . t . . . u t PE, image, MPI process Q

. .

b

. . . .

a

. . .

image elnum centr . . . Q . . . P . . . CA r s lcentr . . . n . . . b . . . . . . r . . . s . . . elements

✷✻✴✺✶

❋r❛❝t✉r❡ ♠♦❞❡❧❧✐♥❣

■ ❉✐✈❡rs❡ ❈❆❋❊ ❢r❛❝t✉r❡ ♠♦❞❡❧s ❝❛♥ ❜❡ ❝♦♥str✉❝t❡❞ ❢r♦♠

❈●P❆❈❑ ✰ P❛r❛❋❊▼ ❧✐❜r❛r✐❡s✳

■ ❙✐♠♣❧❡ ❝❛s❡✿ ✐s♦tr♦♣✐❝ ❧✐♥❡❛r ❡❧❛st✐❝ ❋❊ ✭❊❀ ✗✮ ✰ ❝❧❡❛✈❛❣❡

✭❢✉❧❧② ❜r✐tt❧❡ tr❛♥s❣r❛♥✉❧❛r ❢r❛❝t✉r❡ ♠♦❞❡✮ ❈❆✳

■ ❋❊ str❡ss t❡♥s♦r t ♣❛ss❡❞ t♦ ❈❆✱ r❡s♦❧✈❡❞ ♦♥ ♥♦r♠❛❧ str❡ss❡s

♦♥ ❢✶✵✵❣ ❛♥❞ ❢✶✶✵❣ ❝r②st❛❧ ♣❧❛♥❡s ✲ t✶✵✵❀ t✶✶✵ ❬✺✱ ✶✵❪✳

■ ✷ ♣❛r❛♠❡t❡rs ✲ ❢r❛❝t✉r❡ str❡ss✱ ✛❋ ✱ ❧✐♥❦❡❞ t♦ t❤❡ ❢r❡❡ s✉r❢❛❝❡

❡♥❡r❣②✱ ✌✱ ❛♥❞ ❛ ❝❤❛r❛❝t❡r✐st✐❝ ❧❡♥❣t❤✱ ▲✳

■ ■❢ t✶✵✵ ✕ ✛❋ ♦r t✶✶✵ ✕ ✛❋ t❤❡♥ ❛ ❈❆ ❝r❛❝❦ ❡①t❡♥❞s ❜② ▲ ♣❡r

✉♥✐t ♦❢ t✐♠❡✳

■ ❈r❛❝❦ ♠♦r♣❤♦❧♦❣② ✐s r❡❞✉❝❡❞ t♦ ❛ s✐♥❣❧❡ ❞❛♠❛❣❡ ✈❛r✐❛❜❧❡✱ ❞✳

❞ ❂ ✶ ✐♥✐t✐❛❧❧② ✭♥♦ ❞❛♠❛❣❡✮✳ ❞ ❂ ✵ ✲ ✐♥t❡❣r❛t✐♦♥ ♣♦✐♥t ❤❛s ❢❛✐❧❡❞✱ ♥♦ ❧♦❛❞ ❜❡❛r✐♥❣ ❝❛♣❛❝✐t②✳

✷✼✴✺✶

❈❆❋❊ ❢r❛❝t✉r❡ r❡s✉❧ts

❲❛t❝❤ ❛♥✐♠❛t✐♦♥s ❛t

❈●P❆❈❑ s✐t❡

✷✽✴✺✶

❚❛❜❧❡ ♦❢ ❈♦♥t❡♥ts

❲❤② ♠✉❧t✐✲s❝❛❧❡ ♠♦❞❡❧❧✐♥❣ ♦❢ ❢r❛❝t✉r❡❄ ❈❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ❋♦rtr❛♥ ❝♦❛rr❛②s P❛r❛❋❊▼ ✲ ♦♣❡♥ s♦✉r❝❡ ♣❛r❛❧❧❡❧ ❋❊❆ ❈❆❋❊✿ ▼P■ t♦ ❝♦❛rr❛②s ♠❛♣♣✐♥❣ ❈r❛②P❆❚ ♣r♦☞❧✐♥❣✱ tr❛❝✐♥❣ ❛♥❞ ♦♣t✐♠✐s❛t✐♦♥ ❚❆❯ ♣r♦☞❧✐♥❣ ❯♥r❡s♦❧✈❡❞ ✐ss✉❡s ❛♥❞ ❢✉t✉r❡ ✇♦r❦

✷✾✴✺✶

❈r❛②P❆❚ ♣r♦☞❧✐♥❣ ✶

Pr♦☞❧✐♥❣ ❢✉♥❝t✐♦♥ ❞✐str✐❜✉t✐♦♥ ❢♦r P❛r❛❋❊▼✴❈●P❆❈❑ ▼P■✴❝♦❛rr❛② ♠✐♥✐❛♣♣ ✇✐t❤ ❛❧❧✲t♦✲❛❧❧ r♦✉t✐♥❡ ❝❣❝❛ ❣❝✉♣❞❛ ❛t ✼✷✵✵ ❝♦r❡s✳

✸✵✴✺✶

❈r❛②P❆❚ ♣r♦☞❧✐♥❣ ✷

❘❛✇ ♣r♦☞❧✐♥❣ ❞❛t❛ ❢♦r P❛r❛❋❊▼✴❈●P❆❈❑ ▼P■✴❝♦❛rr❛② ♠✐♥✐❛♣♣ ✇✐t❤ ❛❧❧✲t♦✲❛❧❧ r♦✉t✐♥❡ ❝❣❝❛ ❣❝✉♣❞❛ ❛t ✼✷✵✵ ❝♦r❡s✳

✸✶✴✺✶

❝❣❝❛ ❣❝✉♣❞❛ ✲ ❛❧❧✲t♦✲❛❧❧

✐ ♥ t ❡ ❣ ❡ r ✿ ✿ ❣❝✉♣❞ ✭ ✶ ✵ ✵ ✱ ✸ ✮ ❬ ✄ ❪ ✱ r♥❞✐♥t ✱ ❥ ✱ ✫ ✐♠❣ ✱ ❣ ❝ ✉ ♣ ❞ ❧ ♦ ❝ ❛ ❧ ✭✶✵✵ ✱✸✮ r ❡ ❛ ❧ ✿ ✿ r♥❞ ✿ ❝ ❛ ❧ ❧ r❛♥❞♦♠ ♥✉♠❜❡r ✭ r♥❞ ✮ r ♥ ❞ ✐ ♥ t ❂ ✐ ♥ t ✭ r♥❞ ✄♥✉♠ ✐♠❛❣❡s ✭✮ ✮ ✰ ✶ ❞♦ ❥ ❂ r♥❞✐♥t ✱ r ♥ ❞ ✐ ♥ t ✰ ♥✉♠ ✐♠❛❣❡s ✭✮ ✶ ✐♠❣ ❂ ❥ ✐ ❢ ✭ ✐♠❣ ✳ ❣t ✳ ♥✉♠ ✐♠❛❣❡s ✭ ✮ ✮ ✫ ✐♠❣ ❂ ✐♠❣ ♥✉♠ ✐♠❛❣❡s ✭✮ ✐ ❢ ✭ ✐♠❣ ✳ ❡q ✳ t ❤ ✐ s ✐ ♠ ❛ ❣ ❡ ✭ ✮ ✮ ❝ ② ❝ ❧ ❡ ✿ ❣ ❝ ✉ ♣ ❞ ❧ ♦ ❝ ❛ ❧ ✭ ✿ ✱ ✿ ✮ ❂ ❣❝✉♣❞ ✭ ✿ ✱ ✿ ✮ ❬ ✐♠❣ ❪ ✿ ❡♥❞ ❞♦

✸✷✴✺✶

❝❣❝❛ ❣❝✉♣❞♥ ✲ ♥❡❛r❡st ♥❡✐❣❤❜♦✉r

❞♦ ✐ ❂ ✶ ✱ ✶ ❞♦ ❥ ❂ ✶ ✱ ✶ ❞♦ ❦ ❂ ✶ ✱ ✶ ✦

• ❡t

t❤❡ ❝♦✐♥❞❡① s ❡ t ♦❢ t❤❡ ♥❡✐❣❤❜♦✉r ♥❝♦❞ ❂ ♠②❝♦❞ ✰ ✭✴ ✐ ✱ ❥ ✱ ❦ ✴✮ ✿ ❣ ❝ ✉ ♣ ❞ ❧ ♦ ❝ ❛ ❧ ✭ ✿ ✱ ✿ ✮ ❂ ✫ ❣❝✉♣❞ ✭ ✿ ✱ ✿ ✮ ❬ ♥❝♦❞ ✭✶✮ ✱ ♥❝♦❞ ✭✷✮ ✱ ♥❝♦❞ ✭ ✸ ✮ ❪ ✿ ❡♥❞ ❞♦ ❡♥❞ ❞♦ ❡♥❞ ❞♦ ◆♦t❡✿ t❤❡ ♥❡❛r❡st ♥❡✐❣❤❜♦✉r ♠✉st ❜❡ ❝❛❧❧❡❞ ♠✉❧t✐♣❧❡ t✐♠❡s t♦ ♣r♦♣❛❣❛t❡ ❝❤❛♥❣❡s ❢r♦♠ ❡✈❡r② ✐♠❛❣❡ t♦ ❛❧❧ ♦t❤❡r ✐♠❛❣❡s✳

✸✸✴✺✶

❈r❛②P❆❚ ♣r♦☞❧✐♥❣ ❝❣❝❛ ❣❝✉♣❞♥

Pr♦☞❧✐♥❣ ❢✉♥❝t✐♦♥ ❞✐str✐❜✉t✐♦♥ ❢♦r P❛r❛❋❊▼✴❈●P❆❈❑ ▼P■✴❝♦❛rr❛② ♠✐♥✐❛♣♣ ✇✐t❤ t❤❡ ♥❡❛r❡st ♥❡✐❣❤❜♦✉r r♦✉t✐♥❡ ❝❣❝❛ ❣❝✉♣❞♥ ❛t ✼✷✵✵ ❝♦r❡s✳

✸✹✴✺✶

❈r❛②P❆❚ ♣r♦☞❧✐♥❣ ❝❣❝❛ ❣❝✉♣❞♥

❘❛✇ ♣r♦☞❧✐♥❣ ❞❛t❛ ❢♦r P❛r❛❋❊▼✴❈●P❆❈❑ ▼P■✴❝♦❛rr❛② ♠✐♥✐❛♣♣ ✇✐t❤ t❤❡ ♥❡❛r❡st ♥❡✐❣❤❜♦✉r r♦✉t✐♥❡ ❝❣❝❛ ❣❝✉♣❞♥ ❛t ✼✷✵✵ ❝♦r❡s✳

✸✺✴✺✶

❙❝❛❧✐♥❣ ✐♠♣r♦✈❡♠❡♥t ✇✐t❤ ❝❣❝❛ ❣❝✉♣❞♥ ♦✈❡r ❝❣❝❛ ❣❝✉♣❞❛

10 100 1000 10000 100 1000 10000 100000 1 10 100 time, s scaling Number of cores, ARCHER, Cray XC30 cgca_gcupda runtime cgca_gcupdn runtime cgca_gcupdn scaling

❘✉♥t✐♠❡s ❛♥❞ s❝❛❧✐♥❣ ❢♦r P❛r❛❋❊▼✴❈●P❆❈❑ ▼P■✴❝♦❛rr❛② ♠✐♥✐❛♣♣ ✇✐t❤ t❤❡ ♥❡❛r❡st ♥❡✐❣❤❜♦✉r✱ ❝❣❝❛ ❣❝✉♣❞♥✱ ❛♥❞ ❛❧❧✲t♦✲❛❧❧✱ ❝❣❝❛ ❣❝✉♣❞❛✱ ❛❧❣♦r✐t❤♠s✳ ❙❝❛❧✐♥❣ ❧✐♠✐t ✐♥❝r❡❛s❡❞ ❢r♦♠ ✷❦ t♦ ✼❦ ❝♦r❡s✳

✸✻✴✺✶

❈r❛②P❆❚ ✲ ❧♦❛❞ ✐♠❜❛❧❛♥❝❡ ♦♥ ✼❦ ❝♦r❡s ♦♥ ❈r❛② ❳❈✸✵

❲❤♦❧❡ ♣r♦❣r❛♠ ❛❝t✐✈✐t②✱ s❤♦✇♥ ✐♥ ✪ t♦t❛❧ t✐♠❡ ♣❡r ♣r♦❝❡ss✳ Pr♦❝❡ss❡s ✻✸✻✸ t♦ ✼✶✾✾ ❛r❡ s❤♦✇♥✳

✸✼✴✺✶

■ss✉❡s ✇✐t❤ ❈r❛②P❆❚

❝❣❝❛ ❣❝✉♣❞❛ ✐s t♦♣ ✐♥ s❛♠♣❧✐♥❣ r❡s✉❧ts✱ ❜✉t ✐s ❛❜s❡♥t ❢r♦♠ tr❛❝✐♥❣✳ ■t ✐s ❝❛❧❧❡❞ t❤❡ s❛♠❡ ♥✉♠❜❡r ♦❢ t✐♠❡s ❛s ❝❣❝❛ ❤①✐✳

✸✽✴✺✶

■ss✉❡s ✇✐t❤ ❈r❛②P❆❚

❆❧❧ ♣r♦☞❧✐♥❣ ✇❛s ❞♦♥❡ ✇✐t❤ s✐♥❣❧❡ t❤r❡❛❞✳ ■♥❝♦rr❡❝t ♥✉♠❜❡r ♦❢ t❤r❡❛❞s ✐❞❡♥t✐☞❡❞ ❜② ❈r❛②P❆❚ ✐♥ ❛ tr❛❝✐♥❣ ❡①♣❡r✐♠❡♥t ♦❢ P❛r❛❋❊▼✴❈●P❆❈❑ ▼P■✴❝♦❛rr❛② ♠✐♥✐❛♣♣ ✇✐t❤ ❝❣❝❛ ❣❝✉♣❞❛✳

✸✾✴✺✶

❊st❛❜❧✐s❤✐♥❣ ❧❝❡♥tr ❛rr❛②

■ ❆rr❛② ❧❝❡♥tr ✐s ❡st❛❜❧✐s❤❡❞ ❜② s✉❜r♦✉t✐♥❡ ❝❣❝❛ ♣❢❡♠ ❝❡♥❝

✇❤✐❝❤ ✉s❡s ❛❧❧✲t♦✲❛❧❧ ❝♦♠♠s✳

■ ❙✉❜r♦✉t✐♥❡ ❝❣❝❛ ♣❢❡♠ ♠❛♣ ✉s❡s ❧❛r❣❡ t❡♠♣♦r❛r② ❛rr❛②s ❛♥❞

❝♦❛rr❛② ❝♦❧❧❡❝t✐✈❡s ❝♦ s✉♠ ❛♥❞ ❝♦ ♠❛①✱ ♣❛rts ♦❢ ❋♦rtr❛♥ ✷✵✶✺ st❛♥❞❛r❞ ❬✶✶✱ ✶✷❪✳

✹✵✴✺✶

❈♦♠♠s str✉❝t✉r❡ ✐♥ ❝❣❝❛ ♣❢❡♠ ♠❛♣

✐ ♥ t ❡ ❣ ❡ r ✿ ✿ ♠❛①❢❡ ✱ ♣ ♦ s s t ❛ r t ✱ ♣♦s ❡♥❞ ✱ ❝t♠♣s✐③❡ r❡❛❧ ✱ ❛ ❧ ❧ ♦ ❝ ❛ t ❛ ❜ ❧ ❡ ✿ ✿ t♠♣ ✭ ✿ ✱ ✿ ✮ ✦ ❈ ❛ ❧ ❝ ✉ ❧ ❛ t ❡ t❤❡ ♠❛① ♥✉♠❜❡r ♦❢ ❋❊s ♦♥ ❛♥② ✐♠❛❣❡ ♠❛①❢❡ ❂ s ✐ ③ ❡ ✭ ❝❡♥tr♦✐❞ t♠♣✪r ✱ ❞✐♠❂✷ ✮ ❝t♠♣s✐③❡ ❂ ♠❛①❢❡ ❝ ❛ ❧ ❧ ❝♦ ♠❛① ✭ ♠❛①❢❡ ✮ ❛ ❧ ❧ ♦ ❝ ❛ t ❡ ✭t♠♣✭ ♠❛①❢❡✄♥✉♠ ✐♠❛❣❡s ✭ ✮ ✱ ✺ ✮ ✱ s♦✉r❝❡ ❂✵✳✵✮ ✦ ❲r✐t❡s ♠② ❞❛t❛ ✐♥ ❛ ✉♥✐q✉❡ ♣ ♦ r t ✐ ♦ ♥ ♦❢ t♠♣ ♣ ♦ s s t ❛ r t ❂ ✭ t ❤ ✐ s ✐ ♠ ❛ ❣ ❡ ✭✮ ✶✮✄ ♠❛①❢❡ ✰ ✶ ♣♦s ❡♥❞ ❂ ♣ ♦ s s t ❛ r t ✰ ❝t♠♣s✐③❡ ✶ t♠♣✭ ♣ ♦ s s t ❛ r t ✿ ♣♦s ❡♥❞ ✱ ✶ ✮ ❂ ✫ r ❡ ❛ ❧ ✭ t ❤ ✐ s ✐ ♠ ❛ ❣ ❡ ✭✮ ✱ ❦✐♥❞❂✹ ✮ ✦ ❲r✐t❡ ❡❧❡♠❡♥t ♥✉♠❜❡r ✄ ❛s r ❡ ❛ ❧ ✄ t♠♣✭ ♣ ♦ s s t ❛ r t ✿ ♣♦s ❡♥❞ ✱ ✷ ✮ ❂ ✫ r ❡ ❛ ❧ ✭✭✴ ✭ ❥ ✱ ❥ ❂ ✶ ✱ ❝t♠♣s✐③❡ ✮ ✴✮ ✱ ❦✐♥❞ ❂✹✮ ✦ ❲r✐t❡ ❝ ❡ ♥ t r ♦ ✐ ❞ ❝♦♦r❞ t♠♣✭ ♣ ♦ s s t ❛ r t ✿ ♣♦s ❡♥❞ ✱ ✸✿✺ ✮ ❂ ✫ tr❛♥s♣♦s❡ ✭ ❝❡♥tr♦✐❞ t♠♣✪r ✭ ✿ ✱ ✿ ✮ ✮ ❝ ❛ ❧ ❧ ❝♦ s✉♠ ✭ t♠♣ ✮

✹✶✴✺✶

Pr♦☞❧✐♥❣ ✇✐t❤ ❝❣❝❛ ♣❢❡♠ ♠❛♣

Pr♦☞❧✐♥❣ ❢✉♥❝t✐♦♥ ❞✐str✐❜✉t✐♦♥ ❢♦r P❛r❛❋❊▼✴❈●P❆❈❑ ▼P■✴❝♦❛rr❛② ♠✐♥✐❛♣♣ ✇✐t❤ ❝❣❝❛ ❣❝✉♣❞♥ ❛♥❞ ❝❣❝❛ ♣❢❡♠ ♠❛♣ ❛t ✼✷✵✵ ❝♦r❡s✳

✹✷✴✺✶

Pr♦☞❧✐♥❣ ✇✐t❤ ❝❣❝❛ ♣❢❡♠ ♠❛♣

❘❛✇ ♣r♦☞❧✐♥❣ ❞❛t❛ ❢♦r P❛r❛❋❊▼✴❈●✲ P❆❈❑ ▼P■✴❝♦❛rr❛② ♠✐♥✐❛♣♣ ✇✐t❤ ❝❣❝❛ ❣❝✉♣❞♥ ❛♥❞ ❝❣❝❛ ♣❢❡♠ ♠❛♣ ❛t ✼✷✵✵ ❝♦r❡s✳

✹✸✴✺✶

Pr♦☞❧✐♥❣ ✇✐t❤ ❝❣❝❛ ♣❢❡♠ ♠❛♣

10 100 1000 10000 100 1000 10000 100000 1 10 100 time, s scaling _map runtime _cenc runtime _map scaling

❘✉♥t✐♠❡s ❛♥❞ s❝❛❧✐♥❣ ❢♦r P❛r❛❋❊▼✴❈●P❆❈❑ ▼P■✴❝♦❛rr❛② ♠✐♥✐❛♣♣ ✇✐t❤ ❝❣❝❛ ♣❢❡♠ ♠❛♣ ❛♥❞ ❝❣❝❛ ♣❢❡♠ ❝❡♥❝✳ ❝❣❝❛ ♣❢❡♠ ♠❛♣ ♦r ❝❣❝❛ ♣❢❡♠ ❝❡♥❝ ❛r❡ ❝❛❧❧❡❞ ♦♥❧② ♦♥❝❡ ❞✉r✐♥❣ t❤❡ ❡①❡❝✉t✐♦♥ ♦❢ t❤❡ ♠✐♥✐❛♣♣✳ ❍❡♥❝❡ ♦♥❧② ❛ ♠✐♥♦r ✐♠♣r♦✈❡♠❡♥t ✐s ♦❜t❛✐♥❡❞✱ ♦♥❧② ❢r♦♠ ❛❜♦✉t ✶✵✵✵ ❝♦r❡s✳

✹✹✴✺✶

❚❛❜❧❡ ♦❢ ❈♦♥t❡♥ts

❲❤② ♠✉❧t✐✲s❝❛❧❡ ♠♦❞❡❧❧✐♥❣ ♦❢ ❢r❛❝t✉r❡❄ ❈❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ❋♦rtr❛♥ ❝♦❛rr❛②s P❛r❛❋❊▼ ✲ ♦♣❡♥ s♦✉r❝❡ ♣❛r❛❧❧❡❧ ❋❊❆ ❈❆❋❊✿ ▼P■ t♦ ❝♦❛rr❛②s ♠❛♣♣✐♥❣ ❈r❛②P❆❚ ♣r♦☞❧✐♥❣✱ tr❛❝✐♥❣ ❛♥❞ ♦♣t✐♠✐s❛t✐♦♥ ❚❆❯ ♣r♦☞❧✐♥❣ ❯♥r❡s♦❧✈❡❞ ✐ss✉❡s ❛♥❞ ❢✉t✉r❡ ✇♦r❦

✹✺✴✺✶

❚❆❯ ♣r♦☞❧✐♥❣✿ ■♥t❡❧ ✶✻ ❝♦❛rr❛② ✐♠♣❧❡♠❡♥t❛t✐♦♥ ✲ ▼P■ ❘▼❆

✷① ✶✻✲❝♦r❡ ♥♦❞❡s✱ ✸✷ ✐♠❛❣❡s✳ P♦♦r ♦♣t✐♠✐s❛t✐♦♥❄

❚❆❯

✹✻✴✺✶

❚❛❜❧❡ ♦❢ ❈♦♥t❡♥ts

❲❤② ♠✉❧t✐✲s❝❛❧❡ ♠♦❞❡❧❧✐♥❣ ♦❢ ❢r❛❝t✉r❡❄ ❈❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ❋♦rtr❛♥ ❝♦❛rr❛②s P❛r❛❋❊▼ ✲ ♦♣❡♥ s♦✉r❝❡ ♣❛r❛❧❧❡❧ ❋❊❆ ❈❆❋❊✿ ▼P■ t♦ ❝♦❛rr❛②s ♠❛♣♣✐♥❣ ❈r❛②P❆❚ ♣r♦☞❧✐♥❣✱ tr❛❝✐♥❣ ❛♥❞ ♦♣t✐♠✐s❛t✐♦♥ ❚❆❯ ♣r♦☞❧✐♥❣ ❯♥r❡s♦❧✈❡❞ ✐ss✉❡s ❛♥❞ ❢✉t✉r❡ ✇♦r❦

✹✼✴✺✶

❈❆ ✲ ❝♦❛rr❛② ✭♦✈❡r✮s②♥❝❤r♦♥✐s❛t✐♦♥❄

❝ ❛ ❧ ❧ ❝❣❝❛ ♥r ✭ s♣❛❝❡ ✮ ✦ s②♥❝ ❛ ❧ ❧ ✐ ♥ s ✐ ❞ ❡ ❝ ❛ ❧ ❧ ❝ ❣ ❝ ❛ r t ✭ ❣rt ✮ ✦ s②♥❝ ❛ ❧ ❧ ✐ ♥ s ✐ ❞ ❡ ❝ ❛ ❧ ❧ ❝ ❣ ❝ ❛ s ❧ ❞ ✭ s♣❛❝❡ ✮ ✦ s②♥❝ ❛ ❧ ❧ ✐ ♥ s ✐ ❞ ❡ ❝ ❛ ❧ ❧ ❝❣❝❛ ✐❣❜ ✭ s♣❛❝❡ ✮ s②♥❝ ❛ ❧ ❧ ❝ ❛ ❧ ❧ ❝ ❣❝ ❛ ❤① ✐ ✭ s♣❛❝❡ ✮ s②♥❝ ❛ ❧ ❧ ❝ ❛ ❧ ❧ ❝❣❝❛ ❣❜s ✭ s♣❛❝❡ ✮ s②♥❝ ❛ ❧ ❧ ❝ ❛ ❧ ❧ ❝ ❣❝ ❛ ❤① ✐ ✭ s♣❛❝❡ ✮ s②♥❝ ❛ ❧ ❧ ❝ ❛ ❧ ❧ ❝❣❝❛ ❣❝✉ ✭ s♣❛❝❡ ✮ ✦ ❧ ♦ ❝ ❛ ❧ r ♦ ✉ t ✐ ♥ ❡ ♥♦ s②♥❝

■ ❆❧❧ ✐♠❛❣❡s s②♥❝ ✇✐t❤ t❤❡✐r ✷✻ ♥❡✐❣❤❜♦✉rs✳ ■ ❙♦♠❡ r♦✉t✐♥❡s ❤❛✈❡ s②♥❝ ✐♥s✐❞❡✳ ■ ❖t❤❡r s②♥❝ r❡s♣♦♥s✐❜✐❧✐t② ✐s ❧❡❢t t♦ ❡♥❞ ✉s❡r✳

✹✽✴✺✶

❋♦rtr❛♥ ✷✵✶✺ ❡✈❡♥ts✿ ♠♦r❡ ✌❡①✐❜❧❡ t❤❛♥ ❙❨◆❈ ■▼❆●❊❙ ❬✶✷❪

✉s❡ ✱ ✐ ♥ t r ✐ ♥ s ✐ ❝ ✐ s ♦ ❢ ♦ r t r ❛ ♥ ❡ ♥ ✈ ✱ ♦♥❧② ✿ ❡✈❡♥t t②♣❡ t②♣❡ ✭ ❡✈❡♥t t②♣❡ ✮ ✿ ✿ ✈❛r ❬ ✿ ✱ ✿ ✱ ✿ ❪ ✐♥ t❡❣ ❡r ✱ ❛ ❧ ❧ ♦ ❝ ❛ t ❛ ❜ ❧ ❡ ✿ ✿ s♣❛❝❡ ✭ ✿ ✱ ✿ ✱ ✿ ✱ ✿ ✮ ❬ ✿ ✱ ✿ ✱ ✿ ❪ ✐ ♥ t ❡ ❣ ❡ r ✿ ✿ ❡ r r s t ❛ t ✱ ♠②r❛♥❦ ✭✸✮ ✦ ❛ ❧ ❧ ♦ ❝ ❛ t ❡ ✈❛r ✱ s♣❛❝❡ ♠②r❛♥❦ ❂ t ❤ ✐ s ✐ ♠ ❛ ❣ ❡ ✭ s♣❛❝❡ ✮ ✦ ❞♦ s♦♠❡ ✇♦r❦ ✱ t❤❡♥ ♥ ♦ t ✐ ❢ ② ♥❡✐❣❤❜♦✉rs ❡✈❡♥t ♣♦st ✭ ✈❛r ❬ ♠②r❛♥❦ ✭✶✮ ✶ ✱ ♠②r❛♥❦ ✭✷✮ ✱ ✫ ♠②r❛♥❦ ✭✸✮ ❪ ✱ s t ❛ t❂❡ r r s t ❛ t ✮ ✦ ✷✺ ♠♦r❡ ♣♦sts ✿ ❡✈❡♥t ✇❛✐t ✭ ✈❛r ✱ ✉ ♥ t ✐ ❧ ❝ ♦ ✉ ♥ t ❂✷✻✱ s t ❛ t❂❡ r r s t ❛ t ✮ ✦ ✇❤❡♥ ❛ ❧ ❧ ✷✻ ♥❡✐❣❤❜♦✉rs ♣♦st❡❞ ✱ ❝♦♥t✐♥✉❡ ✇♦r❦ ✿

✹✾✴✺✶

❋✉t✉r❡✿ t❤r❡❛❞ ❧❡✈❡❧ ♣❛r❛❧❧❡❧✐s♠✿ ❖♣❡♥▼P✱ ❉❖ ❈❖◆❈❯❘❘❊◆❚

♠❛✐♥ ✿ ❞♦ ✐ t ❡ r ❂ ✶ ✱◆ ❞♦ ①✸ ❂ ❧ ❜ r ✭✸✮ ✱ ✉❜r ✭✸✮ ❞♦ ①✷ ❂ ❧ ❜ r ✭✷✮ ✱ ✉❜r ✭✷✮ ❞♦ ①✶ ❂ ❧ ❜ r ✭✶✮ ✱ ✉❜r ✭✶✮ ❧ ✐ ✈ ❡ ✿ ✐ ❢ ✳ ✳ ✳ ❝ ❛ ❧ ❧ ❝❣❝❛ ❝❧✈❣♥ ✭ ❝ ❧ ✈ ❣ ❢ ❧ ❛ ❣ ✮ ✐ ❢ ✭ ❝ ❧ ✈ ❣ ❢ ❧ ❛ ❣ ✮ ❝ ❛ ❧ ❧ s✉❜ ✭ s♣❛❝❡ ✮ ❡♥❞ ✐ ❢ ❧ ✐ ✈ ❡ ❡♥❞ ❞♦ ❡♥❞ ❞♦ ❡♥❞ ❞♦ ❝ ❛ ❧ ❧ ❝♦ s✉♠ ✭ ❝ ❧ ✈ ❣ ❣ ❧ ♦ ❜ ✮ s②♥❝ ❛ ❧ ❧ ❝ ❛ ❧ ❧ ❝ ❣❝ ❛ ❤① ✐ ✭ s♣❛❝❡ ✮ s②♥❝ ❛ ❧ ❧ ❝ ❛ ❧ ❧ ❝❣❝❛ ❞❛❝❢ ✭ s♣❛❝❡ ✮

✺✵✴✺✶

❈♦♥❝❧✉s✐♦♥s

■ ❋♦rtr❛♥ ❝♦❛rr❛②s ❛r❡ ❛♥ ✐❞❡❛❧ ♠❛t❝❤ ❢♦r ❝❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ■ ❍②❜r✐❞ ❝♦❛rr❛②✰▼P■ ♠✉❧t✐✲s❝❛❧❡ ❢r❛❝t✉r❡ ❢r❛♠❡✇♦r❦ ✐s ❢❡❛s✐❜❧❡ ■ ❙❝❛❧✐♥❣ ✉♣ t♦ ✼❦ ❝♦r❡s ❝✉rr❡♥t❧②✱ ✇♦r❦ ♦♥❣♦✐♥❣ ■ Pr♦☞❧✐♥❣✴tr❛❝✐♥❣ t♦♦❧s✿ ❈r❛②P❆❚✱ ❚❆❯✱ ❙❝♦r❡✲P✱ ❙❝❛❧❛s❝❛ ✲

❝♦❛rr❛② s✉♣♣♦rt ✐s ✐♠♣r♦✈✐♥❣

■ ❈♦❛rr❛② s②♥❝❤r♦♥✐s❛t✐♦♥ ✲ ♠❛❥♦r ✐ss✉❡✿ ❞❛t❛ ✐♥t❡❣r✐t② ✫

♣❡r❢♦r♠❛♥❝❡

✺✶✴✺✶

❆❝❦♥♦✇❧❡❞❣❡♠❡♥ts

■ ❚❤✐s ✇♦r❦ ✇❛s ❢✉♥❞❡❞ ✉♥❞❡r t❤❡ ❡♠❜❡❞❞❡❞ ❈❙❊ ♣r♦❣r❛♠♠❡

♦❢ t❤❡ ❆❘❈❍❊❘ ❯❑ ◆❛t✐♦♥❛❧ ❙✉♣❡r❝♦♠♣✉t✐♥❣ ❙❡r✈✐❝❡ ✭❤tt♣✿✴✴✇✇✇✳❛r❝❤❡r✳❛❝✳✉❦✮✱

❛r❝❤❡r✳❛❝✳✉❦

■ ❚❤✐s ✇♦r❦ ✇❛s ❝❛rr✐❡❞ ♦✉t ✉s✐♥❣ t❤❡ ❝♦♠♣✉t❛t✐♦♥❛❧ ❢❛❝✐❧✐t✐❡s ♦❢

t❤❡ ❆❞✈❛♥❝❡❞ ❈♦♠♣✉t✐♥❣ ❘❡s❡❛r❝❤ ❈❡♥tr❡✱ ❯♥✐✈❡rs✐t② ♦❢ ❇r✐st♦❧ ✲ ❤tt♣s✿✴✴✇✇✇✳❛❝r❝✳❜r✐s✳❛❝✳✉❦✱

✇✇✇✳❛❝r❝✳❜r✐s✳❛❝✳✉❦

✺✶✴✺✶

❬✶❪ ❈✳ ❆✳ ●❛♥❞✐♥ ❛♥❞ ▼✳ ❘❛♣♣❛③✳ ❆ ❝♦✉♣❧❡❞ ☞♥✐t❡ ❡❧❡♠❡♥t✲❝❡❧❧✉❧❛r ❛✉t♦♠❛t♦♥ ♠♦❞❡❧ ❢♦r t❤❡ ♣r❡❞✐❝t✐♦♥ ♦❢ ❞❡♥❞r✐t✐❝ ❣r❛✐♥ str✉❝t✉r❡s ✐♥ s♦❧✐❞✐☞❝❛t✐♦♥ ♣r♦❝❡ss❡s✳ ❆❝t❛ ▼❡t✳ ❛♥❞ ▼❛t✳✱ ✹✷✭✼✮✿✷✷✸✸④✷✷✹✻✱ ✶✾✾✹✳ ❬✷❪ ❈✳ ❩❤❡♥❣ ❛♥❞ ❉✳ ❘❛❛❜❡✳ ■♥t❡r❛❝t✐♦♥ ❜❡t✇❡❡♥ r❡❝r②st❛❧❧✐③❛t✐♦♥ ❛♥❞ ♣❤❛s❡ tr❛♥s❢♦r♠❛t✐♦♥ ❞✉r✐♥❣ ✐♥t❡r❝r✐t✐❝❛❧ ❛♥♥❡❛❧✐♥❣ ✐♥ ❛ ❝♦❧❞✲r♦❧❧❡❞ ❞✉❛❧✲♣❤❛s❡ st❡❡❧✿ ❆ ❝❡❧❧✉❧❛r ❛✉t♦♠❛t♦♥ ♠♦❞❡❧✳ ❆❝t❛ ▼❛t❡r✐❛❧✐❛✱ ✻✶✿✺✺✵✹④✺✺✶✼✱ ✷✵✶✸✳ ❬✸❪ ❆✳ ❙❤t❡r❡♥❧✐❦❤t ❛♥❞ ■✳ ❈✳ ❍♦✇❛r❞✳ ❚❤❡ ❈❆❋❊ ♠♦❞❡❧ ♦❢ ❢r❛❝t✉r❡ ④ ❛♣♣❧✐❝❛t✐♦♥ t♦ ❛ ❚▼❈❘ st❡❡❧✳ ❋❛t✐❣✉❡ ❋r❛❝t✳ ❊♥❣✳ ▼❛t❡r✳ ❙tr✉❝t✳✱ ✷✾✿✼✼✵④✼✽✼✱ ✷✵✵✻✳ ❬✹❪ ❙✳ ❉❛s✱ ❆✳ ❙❤t❡r❡♥❧✐❦❤t✱ ■✳ ❈✳ ❍♦✇❛r❞✱ ❛♥❞ ❊✳ ❏✳ P❛❧♠✐❡r❡✳ ❆ ❣❡♥❡r❛❧ ♠❡t❤♦❞ ❢♦r ❝♦✉♣❧✐♥❣ ♠✐❝r♦str✉❝t✉r❛❧ r❡s♣♦♥s❡ ✇✐t❤ str✉❝t✉r❛❧ ♣❡r❢♦r♠❛♥❝❡✳ Pr♦❝✳ ❘♦②✳ ❙♦❝✳ ❆✱ ✹✻✷✿✷✵✽✺④✷✵✾✻✱ ✷✵✵✻✳ ❬✺❪ ❆✳ ❙❤t❡r❡♥❧✐❦❤t ❛♥❞ ▲✳ ▼❛r❣❡tts✳ ❚❤r❡❡✲❞✐♠❡♥s✐♦♥❛❧ ❝❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ♠♦❞❡❧❧✐♥❣ ♦❢ ❝❧❡❛✈❛❣❡ ♣r♦♣❛❣❛t✐♦♥ ❛❝r♦ss ❝r②st❛❧ ❜♦✉♥❞❛r✐❡s ✐♥ ♣♦❧②❝r②st❛❧❧✐♥❡ ♠✐❝r♦✲ str✉❝t✉r❡s✳ Pr♦❝✳ ❘♦②✳ ❙♦❝✳ ❆✱ ✹✼✶✿✷✵✶✺✵✵✸✾✱ ✷✵✶✺✳ ❬✻❪ ❆✳ ❙❤t❡r❡♥❧✐❦❤t✱ ▲✳ ▼❛r❣❡tts✱ ▲✳ ❈❡❜❛♠❛♥♦s✱ ❛♥❞ ❉✳ ❍❡♥t②✳ ❋♦rtr❛♥ ✷✵✵✽ ❝♦❛rr❛②s✳ ❆❈▼ ❋♦rtr❛♥ ❋♦r✉♠✱ ✸✹✿✶✵④✸✵✱ ✷✵✶✺✳ ❬✼❪ ❆✳ ❙❤t❡r❡♥❧✐❦❤t✳ ❋♦rtr❛♥ ❝♦❛rr❛② ❧✐❜r❛r② ❢♦r ✸❉ ❝❡❧❧✉❧❛r ❛✉t♦♠❛t❛ ♠✐❝r♦str✉❝t✉r❡ s✐♠✉❧❛t✐♦♥✳ ■♥ ▼✳ ❲❡✐❧❛♥❞✱ ❆✳ ❏❛❝❦s♦♥✱ ❛♥❞ ◆✳ ❏♦❤♥s♦♥✱ ❡❞✐t♦rs✱ Pr♦❝✳ ✼t❤ P●❆❙ ❈♦♥❢✳✱ ✸✲✹ ❖❝t♦❜❡r ✷✵✶✸✱ ❊❞✐♥❜✉r❣❤✱ ❙❝♦t❧❛♥❞✱ ❯❑✱ ♣❛❣❡s ✶✻④✷✹✳ ❚❤❡ ❯♥✐✈❡rs✐t② ♦❢ ❊❞✐♥❜✉r❣❤✱ ✷✵✶✹✳ ❬✽❪ ❉✳ ❍❡♥t②✱ ❆✳ ❏❛❝❦s♦♥✱ ❈✳ ▼♦✉❧✐♥❡❝✱ ❛♥❞ ❱✳ ❙③❡r❡♠✐✳ P❡r❢♦r♠❛♥❝❡ ♦❢ P❛r❛❧❧❡❧ ■❖ ♦♥ ❆❘❈❍❊❘✱ ✈❡rs✐♦♥ ✶✳✶✳ ❆❘❈❍❊❘ ❲❤✐t❡ P❛♣❡rs✱ ✷✵✶✺✳ ❬✾❪ ■✳ ▼✳ ❙♠✐t❤✱ ❉✳ ❱✳ ●r✐✍t❤s✱ ❛♥❞ ▲✳ ▼❛r❣❡tts✳ Pr♦❣r❛♠♠✐♥❣ t❤❡ ❋✐♥✐t❡ ❊❧❡♠❡♥t ▼❡t❤♦❞✳ ❲✐❧❡②✱ ✺❡❞✱ ✷✵✶✹✳ ❬✶✵❪ ❆✳ ❙❤t❡r❡♥❧✐❦❤t✱ ❙✳ ▼❛r❣❡tts✱ ▲✳ ▼❝❉♦♥❛❧❞✱ ❛♥❞ ◆✳ ❑✳ ❇♦✉r♥❡✳ ❚♦✇❛r❞s ♠❡❝❤❛♥✐s♠✲❜❛s❡❞ s✐♠✉❧❛t✐♦♥ ♦❢ ✐♠♣❛❝t ❞❛♠❛❣❡ ✉s✐♥❣ ❡①❛s❝❛❧❡ ❝♦♠♣✉t✐♥❣✳ ■♥

✺✶✴✺✶

Pr♦❝✳ ✶✾t❤ ❆P❙ ❈♦♥❢✳ ❙❤♦❝❦ ❈♦♠♣r❡ss✐♦♥ ❈♦♥❞❡♥s❡❞ ▼❛tt❡r ❙❈❈▼✲✷✵✶✺✱ ❏❯◆✲✷✵✶✺✱ ❚❛♠♣❛✱ ❋❧♦r✐❞❛✱ ❯❙❆✱ ✷✵✶✺✳ ❬✶✶❪ ■❙❖✴■❊❈ ❏❚❈✶✴❙❈✷✷✴❲●✺ ◆✷✵✼✹✳ ❚❙ ✶✽✺✵✽ ❆❞❞✐t✐♦♥❛❧ P❛r❛❧❧❡❧ ❋❡❛t✉r❡s ✐♥ ❋♦rtr❛♥✳ ✷✵✶✺✳ ❬✶✷❪ ❇✳ ▲♦♥❣✳ ❆❞❞✐t✐♦♥❛❧ ♣❛r❛❧❧❡❧ ❢❡❛t✉r❡s ✐♥ ❋♦rtr❛♥✳ ❆❈▼ ❋♦rtr❛♥ ❋♦r✉♠✱ ✸✺✿✶✻④✷✸✱ ✷✵✶✻✳