POWER-AWARE RESOURCE MANAGER Maximizing Data Center - - PowerPoint PPT Presentation

POWER-­‑AWARE ¡RESOURCE ¡MANAGER ¡

Maximizing ¡Data ¡Center ¡Performance ¡Under ¡Strict ¡Power ¡Budget ¡

Osman ¡Sarood, ¡Akhil ¡Langer*, ¡Abhishek ¡Gupta, ¡Laxmikant ¡Kale ¡ ¡ Parallel ¡Programming ¡Laboratory ¡ Department ¡of ¡Computer ¡Science ¡ University ¡of ¡Illinois ¡at ¡Urbana-­‑Champaign ¡ ¡ 19th ¡November ¡ BoF: ¡Dynamic ¡Power ¡Management ¡for ¡MW-­‑sized ¡Supercomputer ¡Centers ¡ SupercompuOng ¡2014 ¡ New ¡Orleans, ¡LA ¡

Major ¡Challenge ¡to ¡Achieve ¡Exascale ¡

Exascale ¡in ¡20MW! ¡ Power ¡consumpGon ¡for ¡Top500 ¡

Data ¡Center ¡Power ¡

How ¡is ¡power ¡demand ¡of ¡data ¡center ¡calculated? ¡ ¡

q Using ¡Thermal ¡Design ¡Power ¡(TDP)! ¡

However, ¡TDP ¡is ¡hardly ¡reached!! ¡ ¡ ¡ ¡ ¡

Constraining ¡CPU/Memory ¡power ¡

Intel ¡Sandy ¡Bridge ¡ q Running ¡Average ¡Power ¡Limit ¡(RAPL) ¡library ¡

Ø measure ¡and ¡set ¡CPU/memory ¡power ¡

Constraining ¡CPU/Memory ¡power ¡

SoluOon ¡to ¡Data ¡Center ¡Power ¡ q Constrain ¡power ¡consumpGon ¡of ¡nodes ¡ q Overprovisioning ¡-­‑ ¡Use ¡more ¡nodes ¡than ¡convenGonal ¡data ¡ center ¡for ¡same ¡power ¡budget ¡ ¡ ¡ ¡

Intel ¡Sandy ¡Bridge ¡ q Running ¡Average ¡Power ¡Limit ¡(RAPL) ¡library ¡

Ø measure ¡and ¡set ¡CPU/memory ¡power ¡

Applica=on ¡Performance ¡with ¡Power ¡

(20x32,10) ¡ ¡ (12x44,18) ¡ ¡ ConfiguraOon ¡ ¡ (n ¡x ¡pc, ¡pm ¡) ¡

Performance ¡of ¡LULESH ¡at ¡different ¡ configuraGons ¡

pc: ¡CPU ¡power ¡cap ¡ pm: ¡Memory ¡power ¡cap ¡

ApplicaGon ¡performance ¡ does ¡not ¡improve ¡ proporGonately ¡with ¡ increase ¡in ¡power ¡cap ¡ Run ¡on ¡larger ¡number ¡of ¡ nodes ¡each ¡capped ¡at ¡ lower ¡power ¡level ¡

Problem ¡Statement ¡ ¡

Data ¡center ¡capabiliOes ¡ q Power ¡capping ¡ability ¡ q Overprovisioning ¡ Job ¡features ¡(OpOonal) ¡ q Moldability ¡ q Malleability ¡

Ø Charm++ ¡

Maximizing ¡Data ¡Center ¡Performance ¡Under ¡Strict ¡Power ¡Budget ¡

POWER-­‑AWARE ¡RESOURCE ¡MANAGER ¡

` ¡ Job ¡Arrives ¡ Job ¡Ends/ Terminates ¡ Schedule ¡ Jobs ¡(LP) ¡ Update ¡ Queue ¡ Scheduler ¡ Launch ¡Jobs/ ¡ Shrink-­‑Expand ¡ Ensure ¡Power ¡ Cap ¡ ExecuGon ¡ framework ¡ Triggers ¡

Profiler ¡

Strong ¡Scaling ¡Power ¡ Aware ¡Model ¡ Job ¡CharacterisGcs ¡ Database ¡

Time ¡vs ¡Scale ¡

Downey’s ¡strong ¡scaling ¡

Time ¡vs ¡Frequency ¡

t = F(n, A,σ )

Execu=on ¡=me ¡as ¡a ¡func=on ¡of ¡power ¡and ¡number ¡of ¡nodes ¡ ¡

q n: ¡number ¡of ¡nodes ¡ q A: ¡Average ¡Parallelism ¡ q ¡σ ¡: ¡duraGon ¡of ¡parallelism ¡A ¡ q Wcpu: ¡CPU ¡work ¡ q Tmem: ¡memory ¡work ¡ q Th ¡: ¡ ¡ ¡minimum ¡exec ¡Gme ¡ ¡ q pcore: ¡core ¡power ¡ q gi: ¡cost ¡level ¡I ¡cache ¡access ¡ q Li: ¡#level ¡I ¡accesses ¡ q gm: ¡cost ¡of ¡mem ¡access ¡ q M: ¡#mem ¡accesses ¡ q pbase: ¡idle ¡power ¡

¡Power ¡Aware ¡Strong ¡Scaling ¡Model ¡

xpressed as [31]: p = pcore +

3

X

i=1

giLi + gmM + pbase is the base/static package power consumption.

t(f) =    Wcpu f + Tmem, for f < fh Th, for f ≥ fh

Power ¡vs ¡Frequency ¡

POWER-­‑AWARE ¡RESOURCE ¡MANAGER ¡

` ¡ Job ¡Arrives ¡ Job ¡Ends/ Terminates ¡ Schedule ¡ Jobs ¡(ILP) ¡ Update ¡ Queue ¡

Scheduler ¡

Launch ¡Jobs/ ¡ Shrink-­‑Expand ¡ Ensure ¡Power ¡ Cap ¡ ExecuGon ¡ framework ¡ Triggers ¡

Profiler ¡

Strong ¡Scaling ¡Power ¡ Aware ¡Model ¡ Job ¡CharacterisGcs ¡ Database ¡

Objective Function X

j∈J

X

n∈Nj

X

p∈Pj

wj ∗ sj,n,p ∗ xj,n,p Select One Resource Combination Per Job X

n∈Nj

X

p∈Pj

xj,n,p ≤ 1 ∀j ∈ I X

n∈Nj

X

p∈Pj

xj,n,p = 1 ∀j ∈ I Bounding total nodes X

j∈J

X

p∈Pj

X

n∈Nj

nxj,n,p ≤ N Bounding power consumption X

j∈J

X

n∈Nj

X

p∈Pj

(n ∗ (p + Wbase))xj,n,p ≤ Wmax Disable Malleability (Optional) X

n∈Nj

X

p∈Pj

nxj,n,p = nj ∀j ∈ I

Maximizing ¡throughput ¡ makes ¡online ¡ILP ¡

• pGmizaGon ¡intractable, ¡

instead ¡ ¡ ¡ maximize ¡sum ¡of ¡ ¡ power-­‑aware ¡speedup ¡of ¡ selected ¡jobs ¡

Scheduler ¡-­‑ ¡Integer ¡Linear ¡Program ¡(ILP) ¡Formula=on ¡

POWER-­‑AWARE ¡RESOURCE ¡MANAGER ¡

` ¡ Job ¡Arrives ¡ Job ¡Ends/ Terminates ¡ Schedule ¡ Jobs ¡(ILP) ¡ Update ¡ Queue ¡

Scheduler ¡

Launch ¡Jobs/ ¡ Shrink-­‑Expand ¡ Ensure ¡Power ¡ Cap ¡

Execu=on ¡ framework ¡

Triggers ¡

Profiler ¡

Strong ¡Scaling ¡Power ¡ Aware ¡Model ¡ Job ¡CharacterisGcs ¡ Database ¡

SetL SetH 50 100 150 200 250 300 Average completion time (mins) SLURM noMM noSE wSE

Descrip2on ¡ q noMM: ¡without ¡Malleability ¡and ¡Moldability ¡ q noSE: ¡ ¡ ¡ ¡with ¡Moldability ¡but ¡no ¡Malleability ¡ q wSE: ¡ ¡ ¡ ¡ ¡ ¡with ¡Moldability ¡and ¡Malleability ¡

1.7X ¡improvement ¡in ¡throughput ¡ Lulesh, ¡AMR, ¡LeanMD, ¡Jacobi ¡and ¡Wave2D ¡ 38-­‑node ¡Intel ¡Sandy ¡Bridge ¡Cluster, ¡3000W ¡budget ¡

Performance ¡Results ¡

Takeaways ¡

Significant ¡improvement ¡in ¡throughputs ¡

Ø Power-­‑aware ¡characterisGcs ¡(PASS ¡model) ¡ Ø CPU ¡power ¡capping ¡ Ø Overprovisioning ¡

SophisGcated ¡ILP ¡scheduling ¡methodology ¡useful ¡for ¡ resource ¡assignment ¡ AdapGve ¡runGme ¡system ¡further ¡increases ¡benefits ¡by ¡ allowing ¡malleability ¡ ¡

Talk: ¡Maximizing ¡Throughput ¡of ¡Overprovisioned ¡HPC ¡Data ¡centers ¡Under ¡a ¡ Strict ¡Power ¡Budget. ¡SC ¡’14. ¡ Thursday ¡(tomorrow) ¡10:30 ¡am, ¡393-­‑94-­‑95. ¡

POWER-­‑AWARE ¡RESOURCE ¡MANAGER ¡

Maximizing ¡Data ¡Center ¡Performance ¡Under ¡Strict ¡Power ¡Budget ¡

Osman ¡Sarood, ¡Akhil ¡Langer*, ¡Abhishek ¡Gupta, ¡Laxmikant ¡Kale ¡ ¡ Parallel ¡Programming ¡Laboratory ¡ Department ¡of ¡Computer ¡Science ¡ University ¡of ¡Illinois ¡at ¡Urbana-­‑Champaign ¡ ¡ 19th ¡November ¡ SupercompuOng ¡2014 ¡ New ¡Orleans, ¡LA ¡ ¡ ¡

THANK ¡YOU! ¡