Blue Waters Experiences, Observations and Projections for GPU use in - PowerPoint PPT Presentation

Blue Waters Experiences, Observations and Projections for GPU use in Open, Scientific, Extreme Scale Research Systems NVIDIA GTC Conference– August 2016 Professor William Kramer National Center for Supercomputing Applications, University of Illinois http://bluewaters.ncsa.illinois.edu

Blue Waters Goals • Deploy a computing system capable of sustaining more than one petaflops or more for a broad range of applications • Cray system achieves this goal using a well defined metrics • Enable the Science Teams to take full advantage of the sustained petascale computing system • Blue Waters Team has established strong partnership with Science Teams, helping them to improve the performance and scalability of their applications • Enhance the operation and use of the sustained petascale system • Blue Waters Team is developing tools, libraries and other system software to aid in operation of the system and to help scientists and engineers make effective use of the system • Provide a world-class computing environment for the petascale computing system • The NPCF is a modern, energy-efficient data center with a rich WAN environment (100-400 Gbps) and data archive (>300 PB) • Exploit advances in innovative computing technology • Proposal anticipated the rise of heterogeneous computing and planned to help the computational community transition to new modes for computational and data-driven science and engineering GTC Conference - April 2015

Blue Waters – A Complete Project • Petascale Applications Collaboration Team Support • Petascale Application Petascale Application Improvement Discovery Program (PAID) • Petascale Application Co-Design • Major Project Points of Contact • Outstanding Partner and Production Support (Consulting, Flexible System Management, Storage Innovation, Cyber-protection, WAN) • Value Added Software • ICS, RAIT, Globus Online/HPSS, Compiler Improvements, … • Value added hardware and software (HPSS, archive HW, LAN/WAN Networking, etc.) • Partnerships • Great Lakes Consortium for Petascale Computing • Joint Laboratory for Extreme Scale Computing (JLESC) • Blue Waters Computational and Data Analysis System • Processors, Memory, Interconnect, On-line Storage, System Software, Programming Environment • National Petascale Computing Facility GTC Conference - April 2015

The Blue Waters Project • Comprehensive development, deployment and service phases with co-design and other aspects • The Blue Waters system is a top ranked system in all aspects of its capabilities. • Diverse Science teams are able to make excellent use of those capabilities due to the system’s flexibility and emphasis on sustained performance. • 45% larger than any system Cray has ever built • Peak Performance and delivered cycles are approximately the same as the aggregate of all the NSF XSEDE resources. • Ranks in the top 5 systems in the world in peak performance – despite being over two years old • Largest memory capacity (1.66 PetaBytes) of any HPC system in the world! One of the fastest file systems (>1 TB/s) in the world! • Largest nearline tape system (>250 PB) in the world • Fastest external network capability (370-470 Gb/s) of any open science site. GTC Conference - April 2015

Cray XE6 Blade and Node Node ¡Characteris1cs ¡ T H T H 3 Number ¡of ¡Cores ¡ 2 ¡sockets, ¡2 ¡Core ¡ 3 AMD ¡Interlagos ¡ 6200 ¡Core ¡ Modules ¡ Module ¡Processors ¡ 4 ¡AMD ¡Processor ¡chips ¡ 16 ¡FP ¡Bulldozer ¡Core ¡ ¡ Z ¡ 32 ¡Integer ¡Cores ¡ Y Peak ¡Performance ¡ 313 ¡Gflops/sec ¡ Memory ¡Size ¡ 4 ¡GB ¡per ¡core-­‑m ¡ X 64 ¡GB ¡per ¡node ¡ Memory ¡Bandwidth(Peak) ¡ 102.4 ¡GB/sec ¡ GTC Conference - April 2015

Cray XK7 Compute Node PCIe Gen2 3 T H XK7 ¡Compute ¡Node ¡ 3 T H Characteris1cs ¡ AMD ¡Series ¡6200 ¡(Interlagos) ¡Core ¡ Module ¡ Z ¡ NVIDIA ¡Kepler ¡ ¡K20X ¡ Host ¡Memory ¡-­‑ ¡32GB ¡ Y ¡ 1600 ¡MHz ¡DDR3 ¡ NVIDIA ¡X2090 ¡Memory ¡ X ¡ 6GB ¡GDDR5 ¡capacity ¡ Gemini ¡High ¡Speed ¡Interconnect ¡ GTC Conference - April 2015

Gemini Fabric (HSN) Cray XE6/XK7 - 276 Cabinets XK7 ¡ ¡GPU ¡Nodes ¡ DSL ¡ XE6 ¡Compute ¡Nodes ¡-­‑ ¡5,688 ¡Blades ¡– ¡22,640 ¡Nodes ¡– ¡ ¡ ¡ 1,056 ¡Blades ¡– ¡4,224 ¡Nodes ¡ 48 ¡Nodes ¡ 362,240 ¡FP ¡(bulldozer) ¡Cores ¡– ¡724,480 ¡Integer ¡Cores ¡ Resource ¡ ¡ 33,792 ¡FP ¡Cores ¡-­‑ ¡11,354,112 ¡cuda ¡cores ¡ ¡ ¡ 4 ¡GB ¡per ¡FP ¡core ¡ Manager ¡(MOM) ¡ ¡– ¡4,224 ¡K20X ¡GPUs, ¡4 ¡GB ¡per ¡FP ¡core ¡ 64 ¡Nodes ¡ BOOT ¡ SDB ¡ RSIP ¡ Network ¡GW ¡ Reserved ¡ LNET ¡Routers ¡ 2 ¡Nodes ¡ 2 ¡Nodes ¡ 12Nodes ¡ 8 ¡Nodes ¡ 74 ¡Nodes ¡ 582 ¡Nodes ¡ H2O ¡Login ¡ ¡ SMW ¡ ¡ 4 ¡Nodes ¡ Boot RAID SCUBA InfiniBand ¡fabric ¡ Boot Cabinet Import/Export ¡ Nodes ¡ Sonexion ¡ 10/40/100 ¡Gb ¡ HPSS ¡Data ¡Mover ¡ 25+ ¡usable ¡PB ¡online ¡storage ¡ Ethernet ¡Switch ¡ Nodes ¡ 36 ¡racks ¡ Cyber ¡Protecbon ¡IDPS ¡ Management ¡Node ¡ Near-­‑Line ¡Storage ¡ NCSAnet ¡ esServers Cabinets 300+ ¡usable ¡PB ¡ Supporbng ¡systems: ¡LDAP, ¡RSA, ¡Portal, ¡JIRA, ¡Globus ¡CA, ¡ NPCF Bro, ¡test ¡systems, ¡Accounts/Allocabons, ¡CVS, ¡Wiki ¡ GTC Conference - April 2015

National Petascale Computing Facility • Only Facility in the world of this scale on an Academic Campus • Capable of sustained 24 MW today • Expandable in space, power and cooling [50,000 ft 2 (4,645+ m 2 ) machine room gallery and sustained 100 MW] • Energy Efficiency • Modern Data Center • LEED certified Gold • 90,000+ ft 2 (8,360+ m 2 ) total • Power Utilization Efficiency, PUE = 1.1–1.2 • 30,000 ft 2 (2,790+ m 2 ) raised floor 20,000 ft 2 (1,860+ m 2 ) machine room gallery • Staff participating in Energy Efficient HPC working group and GTC Conference - April 2015

July 2014-June 2015 Usage by Discipline Social ¡Sciences ¡ Actual ¡Usage ¡by ¡Discipline ¡ 0.2% ¡ Visualizabon ¡ Physics ¡ STEM ¡Educabon ¡ 0.001% ¡ 4.7% ¡ 0.1% ¡ Astronomy ¡and ¡ Ocean ¡Sciences ¡ Astrophysics ¡ 0.01% ¡ 26.7% ¡ Parbcle ¡(& ¡Nuclear) ¡ Nuclear ¡Physics ¡ Physics ¡ 0.5% ¡ 27.6% ¡ Atmospheric ¡and ¡ Mechanical ¡and ¡ Climate ¡Sciences ¡ Dynamic ¡Systems ¡ 5.6% ¡ Biology ¡and ¡ 0.02% ¡ Humanibes ¡ Biophysics ¡ Materials ¡Science ¡ Biochemistry ¡ 0.01% ¡ 19.5% ¡ 4.1% ¡ 0.01% ¡ Earth ¡ Fluid ¡ Geophysics ¡ Sciences ¡ Systems ¡ Engineering ¡ Chemistry ¡ Computer ¡Science ¡ 1.6% ¡ 1.2% ¡ 0.8% ¡ 1.1% ¡ 5.5% ¡ 0.7% ¡ GTC Conference - April 2015