Large-Scale Astronomy data- management at NCSA 30 minutes) - - PowerPoint PPT Presentation

▶

Aug 22, 2022 157 likes •285 views

Large-Scale Astronomy data- management at NCSA 30 minutes) National Center for Supercomputing Applications University of Illinois at Urbana-Champaign NCSA/U of I Astronomy Currently in Production BIMA/CARMA millimeter radio array +

SLIDE 1

National Center for Supercomputing Applications University of Illinois at Urbana-Champaign

Large-Scale Astronomy data- management at NCSA

30 minutes)

SLIDE 2

NCSA/U of I Astronomy

Currently in Production
BIMA/CARMA millimeter radio array + Archive.
(U of I Astronomy)
South Pole Telescope.
(U of I astronomy)
DES -- Dark Energy Survey.
(NCSA)
In construction:
LSST
(NCSA)
Next door: ATLAS distributed T-2 (Physics)
NCSA supports the campus cluster where it residse

Lyon Meeting

SLIDE 3

Notes on Astronomy Section Organization

5/27/15 Lyon Meeting

SLIDE 4

Lyon Meeting

DES ¡Project ¡Office ¡

J. ¡Frieman, ¡Director ¡
R. ¡Kron, ¡Deputy ¡Director ¡
T. ¡Diehl, ¡Opera>ons ¡Scien>st ¡
G. ¡Bernstein, ¡Project ¡Scien>st ¡
K. ¡Honscheid, ¡Systems ¡Scien>st ¡
D. ¡Petravick, ¡DESDM ¡PI ¡

Management ¡CommiJee ¡ (Collabora>on ¡Affairs) ¡ Ins>tu>onal ¡Reps ¡ Publica>ons ¡Board ¡

K. ¡Honscheid ¡

Speakers ¡Bureau ¡

B. ¡Flaugher ¡

Educa>on/Public ¡ Outreach ¡

B. ¡Nord ¡
K. ¡Romer ¡

Membership ¡ CommiJee ¡

D. ¡Gerdes ¡

Science ¡CommiJee ¡

G. ¡Bernstein ¡
O. ¡Lahav ¡

Collabora>on ¡

Mtg. ¡Steering ¡

CommiJee ¡

S. ¡Bridle ¡

Execu>ve ¡CommiJee ¡ (Opera>ons) ¡ Opera>ons ¡Leads ¡ DES ¡Observing ¡ Systems ¡ ¡ ¡T. ¡Diehl ¡ Survey ¡Strategy ¡ ¡ ¡

E. ¡Neilsen ¡

Science ¡Analysis ¡ Compu>ng ¡

E. ¡Buckley-‑Geer ¡
S. ¡Kent ¡

DES ¡Data ¡Management ¡

D. ¡Petravick ¡
B. ¡Yanny ¡
R. ¡Gruendl ¡

Calibra>on ¡

D. ¡Tucker ¡
S. ¡Kent ¡

DECam ¡Opera>ons ¡ ¡

A. ¡Walker, ¡T. ¡Diehl ¡

¡K. ¡Honscheid ¡ ¡

S. ¡Heathcote ¡

Supernovae ¡

B. ¡Nichol ¡ ¡
M. ¡Sako ¡

Clusters ¡

C. ¡Miller ¡
J. ¡Mohr ¡

Weak ¡Lensing ¡

S. ¡Bridle ¡
B. ¡Jain ¡

LSS ¡

E. ¡Gaztanaga ¡
A. ¡Ross ¡

Simula>ons ¡

G. ¡Evrard ¡
K. ¡Heitmann ¡
R. ¡Wechsler ¡

Photo-‑z ¡

F. ¡Castander ¡
H. ¡Lin ¡
Gal. ¡Evolu>on ¡
D. ¡Thomas ¡
M. ¡Banerji ¡

Strong ¡Lensing ¡

E. ¡Buckley-‑Geer ¡
A. ¡Amara ¡

QSOs ¡

P. ¡Mar>ni ¡
R. ¡McMahon ¡

Theory ¡

S. ¡Dodelson ¡
J. ¡Weller ¡

Milky ¡Way ¡

B. ¡San>ago ¡
B. ¡Yanny ¡

Spectroscopy ¡

F. ¡Abdalla ¡
C. ¡D’Andrea ¡

Early ¡Career ¡ Scien>sts ¡

B. ¡Flaugher ¡
T. ¡Kacprzak ¡

reports to member of communication

SLIDE 5

Experience (Infrastructure)

NCSA Supercomputing program:
XSEDE national cyber structure
Blue waters – 200,000 cores. (25 PB disk, ½ ExB tape)
NCSA Private Sector program cluster.
DES and experience in the Astronomy Group:
High Energy Physics (LHC, Run II, etc.)
DES use of facilities at
NERSC
FERMILAB (Open Science Grid)
LSST
LSST security Officer (Alex Withers) is at NCSA, ex Brookhaven

Lab

Lyon Meeting

SLIDE 6

ISL pipeline

Research

Research at industry/ academia leads to technology development which may or may not be suitable for scientific computing

Technology evaluation

ISL engages at the early stages of technology development to evaluate its suitability for future use in production environments

Development and implementation

ISL builds prototypes and puts together components necessary for the technology to become usable in production environments

Production use

Technology becomes mature and the larger community starts to sustain the effort

“ISL actively seeks new partnerships with external collaborators in Technology and applications areas related to data-intensive computing.” Need Need

Lyon Meeting

SLIDE 7

DES Overview

Science: probe cosmic acceleration with 4 techniques:
Clusters, Weak Lensing, Large-scale Structure, Supernovae
Two multiband imaging surveys:
5000 deg2 grizY: positions, shapes, photo-z’s for 200 million galaxies, 100,000

clusters

30 deg2 griz time-domain survey: light curves for 3500 type Ia supernovae
Collaboration-built DECam: 3 deg2 FOV, 570-megapixel imager and 5-

element optical corrector for Blanco 4-meter telescope at CTIO.

Data management (DESDM) system to produce science-ready data

products.

Five-year (525-night) survey began Aug. 2013.
Observing Seasons run Aug.-Feb.
Nearly 2/3 through 2nd season

Lyon Meeting

SLIDE 8

DES Context

What is the physical origin of cosmic acceleration?
Dark Energy (DE) or Modification of Gravity?
Determine DE Equation of State parameter & its time evolution
The requisite measurements are challenging
Multiple methods needed, control of systematics paramount
Dark Energy Task Force (DETF, 2006):
Stage III: DES (imaging), BOSS/eBOSS (spectroscopy), (HSC, KIDS)
Stage IV: LSST (imaging) 2022-, DESI (spectroscopy) 2018-,

(Euclid, WFIRST)

Imaging and spectroscopic surveys provide complementary probes.

Lyon Meeting

SLIDE 9

Production process (too simple)

5/27/15 Lyon Meeting

Precal( Bias, Flats)

Raw Zeros, Flats

Science Raw

First Cut Single Epoch

SuperCal( Bias, Flats)

Coadd

SE WL ME WL

DIff

SNE SE PhotoZ ME mangle Survey Table

PhotCal

SV Data

Final Cut Single Epoch GCM

SE mangle SISPI

Collaboration

illum pupil bpm fringe xtalk linearity Visual inspection

SLIDE 10

Current DES

5/27/15 Lyon Meeting

SLIDE 11

Dark Energy Survey Production

Building blocks:
Central storage (~2PB) in NCSA central storage condominium.
125 core, 100 (usable) TB table space
Grid Model for Bulk Computing (next slide)
Cluster for central services (~10 nodes)
Job management (condor)
File transfer (http/s, gridFTP, r sync).
Quality assurance
Ongoing development
Running less mature pipelines

SLIDE 12

Bulk Computing Platforms

Capablilty ¡ Descrip/on ¡ Challenges ¡ Blue ¡Waters ¡ 200,000 ¡core ¡extreme ¡ machines, ¡25PB ¡lustre ¡file ¡ system ¡ Limited ¡outbound ¡ connec>vity ¡-‑-‑ ¡just ¡relaxed ¡ Fermigrid ¡(OSG) ¡ Collec>on ¡of ¡servers, ¡CVMFS ¡ file ¡system ¡for ¡so`ware; ¡large ¡ number ¡of ¡cores ¡available ¡ Single-‑core ¡alloca>on ¡ model ¡(being ¡relaxed), ¡ weak ¡central ¡file ¡system ¡ NERSC ¡ Batch ¡system ¡that ¡allow ¡ DOCKER ¡containers ¡ More ¡capacity ¡needed ¡ Private ¡Sector ¡Program ¡ 600 ¡available ¡cores ¡w/ competent ¡GPFS ¡file ¡system ¡ No ¡longer ¡large ¡enough ¡for ¡ all ¡processing ¡ U ¡of ¡Illinois ¡Campus ¡Cluster ¡ condominium ¡holding ¡ inves>gator-‑owned ¡computers, ¡ idle ¡cycles ¡available ¡ 96 ¡core ¡dedicated ¡ capability ¡-‑> ¡500-‑600 ¡ dedicated ¡to ¡DES ¡in ¡2016 ¡ XSEDE ¡ Na>onal ¡Cyber ¡infrastrucutre ¡

riented ¡towards ¡simula>on ¡

Weak ¡file ¡systems ¡for ¡ simula>on, ¡queue ¡wait ¡ >mes, ¡turn ¡around ¡need ¡ for ¡nightly ¡processing ¡ ¡