� Releasing ESO Public Survey Data through the Phase 3 Jörg Retzlaff � European Southern Observatory � Data Management and Operations Division, � Archive Science Group (ASG) � CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡
Outline Releasing ESO Public Survey Data through the Phase 3 Why? The context… � ① ESO Public Surveys: projects & progress � § Phase 3 Policies � § How? Who does what? � ② Process & responsibilities � § Types of products & ESO Science Data Products Standard � § System components � § User support � § Monitoring � § Phase 3 Results � ③ Status of Public Survey Phase 3 Data Submissions � § Catalogue Facility � § ESO Science Archive Facility Data Access � § Conclusions � ④ Interoperability and the role of VO standards � § CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 2 ¡
ESO Public Surveys VISTA: 6 surveys started Apr 2010 (P85) � • VHS - 20000 deg 2 YJHKs (Ks<20 AB) � • VIKING - 1500 deg 2 ZYJHKs (Ks<21.2 AB) � • VIDEO - 3 Deep Extragalactic Fields � • Ultra-VISTA - Ultra-deep ZYJHKs + NB118 in the COSMOS field � • VVV - Variability study of 520 deg 2 in bulge+plane plus multi-color map � • VMC - Magellanic Survey � VLT Survey Telescope: 3 surveys, started 15 Oct 2011 (P88) � • VST-Atlas – 4500 deg 2 UVRIz, like SDSS � • KIDS – 1500 deg 2 UVRI, 2.5 mag deeper than SDSS � • VPHAS+ 1800 deg 2 UVHaRI in the Southern Galactic Plane � Spectroscopic Surveys: started 1 Jan 2012 � • PESSTO: 30+60n on NTT (SOFI+EFOSC) � • Gaia-ESO: 30+30n on VLT-UT2 (FLAMES) � CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 3 ¡
Progress of Public Surveys Courtesy: M. Arnaboldi/ESO Survey Team � � Ø Max. fraction of completion: 56% for VHS, 55% for VST-ATLAS � Ø Significant progress for all surveys (though at a different rate) � Ø 30+ publications resulting from PSs; 11 ESO PRs; see also: Survey Science Workshop @ESO/Garching in October 2012. � CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 4 ¡
ESO Phase 3 Policies The ESO archive is the collection point for the survey products and the primary point of publication/ availability of these products to the ESO community. (Cou104, Dec 2004) � • Phase 3 – PIs of ESO observing programmes return data products to ESO � – Storage in the ESO Archive (long-term data preservation) � – Data publication/distribution to the scientific community � • ESO’ s policies governing Phase 3 are specific to the type of observing programme. � • Phase 3 is mandatory for ESO Public Surveys and for ESO Large Programmes since period 75; available also for other ESO observations(!) � • Further allocation of telescope time for ESO PSs is subject to the completion of the Phase 3. � CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 5 ¡
� Phase 3 Process & Responsibilities Phase 3 denotes the process of preparation , submission , validation and ingestion of science data products for storage in the ESO Science Archive Facility, and subsequent data publication to the scientific community. The survey P.I. is 3. ¡ 1. ¡ 2. ¡ 4. ¡ responsible for the Data ¡ Data ¡ User ’ s ¡data ¡ Data ¡ release ¡ preparaCon ¡ validaCon ¡ transfer ¡to ¡ESO ¡ quality of the definiCon ¡ P.I. Data provider reduced data “Closing” the data release products and the associated documentation 8. ¡ 7. ¡ 6. ¡ 5. ¡ Data ¡ Archival ¡ Content ¡ AutomaCc ¡ ¡ (“data release publicaCon ¡ storage ¡ validaCon ¡ release ¡validaCon ¡ description”). ESO defines the required data format (“ESO Science Data Products Standard”), provides dedicated tools, user documentation and direct support for Phase 3 data providers. http://www.eso.org/sci/observing/phase3.html CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 6 ¡
Types of Data Products Survey Tile Image � Astrometrically & photometrically calibrated FITS image with • associated confidence map; � Quality params. (limiting magnitude, PSF size, etc.) � • Generally: processing provenance (keyword PROVi) to trace • back to the original (raw) data. � 1-dim. extracted wavelength-calibrated spectrum � FITS binary table format � • Support for 2d spectral frames as ancillary files � • Exposure map of the VISTA survey tile. Compliant to IVOA Spectral Data Model (v1) � • Survey Source List � Single-band source catalogues directly extracted from the (tile) image –associated to its • originating image (provenance keyword PROVi) � Based on nightly calibrations, degenerate w.r.t. physical sources � • Science Catalogues � Homogeneous merged multi-band catalogue for each survey (possibly per region) � • Global astrometry/photometry; cross-calibrated using overlapping tiles and across bands � • Multiple detections merged, i.e. unique entries (ultimately) � • Uniform tabular structure including content descriptors (employing UCDs) � • Supports variability surveys: multi-epoch photometric catalogues (i.e. light curves) � • Tile-by-tile scheme supported for data delivery � • Dedicated query interface: ESO Catalogue Facility � • CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 7 ¡
ESO Science Data Products Standard Identification of product types and European Organisation Organisation Européenne Europäische Organisation their data formats depending on for Astronomical pour des Recherches für astronomische Research in the Astronomiques Forschung in der Southern Hemisphere dans l’Hémisphère Austral südlichen Hemisphäre instrument/mode. � Definition of relevant keywords for data characterization, quality, provenance etc. � Data Management and Operations Division • Issue 1: EDP Standard, Date: 27 /11/2010 � Phase 3 User Documentation • Evolution driven by: the data to be ESO Science Data Products Standard handled (e.g. VISTA, VST, SPS’ s, catalogues), i.e. by the data release Doc. No.: GEN-SPE-ESO-33000-5335 schedule for PSs; � Issue: 5 Date: 11/01/2013 • Archive services to be offered (example: Catalogue Facility); � • Led to Issue 2 (07 /03/2011), Issue 3 (22/05/2012), Issue 4 (15/10/2012) � Prepared: J. Retzlaff, N. Delmotte Name Date Signature Approved: M. Arnaboldi Name Date Signature • Current Issue: #5, Date 11/01/2013 Released: M. Romaniello Name Date Signature covering all PS data products: imaging & spectroscopy � ESO, Karl-Schwarzschild-Str. 2, 85748 Garching bei München, Germany http://www.eso.org/sci/observing/phase3/p3sdpstd.pdf CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 8 ¡
Role of the ESO Science Data Products Standard P3 ¡User ¡ doc. ¡ Basis for the • P3 ¡User ¡ P3 ¡web ¡ data provider support ¡ pages ¡ (pipeline development) � p3ck ¡ Validator ¡ Implemented in • the Phase 3 data flow in terms of programmed rules (OCA) � Content ¡ OCA ¡rules ¡ Many • validaCon ¡ ESO/SDP ¡ dependencies of Standard ¡ infrastructure components � Central role to • ESO ¡ IngesCon ¡ Phase 3 tool ¡ DICD ¡ operations; � Any change is • expensive � Metadata ¡ Catalogue ¡ interface ¡ facility ¡ ESO/SAF ¡ Query ¡ user ¡ forms ¡ CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 9 ¡
Phase 3 System Components The ¡ Phase ¡3 ¡Validator ¡ is ¡a ¡command-‑line ¡ applicaCon ¡that ¡verifies ¡the ¡data’s ¡compliance ¡with ¡ the ¡format ¡standard ¡and ¡the ¡validity ¡of ¡the ¡FITS ¡ header ¡keywords ¡against ¡predefined ¡rules. ¡ Start ¡of ¡ operaCons: ¡ March ¡2011 ¡ Any ¡FTP ¡client ¡like ¡l[p, ¡filezilla ¡etc. ¡ Note: ¡the ¡requirement ¡for ¡SSL/TLS ¡was ¡dropped ¡ (Jun ¡2012). ¡ The ¡ Phase ¡3 ¡Release ¡Manager ¡ is ¡a ¡web ¡ applicaCon ¡that ¡allows ¡the ¡P.I. ¡to ¡define ¡ The ¡P.I. ¡or ¡a ¡delegate ¡transfers ¡the ¡data ¡ data ¡collecCons ¡and ¡releases ¡and ¡to ¡manage ¡ via ¡standard ¡ FTP ¡to ¡the ¡dedicated ¡staging ¡ the ¡Phase ¡3 ¡delegaCon ¡to ¡co-‑invesCgators. ¡ area ¡at ¡ESO ¡headquarters. ¡ hWp://www.eso.org/rm ¡ CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 10 ¡
/www.eso.org/sci/observing/phase3.html � Documentation � Phase 3 Tools � Workshop for Phase 3 users � http:/ Helpdesk � Phase 3 User Support CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 11 ¡
� Monitoring the Phase 3 Progress The ESO Archive Science Group is monitoring the Phase 3 process and reports to Public Survey Panels/OPC � CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡ 12 ¡
ESO Public Survey Data Products � PHASE 3 RESULTS CoSADIE ¡Astronomical ¡Data ¡Center ¡Forum, ¡Heidelberg, ¡10/06/2013 ¡
Recommend
More recommend
