VERCE (&) e-Infrastructure Horst Schwichtenberg EGI Technical - - PowerPoint PPT Presentation

www.verce.eu ¡ www.verce.eu ¡

VERCE (&) e-Infrastructure

Horst Schwichtenberg EGI Technical Forum Prague, 2012

Virtual ¡Earthquake ¡and ¡seismology ¡Research ¡Community ¡e-­‑science ¡environment ¡in ¡Europe ¡ Project ¡283543 ¡– ¡FP7-­‑INFRASTRUCTURES-­‑2011-­‑2 ¡– ¡www.verce.eu ¡– ¡info@verce.eu ¡

www.verce.eu ¡

Content ¡

venue, ¡date ¡ Providing ¡and ¡managing ¡a ¡research ¡plaRorm ¡ ¡

• VERCE ¡project ¡
• VERCE ¡plaRorm ¡– ¡e-­‑infrastructure ¡(?) ¡

– BoWom ¡up: ¡

• testbed ¡
• plaRorm ¡– ¡workflow ¡– ¡DISPEL-­‑gateway ¡
• scienc]fic ¡gateways ¡ ¡ ¡

www.verce.eu ¡

www.verce.eu ¡

www.verce.eu ¡

Main ¡Use ¡Cases/Applica]ons ¡

Toolbox ¡ ¡

www.verce.eu ¡

www.verce.eu ¡

Ini]al ¡Resources ¡

¡

– Compute ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Public: ¡

• PRACE ¡(HPC) ¡sites: ¡ ¡LRZ, ¡CINECA ¡ ¡ ¡ ¡
• EGI-­‑Infrastructure ¡(GRID): ¡ ¡ESR ¡VO ¡ ¡

in ¡EGI-­‑Inspire, ¡ ¡VERCE ¡VO ¡ Private: ¡

• Department ¡resources: ¡UEDIN, ¡ULIV, ¡IPGP, ¡SCAI ¡

– Data ¡Center: ¡ ¡

• KNMI/ORFEUS ¡
• IPGP ¡
• INGV ¡

– Storage: ¡ ¡ ¡

• UEDIN ¡
• ULIV ¡

Orfeus: ¡Seismic ¡monitor ¡

www.verce.eu ¡

Monitoring ¡Strategy ¡

• ¡Accumulate ¡monitoring ¡informa]on ¡from ¡the ¡underlying ¡compute ¡and ¡data ¡

resources ¡ – Relevant ¡service ¡events ¡will ¡be ¡extracted ¡for ¡the ¡workflow ¡ ¡

• Synchronize ¡monitoring ¡possibili]es ¡of ¡the ¡plaRorm ¡components: ¡

– Workflow ¡components, ¡OGSA-­‑DAI, ¡… ¡ ¡

• The ¡main ¡different ¡monitoring ¡solu]ons ¡at ¡the ¡ini]al ¡resource ¡sides ¡are ¡iden]fied ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡mainly ¡NAGIOS ¡(EGI), ¡INCA ¡(PRACE/HPC) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Ini]al ¡integra]on ¡with ¡INCA ¡

¡

¡

www.verce.eu ¡

Community ¡Management ¡

VO ¡Concepts ¡evaluated: ¡

• ¡ ¡Provide ¡an ¡integrated ¡service ¡environment ¡to ¡the ¡seismology ¡community ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡VERCE ¡needs ¡to ¡manage ¡and ¡retrieve ¡informa]on ¡about: ¡

¡Users ¡for ¡the ¡plaRorm ¡and ¡services, ¡personal ¡and ¡ins]tu]onal ¡informa]on, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡authorita]ve ¡group ¡membership ¡informa]on, ¡privileges, ¡… ¡

¡ ¡

• ¡started ¡with ¡a ¡concept ¡of ¡virtual ¡organiza]on ¡

– Set ¡up ¡virtual ¡membership ¡service ¡(VOMS) ¡ ¡for ¡EGI ¡resources ¡ ¡ – VERCE ¡ ¡VO ¡ ¡in ¡EGI ¡is ¡established ¡ ¡ ¡ – LDAP ¡Database ¡for ¡User ¡Authen]ca]on ¡and ¡Authoriza]on ¡(AA) ¡is ¡established ¡ – AA ¡by ¡Shibboleth ¡is ¡planed ¡ ¡(based ¡on ¡simple ¡LDAP, ¡ ¡access ¡to ¡service ¡by ¡SAML) ¡ – No ¡unified ¡solu]on ¡possible ¡at ¡the ¡moment ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡e.g. ¡ ¡sites ¡ ¡have ¡their ¡own ¡policies ¡– ¡a ¡need ¡for ¡prac]cal ¡trust ¡solu]ons ¡ ¡ ¡ – Include ¡data ¡center ¡policies ¡ ¡ ¡

VOMS ¡

www.verce.eu ¡

¡Ini]al ¡Sokware ¡Components ¡

• Components ¡for ¡Secure ¡Access ¡to ¡resources: ¡

– Different ¡access ¡methods ¡in ¡use: ¡from ¡standard ¡(gsi)SSH ¡to ¡EUGridPMA ¡X.509 ¡ Cer]ficate ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Challenge: ¡No ¡federated ¡iden]ty ¡management ¡available ¡across ¡the ¡European ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡e-­‑infrastructures ¡

¡

• VERCE ¡relevant ¡data ¡management ¡tools: ¡

– different ¡data ¡management ¡tools ¡and ¡ ¡ ¡ – different ¡ ¡technologies/protocols ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡E.g. ¡OGSA-­‑DAI ¡(see ¡ADMIRE), ¡IRODS, ¡ ¡SRM, ¡Arclink ¡and ¡GridFTP ¡

¡ ¡

• Job ¡Management ¡tools ¡on ¡public ¡and ¡private ¡resources: ¡

– E.g. ¡LSF, ¡ ¡Torque ¡on ¡Clusters; ¡gLite ¡CREAM/WMS ¡on ¡Grid ¡

¡

• Seismic ¡and ¡seismological ¡sokware ¡ ¡

– ¡E.g. ¡ObsPy, ¡rdseed, ¡SeisSol, ¡sec3D, ¡SpecFEM3D, ¡AxiSEM ¡

• First ¡Components ¡of ¡the ¡ini]al ¡VERCE ¡data ¡intensive ¡architecture ¡ ¡

– E.g. ¡OGSA-­‑DAI, ¡DISPEL ¡Workflow ¡ ¡

¡ ¡ ¡

www.verce.eu ¡

¡Ini]al ¡Sokware ¡Components ¡

• Components ¡for ¡Secure ¡Access ¡to ¡resources: ¡

– Different ¡access ¡methods ¡in ¡use: ¡from ¡standard ¡(gsi)SSH ¡to ¡EUGridPMA ¡X.509 ¡ Cer]ficate ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Challenge: ¡No ¡federated ¡iden]ty ¡management ¡available ¡across ¡the ¡European ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡e-­‑infrastructures ¡

¡

• VERCE ¡relevant ¡data ¡management ¡tools: ¡

– different ¡data ¡management ¡tools ¡and ¡ ¡ ¡ – different ¡ ¡technologies/protocols ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡E.g. ¡OGSA-­‑DAI ¡(see ¡ADMIRE), ¡IRODS, ¡ ¡SRM, ¡Arclink ¡and ¡GridFTP ¡

¡ ¡

• Job ¡Management ¡tools ¡on ¡public ¡and ¡private ¡resources: ¡

– E.g. ¡LSF, ¡ ¡Torque ¡on ¡Clusters; ¡gLite ¡CREAM/WMS ¡on ¡Grid ¡

¡

• Seismic ¡and ¡seismological ¡sokware ¡ ¡

– ¡E.g. ¡ObsPy, ¡rdseed, ¡SeisSol, ¡sec3D, ¡SpecFEM3D, ¡AxiSEM ¡

• First ¡Components ¡of ¡the ¡ini]al ¡VERCE ¡data ¡intensive ¡architecture ¡ ¡

– E.g. ¡OGSA-­‑DAI, ¡DISPEL ¡Workflow ¡ ¡

¡ ¡ ¡

www.verce.eu ¡

VERCE ¡Workflow ¡Arcitecture ¡

Design ¡Workflows ¡by ¡DISPEL ¡ „Enactment ¡ ¡Gateways ¡are ¡Service ¡Provider ¡(Expansion ¡of ¡PaWerns) ¡ Interpre]ng ¡ ¡and ¡Execu]ng ¡Workflows ¡wriWen ¡in ¡DISPEL“ ¡ ¡

www.verce.eu ¡

Data-­‑Intensive ¡Process ¡Engineering ¡ Language ¡

• A ¡language ¡for ¡construc]ng ¡data-­‑flow ¡graphs ¡

– Nodes ¡are ¡processing ¡elements ¡ – Arcs ¡are ¡data-­‑flow ¡paths ¡

• A ¡language ¡for ¡genera]ng ¡data-­‑flow ¡paWerns ¡

– Func]ons ¡hide ¡detail ¡of ¡graphs ¡ – Func]ons ¡generate ¡graphs ¡

• A ¡language ¡for ¡discussing ¡data-­‑flow ¡engineering ¡

– Designed ¡to ¡be ¡read ¡and ¡wriWen ¡by ¡humans ¡ – As ¡well ¡as ¡by ¡programs ¡ – Supports ¡valida]on ¡and ¡op]misa]on ¡

designed ¡to ¡ encourage ¡data-­‑ intensive ¡ thinking ¡

www.verce.eu ¡

www.verce.eu ¡

DISPEL ¡ ¡

VERCE ¡WORKFLOW ¡

www.verce.eu ¡

Use ¡Case: ¡Seismic ¡Noise ¡Correla]on ¡

www.verce.eu ¡

The ¡correla]on ¡of ¡ambient ¡seismic ¡noise ¡full ¡workflow: ¡from ¡the ¡ raw ¡data ¡downloading ¡to ¡tomographic ¡images ¡and ¡velocity ¡varia]on ¡

• models. ¡

www.verce.eu ¡

Arclink ¡

ObsPy ¡Toolbox ¡for ¡Seismology ¡

www.verce.eu ¡

High ¡Resolu]on ¡Tomography ¡from ¡3D ¡Full ¡Waveform ¡Inversion ¡

• Construc]on ¡of ¡a ¡new ¡

reference ¡3D ¡ tomographic ¡model ¡of ¡ the ¡Italian ¡lithosphere ¡ based ¡on ¡spectral-­‑ element ¡and ¡adjoint ¡

• methods. ¡ ¡
• Modeling ¡of ¡high ¡

frequency ¡seismic ¡waves ¡ propaga]ng ¡on ¡complex ¡ 3D ¡structures. ¡ Refinements ¡of ¡ earthquake ¡source ¡ parameters ¡based ¡on ¡3D ¡ velocity ¡models. ¡

• SPECFEM3D ¡

www.verce.eu ¡

www.verce.eu ¡

www.verce.eu ¡

Contacts ¡

• "Jean-­‑Pierre ¡ViloWe" ¡viloWe@ipgp.fr ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(coordinator) ¡

• ¡"Malcolm ¡Atkinson" ¡mpa@staffmail.ed.ac.uk ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡VERCE ¡Architecure ¡(DISPEL, ¡ADMIRE/VERCE ¡Gateway) ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡horst.schwichtenberg@scai.fraunhofer.de ¡ ¡

www.verce.eu ¡