Grid Engine Riccardo Rotondo (riccardo.rotondo@garr.it) Consortium - PowerPoint PPT Presentation

The EPIKH Project (Exchange Programme to advance e-Infrastructure Know-How) Grid Engine Riccardo Rotondo (riccardo.rotondo@garr.it) Consortium GARR Joint CHAIN/EPIKH School for Application Porting to Science Gateways Beijing, 11.04.2012 www.epikh.eu

Outline • A Simple API for Grid Applications (SAGA): – The OGF (Open Grid Forum) Standard; – JSAGA: a Java implementation of SAGA; • A generic Grid Engine for Science Gateways based on SAGA; – Grid Engine based on JSAGA; – EGI Portal Policy & Grid Security Traceability; • Grid Engine usage example. Beijing, Asia4, 11.04.2012 2

A Simple API for Grid Applications (SAGA) • SAGA ¡is ¡an ¡API ¡that ¡provides ¡the ¡basic ¡func7onality ¡ required ¡to ¡build ¡distributed ¡applica7ons, ¡tools ¡and ¡ frameworks; ¡ • It ¡is ¡independent ¡of ¡the ¡details ¡of ¡the ¡underlying ¡ infrastructure ¡(e.g., ¡the ¡middleware); ¡ • SAGA ¡is ¡an ¡OGF ¡specifica7on: ¡ hHp://www.gridforum.org/documents/GFD.90.pdf ¡ • Several ¡Implementa7ons ¡are ¡available: ¡ ¡ – A ¡C++ ¡and ¡a ¡Java ¡implementa1on ¡developed ¡at ¡ the ¡Louisiana ¡State ¡University ¡/ ¡CCT ¡and ¡Vrije ¡ Universiteit ¡Amsterdam ¡( h@p://apidoc.saga.cct.lsu.edu ¡); ¡ ¡ – A ¡Java ¡implementa1on ¡developed ¡at ¡CCIN2P3 ¡ (h@p://grid.in2p3.fr/jsaga/); ¡ – A ¡Python ¡implementa1on ¡based ¡on ¡those ¡above. ¡ Beijing, Asia4, 11.04.2012 3

A Simple API for Grid Applications (SAGA) • SAGA ¡is ¡made ¡of: ¡ • SAGA ¡Core ¡Libraries: ¡contain ¡the ¡SAGA ¡base ¡system, ¡the ¡ run1me ¡and ¡the ¡API ¡packages ¡(job ¡management, ¡data ¡ management, ¡etc.); ¡ • SAGA ¡Adaptors: ¡provide ¡access ¡to ¡the ¡underlying ¡grid ¡ infrastructure ¡(adaptors ¡are ¡available ¡for ¡gLite, ¡ARC, ¡Globus, ¡ UNICORE ¡and ¡other ¡middleware); ¡ We ¡then ¡need ¡an ¡ • SAGA ¡defines ¡a ¡standard ¡ ¡ implementa1on! ¡ Beijing, Asia4, 11.04.2012 4

JSAGA • JSAGA ¡is ¡a ¡Java ¡implementa7on ¡of ¡SAGA ¡developed ¡at ¡ CCIN2P3; ¡ • JSAGA: ¡ – Enables ¡uniform ¡data ¡and ¡job ¡management ¡across ¡different ¡grid ¡ infrastructures/middleware; ¡ – Makes ¡extensions ¡easily: ¡adaptor ¡interfaces ¡are ¡designed ¡to ¡minimize ¡ coding ¡effort ¡for ¡integra1ng ¡support ¡of ¡new ¡technologies/middleware; ¡ – Is ¡OS ¡independent: ¡most ¡of ¡the ¡provided ¡adaptors ¡are ¡wri@en ¡in ¡full ¡ Java ¡and ¡they ¡are ¡tested ¡both ¡on ¡Windows ¡and ¡Linux. ¡ Beijing, Asia4, 11.04.2012 5

JSAGA Adaptors JSAGA supports gLite, Globus, ARC, UNICORE, etc. Beijing, Asia4, 11.04.2012 6

A Generic Grid Engine for Science Gateways based on JSAGA Liferay ¡Portlets ¡ Science ¡ Science ¡ Science ¡ Grid Engine GW ¡1 ¡ GW ¡2 ¡ GW ¡3 ¡ eToken ¡ Science ¡GW ¡Interface ¡ Server ¡ Data ¡Engine ¡ Job ¡Engine ¡ Users ¡ Users ¡ Track ¡& ¡ Tracking ¡ Monit. ¡ DB ¡ JSAGA ¡API ¡ Grid MWs Beijing, Asia4, 11.04.2012 7

E-­‑TOKEN ¡ In ¡order ¡to ¡strong ¡reduce ¡the ¡risks ¡ ¡ • to ¡have ¡the ¡robot ¡cer1ficate ¡ compromised, ¡the ¡INFN ¡CA ¡decided ¡ to ¡store ¡this ¡new ¡cer1ficate ¡on ¡board ¡ of ¡the ¡ SafeNet ¡eToken ¡ smart ¡ cards ¡[6] ; ¡ The ¡AeToken ¡smart ¡card ¡ ¡ • can ¡support ¡many ¡cer1ficates; ¡ ¡ A ¡token ¡PIN ¡is ¡prompted ¡every ¡1me ¡the ¡user ¡needs ¡to ¡interact ¡with ¡the ¡smart ¡ • card; ¡ Beijing, Asia4, 11.04.2012 8

E-­‑TOKEN ¡SERVER ¡ Grid ¡Portals ¡ Client ¡Applica7ons ¡ / ¡Science ¡Gateways ¡ Users ¡ Host based mutual authentication Beijing, Asia4, 11.04.2012 9

EGI Users Tracking DB • The ¡Portal, ¡the ¡associated ¡Portal ¡VO ¡and ¡the ¡Portal ¡manager ¡ are ¡all ¡individually ¡and ¡collec7vely ¡responsible ¡and ¡ accountable ¡for ¡all ¡interac7ons ¡with ¡the ¡Grid; ¡ • The ¡Portal ¡must ¡be ¡capable ¡of ¡limi7ng ¡the ¡job ¡submission ¡ rate; ¡ • The ¡Portal ¡must ¡keep ¡audit ¡logs ¡for ¡all ¡interac7ons ¡with ¡the ¡ Grid ¡as ¡defined ¡in ¡the ¡Traceability ¡and ¡Logging ¡Policy ¡ (minimum ¡90 ¡days); ¡ • The ¡Portal ¡manager ¡and ¡operators ¡must ¡assist ¡in ¡security ¡ incident ¡inves7ga7ons; ¡ • Where ¡relevant, ¡private ¡keys ¡associated ¡with ¡(proxy) ¡ cer7ficates ¡must ¡not ¡be ¡transferred ¡across ¡a ¡network, ¡not ¡ even ¡in ¡encrypted ¡form. Beijing, Asia4, 11.04.2012 10

Two Tables: one for active Jobs and File Transfers Users ’ Traceability in Science Gateways and one for the finished ones. Example of entry in the Users Tracking DB GRID USAGE TRACEABILITY Common Name Portal User Name as stored in LDAP IP + Port IP address and TCP port used by the requester ID 70 Timestamp Identify the grid operation date/time Common Name fpistagna Grid Interaction Grid Interaction Identification (Job “ X ” submission, file upload/download). The portal MUST classify all the grid operations allowed. IP + TCP Port 193.206.208.183:8162 This value will allow to identify both Timestamp 2011-07-06 14:16:29 applications used and operation performed. Grid Interaction 1 Grid ID Store the actual GRID Interaction ID (Job ID for job submission and some other relevant Grid ID [wms://infn-wms-01.ct.pi2s2.it:7443/ information for data transfer) glite_wms_wmproxy_server]-[https://infn-lb-01.ct.pi2s2.it: Robot Certificate Identify the Robot Certificate used for the 9000/7rQ458xozactEEjoXMlxQg] Grid Operation Robot Certificate /C=IT/O=INFN/OU=Robot/L=COMETA/CN=Robot: ViralGrid Science Gateway - Roberto Barbera Virtual Organisation cometa Beijing, Asia4, 11.04.2012 11

References • A Simple API for Grid Applications (SAGA): – http://www.gridforum.org/documents/GFD.90.pdf; • JSAGA: – http://grid.in2p3.fr/jsaga/; • Other SAGA Implementations: – The C++ implementation developed at the Louisiana State University/CCT: http://apidoc.saga.cct.lsu.edu ; – The Java implementation developed at the Vrije Universiteit Amsterdam: http://apidoc.saga.cct.lsu.edu/saga-java/. Beijing, Asia4, 11.04.2012 12

Hands-on • Please follow the instructions on this wiki page: http://gilda.ct.infn.it/wikimain/-/wiki/Main/ GridEngineStandaloneCode Beijing, Asia4, 11.04.2012 13

Questions? Beijing, Asia4, 11.04.2012 14