Fourth generation of AMC Gateway: is this the last one? - - PowerPoint PPT Presentation

▶
fourth generation of amc gateway is this the last one
SMART_READER_LITE
LIVE PREVIEW

Fourth generation of AMC Gateway: is this the last one? - - PowerPoint PPT Presentation

Jul 26, 2023 679 likes •911 views

Fourth generation of AMC Gateway: is this the last one? Slvia Delgado Olabarriaga Dept of Epidemiology, Biostatistics and Bioinformatics Academic

slide-1
SLIDE 1

Fourth ¡generation ¡of ¡AMC ¡Gateway: ¡ ¡ is ¡this ¡the ¡last ¡one? ¡

Sílvia ¡Delgado ¡Olabarriaga ¡ ¡ ¡

Dept ¡of ¡Epidemiology, ¡Biostatistics ¡and ¡Bioinformatics ¡ Academic ¡Medical ¡Center ¡of ¡the ¡University ¡of ¡Amsterdam ¡

¡

slide-2
SLIDE 2

Shayan Shahand, Matthan Caan, Mark Santcroos, Antoine van Kampen (and many others)

Olabarriaga, EGI Community Forum, 2013 2

slide-3
SLIDE 3

Science ¡Gateways… ¡for ¡whom? ¡

  • Biomedical ¡researchers ¡

¡

  • Medical ¡imaging ¡
  • Bioinformatics ¡
  • IT ¡“naïve” ¡
  • Programmers ¡
  • Admins ¡

Olabarriaga, EGI Community Forum, 2013 3

slide-4
SLIDE 4

Science ¡Gateways… ¡for ¡what? ¡

  • Data ¡analysis ¡
  • Medical ¡Imaging ¡
  • Neuroimaging ¡
  • Next ¡Generation ¡Sequencing ¡
  • Genome ¡comparison ¡
  • Exome ¡sequencing ¡
  • Metabolomics ¡
  • Statistical ¡modelling ¡
  • Protein ¡Docking ¡ ¡
  • …? ¡

Default Olabarriaga, EGI Community Forum, 2013 4

slide-5
SLIDE 5

Looking ¡back ¡

  • Since ¡2005 ¡

¡

  • Goal: ¡

– Bridge ¡gap ¡between ¡biomedical ¡researchers ¡and ¡e-­‑infrastructures ¡

  • Various ¡attempts ¡

Olabarriaga, EGI Community Forum, 2013 5

slide-6
SLIDE 6

“Black ¡Windows” ¡days ¡

Courtesy: Tristan Glatard

Executable = “myJob.sh"; Arguments = “image.nii.gz designFlile.fsf"; StdOutput = "std.out"; StdError = "std.err"; OutputSandbox = {"std.out" , "std.err“, “ourDir.tgz”}; InputSandbox = {“myJob.sh", “image.nii.gz”, “designFlile.fsf” }; Requirements = Member("nl.vl-e.poc-release-1.0", \

  • ther.GlueHostApplicationSoftwareRunTimeEnvironment);

Olabarriaga, EGI Community Forum, 2013 6

slide-7
SLIDE 7

“VBrowser” ¡days: ¡Data ¡

SARA AMC

http://vlet.sourceforge.net

Olabarriaga, EGI Community Forum, 2013 7

slide-8
SLIDE 8

VBrowser ¡days: ¡Workflows ¡

S.D. Olabarriaga, T. Glatard, P.T. de Boer (2010) A Virtual Laboratory for Medical Image Analysis, IEEE Transactions on Information Technology In Biomedicine (TITB), July 2010 Olabarriaga, EGI Community Forum, 2013 8

slide-9
SLIDE 9

Trying ¡Web ¡interfaces ¡– ¡v1 ¡

Olabarriaga, EGI Community Forum, 2013 9

slide-10
SLIDE 10

Trying ¡Web ¡interfaces ¡– ¡v2 ¡

  • From ¡pucowo ¡

Olabarriaga, EGI Community Forum, 2013 10

slide-11
SLIDE 11

Web ¡application: ¡ ¡Gateway ¡

Shahand S, Santcroos M, van Kampen AHC, Olabarriaga SD. (2012) A Grid-enabled Gateway for Biomedical Data Analysis. Journal of Grid Computing, Dec 2012

Olabarriaga, EGI Community Forum, 2013 11

slide-12
SLIDE 12

Under ¡the ¡hood.. ¡

  • Olabarriaga, EGI Community Forum, 2013

12

slide-13
SLIDE 13

Challenges ¡

  • Varied ¡user ¡profiles ¡
  • Scalability ¡(users, ¡data, ¡infrastructure) ¡
  • Interoperability ¡
  • Sustainability ¡
  • Data, ¡data, ¡data ¡

Olabarriaga, EGI Community Forum, 2013 13

slide-14
SLIDE 14

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡SCI-­‑BUS ¡Project ¡

CloudBroker ¡ Pla-orm ¡ ¡ API ¡

Clusters ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Liferay ¡and ¡WS-­‑PGrade ¡

Desktop ¡ Grids ¡ Grids ¡

WebService ¡/ ¡API ¡

Clouds ¡

Eucalyptus ¡ OpenNebula ¡ API ¡ ¡ gLite ¡ Middleware ¡ ¡ ¡ API ¡ ¡ ARC ¡ Middleware ¡ ¡ ¡ API ¡ ¡ UNICORE ¡ Middleware ¡ ¡ ¡ API ¡

German ¡MosGrid ¡ Community ¡ StaHsHcal ¡ Seismology ¡ Community ¡ Blender ¡Rendering ¡ Community ¡ Amsterdam ¡Medical ¡ Center ¡Community ¡ Swiss ¡Proteomics ¡ Community ¡ Astrophysics ¡ Community ¡ Helio ¡physics ¡ Community ¡ Business ¡Process ¡ Community ¡ SoKware ¡build ¡and ¡ test ¡ ¡Community ¡ CiHzen ¡Web ¡ Community ¡ PireGrid ¡Commercial ¡ Community ¡

Hadoop ¡

e-­‑infrastructures ¡

https://www.sci-bus.eu

Olabarriaga, EGI Community Forum, 2013 14

slide-15
SLIDE 15

AMC ¡Gateway: ¡4th ¡generation ¡

Come talk at the SCI-BUS Booth!

Olabarriaga, EGI Community Forum, 2013 15

slide-16
SLIDE 16

New ¡AMC ¡Gateway ¡

  • Different ¡front-­‑ends ¡

– Workflow ¡developers ¡ – Neuroscience ¡ – Next ¡generation ¡sequencing ¡(exome ¡sequencing) ¡ – .. ¡

  • Same ¡back-­‑end ¡

– Data ¡ – Metadata ¡ – Processing ¡ – Provenance ¡

COMMIT/

Olabarriaga, EGI Community Forum, 2013 16

slide-17
SLIDE 17

Under ¡the ¡hood… ¡

  • Olabarriaga, EGI Community Forum, 2013

17

slide-18
SLIDE 18

From ¡pre-­‑history ¡(2005) ¡to ¡today: ¡ ¡ What ¡has ¡changed? ¡

  • User ¡interfaces: ¡

– Command–line ¡-­‑> ¡Java ¡app ¡-­‑> ¡Web ¡browser ¡

  • User ¡profiles ¡

– linux ¡programmer ¡-­‑> ¡workflow ¡developer ¡-­‑> ¡end-­‑user ¡

  • Infrastructure: ¡

– Grid ¡-­‑> ¡clusters, ¡grid, ¡(cloud, ¡…) ¡

  • Processing ¡

– Jobs ¡-­‑> ¡MOTEUR ¡workflows ¡-­‑> ¡gUse ¡workflows ¡

  • Data ¡

– Files ¡on ¡desktop ¡-­‑> ¡distributed ¡files ¡-­‑> ¡distributed ¡data ¡-­‑> ¡metadata ¡

  • Software ¡

– Very ¡light ¡(scripts) ¡-­‑> ¡heavier ¡(WfMS) ¡-­‑> ¡very ¡heavy ¡(portal) ¡

Olabarriaga, EGI Community Forum, 2013 18

slide-19
SLIDE 19

Reflection: ¡ From ¡black ¡windows ¡to ¡portal ¡

SG ¡type ¡ User ¡profile ¡

+ ¡

  • ­‑ ¡

Black ¡ windows ¡ Advanced ¡ programmer/linux ¡ Control, ¡easy ¡to ¡repeat, ¡ simple, ¡light ¡ Low ¡level, ¡advanced ¡knowledge, ¡ error-­‑prone, ¡only ¡on ¡linux, ¡ firewall ¡problems ¡ VBrowser ¡ Advanced ¡Windows/ linux ¡user, ¡some ¡ programming ¡ knowledge ¡ Easy ¡to ¡use, ¡manipulaHon ¡of ¡ distributed ¡files, ¡extensible, ¡ customizable, ¡mulHpla-orm ¡ ConfiguraHon ¡of ¡local ¡user ¡ environment, ¡firewall, ¡user ¡ cerHficates, ¡poor ¡error ¡handling ¡ Web ¡v1, ¡v2 ¡ End ¡user ¡ Simple ¡and ¡fast ¡ implementaHon, ¡easier ¡to ¡use, ¡ robot ¡cerHficate ¡ PrimiHve/limited ¡funcHonality, ¡ scalabiility, ¡maintenance, ¡ extension, ¡user ¡management, ¡ data ¡management ¡ Web ¡ applicaHon ¡ End ¡user, ¡admin ¡ User ¡management, ¡extensible, ¡ easy ¡to ¡use, ¡data ¡transport ¡and ¡ provenance ¡ CustomizaHon, ¡scalability, ¡DCI ¡ ¡ interoperability, ¡error ¡handling ¡ Portal ¡ Workflow ¡developer, ¡ admin, ¡end-­‑user ¡ Configurable, ¡various ¡infra, ¡ data ¡centric, ¡sustained ¡ pla-orm ¡ Heavy ¡soKware, ¡no ¡ programming ¡interface, ¡error ¡ handling ¡

Olabarriaga, EGI Community Forum, 2013 19

slide-20
SLIDE 20

Wrap-­‑up ¡

  • Science ¡gateways ¡are ¡complex ¡beasts ¡
  • Research ¡is ¡going-­‑on ¡and ¡needs ¡to ¡find ¡out ¡

– What ¡they ¡are ¡ – What ¡they ¡should ¡do ¡ – How ¡can ¡they ¡“serve” ¡best ¡(to ¡whom) ¡ – How ¡to ¡sustain ¡them ¡

Olabarriaga, EGI Community Forum, 2013 20

slide-21
SLIDE 21

Is ¡this ¡our ¡last ¡Science ¡Gateway? ¡

¡

Olabarriaga, EGI Community Forum, 2013 21

From%idea%to%realization%

Figure 1. The phases of a neuroscience study, which usually starts with a pilot study and continues with follow-up studies. Shahand S, Caan MW, van Kampen AH, Olabarriaga SD. Integrated support for neuroscience research: from study design to publication. Healthgrid 2012, p.195-204.

S.D.Olabarriaga, VIP Workshop, Dec 2012 30#

slide-22
SLIDE 22

Thanks! ¡

eBioScience ¡ ¡ ¡ ¡ ¡ Medical ¡ Imaging ¡ ¡ ¡BioinformaHcs ¡ ¡ AMC ¡ IT ¡Infra ¡ ¡ Computer ¡ Science ¡

many many many many

The e-Bioscience research is funded and supported by various projects and organizations: BiGGrid project (Dutch Organisation for Scientific Research, NWO), SCI-BUS and ER-Flow projects (FP7 e-infrastructures), AMC ICT research innovation programme, COMMIT project "e-Biobanking with imaging for healthcare” UvA HPCN Fund

http://www.ebioscience.amc.nl/ ¡ S.D.Olabarriaga@amc.uva.nl

many many

COMMIT/

Olabarriaga, EGI Community Forum, 2013 22