Software Infrastructure for Sustained Innovation (SI 2 ) PI meeting - - PowerPoint PPT Presentation

Software Infrastructure for Sustained Innovation (SI2) PI meeting

Arlington, VA January 17-18, 2013

Ewa Deelman, University of Southern California Miron Livny, University of Wisconsin Madison

2

SI2 PI Meeting Goals

§ Bring together Principle Investigators of the leading software cyberinfrastructure projects and discuss issues relevant to the community as we move into the future § Need for NSF software to be used effectively by scientists and engineers § SI2 projects:

§ Scientific Software Elements (SSE) § Scientific Software Integration (SSI) § SI2 Institute Conceptualizing

http://www.nsf.gov/funding/pgm_summ.jsp?pims_id=504817

3

SI2 PIs

§ 60 PIs § 9 invited participants § Provide different types of software: HPC codes and libraries, middleware, domain-specific software and tools § Workshop Materials on the website

– 1-pagers – Project websites – Questionnaire, question contributors: James Howison, Nancy Wilkins-Diehr

62 Projects: 12 Institute Conceptualization, 20 SSIs, 30 SSEs

Computer ¡ Science ¡ Physics ¡ Mathema4cs ¡ Chemistry ¡ Biology ¡

4

Invited participants

§ Jim Herbsleb, Carnegie Mellon University § Jason Priem, University of North Carolina, Chapel Hill § James Howison- University of Texas Austin § Jim Jagielski, Director Apache Software Foundation § Neil Chue Hong, Director UK Software Sustainability Institute § James Taylor, Emory University § Michael McLennan, Purdue University § Jarek Nabrzyski, Notre Dame § Von Welch, Indiana University

5

Meeting Goals

§ Increase the awareness of SI2 projects within the program and more broadly within NSF § Foster collaborations § Discuss common concerns/issues § Learn from each others’ experiences § Contribute to the discussion on the shape of Software Institutes

6

Meeting Outcomes

§ A website with materials from all the projects § The beginning of a dialogue amongst projects § Analysis of the questionnaire § A report on the discussions (volunteer writers needed)

7

Initial Survey Results, 59 responses as of 1/7/13 (42

finished survey) 1) Novel Science (20) 2) Quality Software (13) 3) Community Growth (7) 4) Sustainability (3) Others: § “reproducible science” x2 § “impact to field”, “integrative collaborative science that is novel” § “support improved science code development processes” x2 § “change and improve the software and research culture of the science community” § “transfer of skills and best practice”, “community education”

“Rank the Goal of the project” 1—most important

8

“What metrics will your project collect?”

Category ¡ Metrics ¡ 41 ¡responses ¡ Communi4es ¡ and ¡Users ¡ Number ¡and ¡diversity ¡of ¡contributors/users ¡ 12 ¡ Number ¡of ¡different ¡applica4on ¡domains ¡ 2 ¡ User ¡feedback ¡and ¡experiences/surveys ¡ 10 ¡ Number ¡of ¡end ¡user ¡issues/4ckets, ¡avg ¡resolve ¡ 4me ¡ 3 ¡ Number ¡of ¡soGware ¡elements ¡integrated ¡ 1 ¡ Performance ¡sta4s4cs ¡against ¡benchmarks ¡ 5 ¡ Usage ¡ SoGware ¡usage ¡(CPU ¡hours) ¡ 10 ¡ Amount ¡of ¡quality ¡datasets ¡accessible ¡ 2 ¡ Number ¡of ¡soGware ¡elements ¡used ¡in ¡integrated ¡ ways ¡ 2 ¡ Number ¡of ¡visitors/visits ¡ 2 ¡ Number ¡of ¡members ¡on ¡mailing ¡list ¡ ¡ 2 ¡

Exemplar: CyberGIS Software Integration for Sustained Geospatial Innovation, Shaowen Wang, PI

9

Metrics Continued

Category ¡ Metrics ¡ SoGware ¡ Number ¡and ¡severity ¡of ¡bugs ¡reported ¡and ¡ resolved ¡ 3 ¡ ¡ Interac4ons ¡with ¡the ¡open ¡source ¡ community/current ¡open ¡source ¡ mechanisms ¡employed/what ¡is ¡contributed ¡ back ¡to ¡open ¡source ¡community ¡ 2 ¡ ¡ New ¡standards ¡defined ¡ 1 ¡ Number ¡of ¡downloads ¡ ¡ 17 ¡ Science ¡ Number ¡of ¡publica4ons ¡and ¡their ¡impact ¡ measures ¡ 8 ¡ Number ¡of ¡cita4ons ¡ 11 ¡

10

“What project infrastructure are you using?”

Type ¡ Name ¡ Using ¡ Version ¡control ¡ SVN ¡ 24 ¡ Git ¡ 19 ¡ Mercurial ¡ ¡ 3 ¡ SoGware ¡hos4ng ¡ Github ¡ 5 ¡(4 ¡more ¡moving) ¡ Bitbucket ¡ 3 ¡ Google ¡code ¡ 2 ¡ Sourceforge ¡ 1 ¡ Mailing ¡lists ¡ Mailman ¡and ¡others ¡ 19 ¡ Websites ¡ Custom ¡ 13 ¡(probably ¡and ¡undercount) ¡ Wordpress ¡ 4 ¡

41 responses

11

Type ¡ Name ¡ ¡ Using ¡ Bundled ¡Infrastructure ¡ HubZero ¡ 3 ¡ Apache ¡ 1 ¡ Eclipse ¡ 1 ¡ Project ¡management ¡ Jira ¡ 3 ¡ Build ¡and ¡test ¡ Jenkins ¡ 3 ¡

“Do you support outside contributions?”: 28 yes, 5 no

Plus a bunch of other tools

12

Approaches to sustainability “no software is an island”

§ Integration with other projects § Being part of larger projects/gateways § Open access/ Open to contributions § Technology transfer § Diversification of users/communities / Outreach § Establishing foundations/be part of consortiums § Building ties with industry § Be written into others grants § Standardization § Software reuse § Automated software generation

13

“What services could a software institute offer that you would be most likely to use?

§ Workforce development

– Training and cross training of CS and domain scientists – “Access to qualified and motivated human resources”

§ Mentoring

– Fostering collaborations between SI2s and outside – Expert advice/Project mentoring – Financial support

§ Community Building

– Meetings to discuss shared challenges and solutions

§ Sustainability

– Sustaining codes – Software repository – Ranking of institute content

14

§ Best Practices/Standardization

– Establishing protocols for interoperability – Tool recommendation – Technology forecasts

§ Services

– Provide auditing services (security, privacy, automated testing) – Code reviews – Integration of toolkits – GUI/website development – Organizing data

15

Projects you look to as exemplars

Apache.org ¡ R ¡project ¡ UK ¡SoGware ¡Ins4tute ¡ Astronomy/HEP ¡projects ¡ iRODS ¡ PETSc ¡ Condor ¡ Protein ¡Data ¡Bank ¡ HubZero ¡ Dropbox ¡ Amazon ¡ Google ¡docs ¡ “Easy ¡to ¡use” ¡ “Community ¡trusts ¡it” ¡ “Impressive ¡technology” ¡ “Great ¡user ¡services” ¡ “Ac4ve ¡development ¡ group” ¡ “interna4onal ¡consor4um ¡ model” ¡ “Integra4ve ¡services” ¡ “Sound ¡underlying ¡ infrastructure” ¡ “diverse ¡community” ¡ “Serves ¡both ¡large ¡users ¡ and ¡long ¡tail ¡users” ¡ “Great ¡Community” ¡ “successful ¡models ¡for ¡ suppor4ng ¡sustainability” ¡ “devo4on ¡and ¡ responsiveness ¡to ¡users” ¡ “Broad ¡appeal ¡among ¡govt, ¡ commercial ¡& ¡academia” ¡ “simplicity” ¡ “open ¡API” ¡ “good ¡documenta4on” ¡ “ac4ve ¡vibrant ¡ community” ¡

16

Projects you look to as exemplars

Apache.org ¡ R ¡project ¡ UK ¡SoGware ¡Ins4tute ¡ Astronomy/HEP ¡projects ¡ iRODS ¡ PETSc ¡ HTCondor ¡ Protein ¡Data ¡Bank ¡ HubZero ¡ Dropbox ¡ Amazon ¡ Google ¡docs ¡ “Easy ¡to ¡use” ¡ “Community ¡trusts ¡it” ¡ “Impressive ¡technology” ¡ “Great ¡user ¡services” ¡ “Ac4ve ¡development ¡ group” ¡ “interna4onal ¡consor4um ¡ model” ¡ “Integra4ve ¡services” ¡ “Sound ¡underlying ¡ infrastructure” ¡ “diverse ¡community” ¡ “Serves ¡both ¡large ¡users ¡ and ¡long ¡tail ¡users” ¡ “Great ¡Community” ¡ “successful ¡models ¡for ¡ suppor4ng ¡sustainability” ¡ “devo4on ¡and ¡ responsiveness ¡to ¡users” ¡ “Broad ¡appeal ¡among ¡govt, ¡ commercial ¡& ¡academia” ¡ “simplicity” ¡ “open ¡API” ¡ “good ¡documenta4on” ¡ “ac4ve ¡vibrant ¡ community” ¡

17

Agenda ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Thursday ¡January ¡17th, ¡2013 ¡

9:15-­‑9:45 ¡am ¡ NSF ¡OCI ¡Perspec4ve ¡ Alan ¡Blatecky ¡ ¡ 9:45-­‑10:30 ¡am ¡ Keynote ¡1: ¡Accessible, ¡transparent, ¡ reproducible ¡analysis ¡with ¡Galaxy ¡ James ¡Taylor ¡ ¡ ¡ 10:30-­‑11:00am ¡ ¡ Break ¡ 11:00am-­‑12:30pm ¡ Panel ¡1: ¡How ¡to ¡measure ¡the ¡impact ¡of ¡ soGware? ¡ ¡ James ¡Howison ¡ ¡ 12:30-­‑1:30pm ¡ Lunch ¡ ¡ 1:30pm-­‑2:00pm ¡ CISE ¡and ¡Big ¡Data ¡ Suzi ¡Iacono ¡ ¡ 2:00-­‑3:30pm ¡ Panel ¡2: ¡What ¡does ¡it ¡mean ¡to ¡Conceptualize? ¡ Nancy ¡Wilkins-­‑Diehr ¡ 3:30-­‑4:00pm ¡ Break ¡ 4:00-­‑4:45pm ¡ Talk ¡and ¡discussion ¡on ¡SoGware ¡Sustainability ¡ Neil ¡Chue ¡Hong ¡ ¡ 4:45-­‑5:15pm ¡ ¡ ¡ SI2 ¡Program ¡Current ¡and ¡Future ¡ Dan ¡Katz ¡ 6:00pm-­‑8:00pm ¡ ¡ Recep4on ¡and ¡Poster ¡session ¡ ¡ ¡ Wes4n ¡Hotel, ¡Fitzgerald ¡ C ¡

18

Agenda ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Friday ¡January ¡18th, ¡2013 ¡

8:00-­‑8:30 ¡am ¡ Breakfast ¡ ¡ 8:30-­‑9:15 ¡am ¡ Keynote ¡2: ¡SoGware ¡Ecosystems ¡and ¡Science ¡ Jim ¡Herbsleb ¡ 9:15-­‑10:30am ¡ Panel ¡3: ¡Managing ¡a ¡soGware ¡project—the ¡dos ¡ and ¡don’ts ¡ Phil ¡Papadopoulos ¡ 10:30-­‑11:00am ¡ Break ¡ 11:00-­‑12:15pm ¡ Group ¡Discussion: ¡Genng ¡the ¡scien4sts ¡

• nboard! ¡How ¡do ¡you ¡make ¡your ¡soGware ¡

useful? ¡ Miron ¡Livny ¡ ¡ 12:15-­‑12:30pm ¡ Concluding ¡remarks ¡ Miron ¡Livny ¡ 12:30pm ¡ ¡ Box ¡Lunch ¡

Administrative support: Larry Godinez