Software Infrastructure for Sustained Innovation (SI 2 ) PI meeting - PowerPoint PPT Presentation

Software Infrastructure for Sustained Innovation (SI 2 ) PI meeting Arlington, VA January 17-18, 2013 Ewa Deelman, University of Southern California Miron Livny, University of Wisconsin Madison

SI 2 PI Meeting Goals § Bring together Principle Investigators of the leading software cyberinfrastructure projects and discuss issues relevant to the community as we move into the future § Need for NSF software to be used effectively by scientists and engineers § SI2 projects: § Scientific Software Elements (SSE) § Scientific Software Integration (SSI) § SI2 Institute Conceptualizing http://www.nsf.gov/funding/pgm_summ.jsp?pims_id=504817 2

SI2 PIs 62 Projects: 12 Institute Conceptualization, 20 SSIs, 30 SSEs Computer ¡ Science ¡ § 60 PIs Physics ¡ § 9 invited participants Mathema4cs ¡ Chemistry ¡ Biology ¡ § Provide different types of software: HPC codes and libraries, middleware, domain-specific software and tools § Workshop Materials on the website – 1-pagers – Project websites – Questionnaire, question contributors: James Howison, Nancy Wilkins-Diehr 3

Invited participants § Jim Herbsleb, Carnegie Mellon University § Jason Priem, University of North Carolina, Chapel Hill § James Howison- University of Texas Austin § Jim Jagielski, Director Apache Software Foundation § Neil Chue Hong, Director UK Software Sustainability Institute § James Taylor, Emory University § Michael McLennan, Purdue University § Jarek Nabrzyski, Notre Dame § Von Welch, Indiana University 4

Meeting Goals § Increase the awareness of SI2 projects within the program and more broadly within NSF § Foster collaborations § Discuss common concerns/issues § Learn from each others’ experiences § Contribute to the discussion on the shape of Software Institutes 5

Meeting Outcomes § A website with materials from all the projects § The beginning of a dialogue amongst projects § Analysis of the questionnaire § A report on the discussions ( volunteer writers needed ) 6

Initial Survey Results, 59 responses as of 1/7/13 (42 finished survey) “Rank the Goal of the project” 1—most important 1) Novel Science (20) 2) Quality Software (13) 3) Community Growth (7) 4) Sustainability (3) Others: § “reproducible science” x2 § “impact to field”, “integrative collaborative science that is novel” § “support improved science code development processes” x2 § “change and improve the software and research culture of the science community” § “transfer of skills and best practice”, “community education” 7

“What metrics will your project collect?” Exemplar: CyberGIS Software Integration for Sustained Geospatial Innovation, Shaowen Wang, PI Category ¡ Metrics ¡ 41 ¡responses ¡ Communi4es ¡ Number ¡and ¡diversity ¡of ¡contributors/users ¡ 12 ¡ and ¡Users ¡ Number ¡of ¡different ¡applica4on ¡domains ¡ 2 ¡ User ¡feedback ¡and ¡experiences/surveys ¡ 10 ¡ Number ¡of ¡end ¡user ¡issues/4ckets, ¡avg ¡resolve ¡ 3 ¡ 4me ¡ Number ¡of ¡soGware ¡elements ¡integrated ¡ 1 ¡ Performance ¡sta4s4cs ¡against ¡benchmarks ¡ 5 ¡ Usage ¡ SoGware ¡usage ¡(CPU ¡hours) ¡ 10 ¡ Amount ¡of ¡quality ¡datasets ¡accessible ¡ 2 ¡ Number ¡of ¡soGware ¡elements ¡used ¡in ¡integrated ¡ 2 ¡ ways ¡ Number ¡of ¡visitors/visits ¡ 2 ¡ Number ¡of ¡members ¡on ¡mailing ¡list ¡ ¡ 2 ¡ 8

Metrics Continued Category ¡ Metrics ¡ SoGware ¡ Number ¡and ¡severity ¡of ¡bugs ¡reported ¡and ¡ 3 ¡ resolved ¡ ¡ Interac4ons ¡with ¡the ¡open ¡source ¡ 2 ¡ community/current ¡open ¡source ¡ ¡ mechanisms ¡employed/what ¡is ¡contributed ¡ back ¡to ¡open ¡source ¡community ¡ New ¡standards ¡defined ¡ 1 ¡ Number ¡of ¡downloads ¡ ¡ 17 ¡ Science ¡ Number ¡of ¡publica4ons ¡and ¡their ¡impact ¡ 8 ¡ measures ¡ Number ¡of ¡cita4ons ¡ 11 ¡ 9

“What project infrastructure are you using?” 41 responses Type ¡ Name ¡ Using ¡ Version ¡control ¡ SVN ¡ 24 ¡ Git ¡ 19 ¡ Mercurial ¡ ¡ 3 ¡ SoGware ¡hos4ng ¡ Github ¡ 5 ¡(4 ¡more ¡moving) ¡ Bitbucket ¡ 3 ¡ Google ¡code ¡ 2 ¡ Sourceforge ¡ 1 ¡ Mailing ¡lists ¡ Mailman ¡and ¡others ¡ 19 ¡ Websites ¡ Custom ¡ 13 ¡(probably ¡and ¡undercount) ¡ Wordpress ¡ 4 ¡ 10

Type ¡ Name ¡ ¡ Using ¡ Bundled ¡Infrastructure ¡ HubZero ¡ 3 ¡ Apache ¡ 1 ¡ Eclipse ¡ 1 ¡ Project ¡management ¡ Jira ¡ 3 ¡ Build ¡and ¡test ¡ Jenkins ¡ 3 ¡ Plus a bunch of other tools “Do you support outside contributions?”: 28 yes, 5 no 11

Approaches to sustainability “no software is an island” § Integration with other projects § Being part of larger projects/gateways § Open access/ Open to contributions § Technology transfer § Diversification of users/communities / Outreach § Establishing foundations/be part of consortiums § Building ties with industry § Be written into others grants § Standardization § Software reuse § Automated software generation 12

“ What services could a software institute offer that you would be most likely to use? § Workforce development – Training and cross training of CS and domain scientists – “Access to qualified and motivated human resources” § Mentoring – Fostering collaborations between SI2s and outside – Expert advice/Project mentoring – Financial support § Community Building – Meetings to discuss shared challenges and solutions § Sustainability – Sustaining codes – Software repository – Ranking of institute content 13

§ Best Practices/Standardization – Establishing protocols for interoperability – Tool recommendation – Technology forecasts § Services – Provide auditing services (security, privacy, automated testing) – Code reviews – Integration of toolkits – GUI/website development – Organizing data 14

Projects you look to as exemplars Apache.org ¡ R ¡project ¡ UK ¡SoGware ¡Ins4tute ¡ Astronomy/HEP ¡projects ¡ iRODS ¡ PETSc ¡ Condor ¡ Protein ¡Data ¡Bank ¡ HubZero ¡ Dropbox ¡ Amazon ¡ Google ¡docs ¡ “Easy ¡to ¡use” ¡ “Community ¡trusts ¡it” ¡ “Impressive ¡technology” ¡ “Great ¡user ¡services” ¡ “Ac4ve ¡development ¡ “interna4onal ¡consor4um ¡ group” ¡ model” ¡ “Integra4ve ¡services” ¡ “Sound ¡underlying ¡ “diverse ¡community” ¡ infrastructure” ¡ “Serves ¡both ¡large ¡users ¡ “Great ¡Community” ¡ “successful ¡models ¡for ¡ and ¡long ¡tail ¡users” ¡ suppor4ng ¡sustainability” ¡ “devo4on ¡and ¡ “Broad ¡appeal ¡among ¡govt, ¡ “simplicity” ¡ responsiveness ¡to ¡users” ¡ commercial ¡& ¡academia” ¡ “open ¡API” ¡ “good ¡documenta4on” ¡ “ac4ve ¡vibrant ¡ community” ¡ 15

Projects you look to as exemplars Apache.org ¡ R ¡project ¡ UK ¡SoGware ¡Ins4tute ¡ Astronomy/HEP ¡projects ¡ iRODS ¡ PETSc ¡ HTCondor ¡ Protein ¡Data ¡Bank ¡ HubZero ¡ Dropbox ¡ Amazon ¡ Google ¡docs ¡ “Easy ¡to ¡use” ¡ “Community ¡trusts ¡it” ¡ “Impressive ¡technology” ¡ “Great ¡user ¡services” ¡ “Ac4ve ¡development ¡ “interna4onal ¡consor4um ¡ group” ¡ model” ¡ “Integra4ve ¡services” ¡ “Sound ¡underlying ¡ “diverse ¡community” ¡ infrastructure” ¡ “Serves ¡both ¡large ¡users ¡ “Great ¡Community” ¡ “successful ¡models ¡for ¡ and ¡long ¡tail ¡users” ¡ suppor4ng ¡sustainability” ¡ “devo4on ¡and ¡ “Broad ¡appeal ¡among ¡govt, ¡ “simplicity” ¡ responsiveness ¡to ¡users” ¡ commercial ¡& ¡academia” ¡ “open ¡API” ¡ “good ¡documenta4on” ¡ “ac4ve ¡vibrant ¡ community” ¡ 16