DUNE FD/35-ton Offline News and Announcements Tom Junk, - - PowerPoint PPT Presentation

DUNE ¡FD/35-­‑ton ¡Offline ¡News ¡and ¡Announcements ¡

Tom ¡Junk, ¡Tingjun ¡Yang, ¡Michelle ¡Stancari, ¡Mark ¡Convery ¡ Fermilab, ¡SLAC ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 1 ¡

DUNE ¡MigraMon ¡from ¡LBNE ¡ DAQ ¡offline ¡interface ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 2 ¡

The ¡Great ¡Renaming ¡– ¡LBNE ¡à ¡DUNE ¡

MeeMng ¡yesterday, ¡July ¡29, ¡organized ¡by ¡Qizhong, ¡with ¡SCD ¡reps ¡from ¡ many ¡areas ¡– ¡storage, ¡grid, ¡accounts, ¡server ¡and ¡desktop ¡support. ¡ ¡ Finally ¡geZng ¡around ¡to ¡this! ¡ ¡The ¡status ¡and ¡plans ¡for ¡each ¡of ¡the ¡areas ¡ ¡ Overall ¡idea: ¡ ¡We ¡want ¡to ¡keep ¡support ¡for ¡LBNE-­‑named ¡resources ¡during ¡the ¡ transiMon ¡so ¡that ¡work ¡can ¡conMnue ¡while ¡the ¡transiMon ¡happens, ¡and ¡to ¡give ¡users ¡ Mme ¡to ¡update ¡their ¡scripts. ¡ ¡ So... ¡Many ¡services ¡and ¡items ¡named ¡LBNE ¡will ¡either ¡have ¡two ¡names ¡during ¡ a ¡transiMon ¡period, ¡or ¡have ¡new ¡instances ¡which ¡will ¡co-­‑exist. ¡ ¡ A_er ¡the ¡transiMon ¡period, ¡LBNE-­‑named ¡things ¡will ¡no ¡longer ¡be ¡supported. ¡ ¡ DAQ-­‑related ¡LBNE-­‑named ¡things ¡(account ¡lbnedaq, ¡machine ¡lbne35t-­‑gateway01, ¡etc.) ¡ can ¡retain ¡their ¡LBNE ¡names ¡so ¡as ¡not ¡to ¡disrupt ¡DAQ ¡tesMng. ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 3 ¡

New ¡DUNE ¡group ¡ID: ¡ ¡9010. ¡ ¡The ¡LBNE ¡Group ¡ID ¡is ¡9960. ¡ ¡These ¡affect ¡ file ¡ownership. ¡ ¡ ¡ BlueArc ¡mount ¡points ¡users ¡currently ¡see: ¡ /lbne/app ¡ /lbne/data ¡ /lbnd/data2 ¡ ¡ Plans ¡– ¡ ¡ ¡no ¡new ¡BlueArc ¡space, ¡so ¡ ¡ add ¡new ¡mount ¡points ¡for ¡the ¡same ¡file ¡systems ¡ /dune/app ¡ /dune/data ¡ /dune/data2 ¡ ¡ InteracMve ¡users ¡will ¡be ¡in ¡both ¡groups, ¡but ¡files ¡can ¡be ¡in ¡only ¡one ¡group. ¡ These ¡directories ¡will ¡be ¡group ¡read-­‑writable ¡ ¡ We ¡may ¡have ¡to ¡get ¡in ¡the ¡habit ¡of ¡turning ¡on ¡the ¡group ¡rw ¡bits ¡on ¡our ¡files ¡ so ¡that ¡old ¡lbne-­‑only ¡files ¡can ¡sMll ¡be ¡wrihen/deleted ¡ ¡ chmod ¡g+rw ¡<filename> ¡ ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 4 ¡

BlueArc ¡Renaming ¡Mmescales ¡

Plan ¡is ¡to ¡have ¡an ¡overlap ¡period ¡when ¡both ¡/lbne/* ¡and ¡/dune/* ¡mount ¡points ¡

• work. ¡

¡ Two ¡months ¡– ¡reMre ¡LBNE ¡names ¡by ¡end ¡September ¡2015 ¡when ¡the ¡/lbne ¡versions ¡ can ¡be ¡reMred. ¡ ¡Allows ¡people ¡Mme ¡to ¡change ¡their ¡scripts ¡and ¡workflows. ¡ ¡But ¡SCD ¡ people ¡have ¡to ¡get ¡started ¡soon ¡adding ¡users ¡to ¡the ¡DUNE ¡group ¡now ¡so ¡to ¡give ¡ people ¡the ¡two ¡months ¡to ¡migrate ¡their ¡jobs ¡and ¡scripts. ¡ ¡ SMll ¡before ¡the ¡35t ¡operaMons ¡but ¡not ¡by ¡much ¡(1 ¡month). ¡ ¡ The ¡sooner ¡the ¡beher! ¡ ¡The ¡more ¡we ¡delay ¡this, ¡the ¡harder ¡it ¡will ¡become, ¡as ¡more ¡ users ¡will ¡become ¡entrenched ¡with ¡the ¡current ¡system. ¡ ¡ /grid/fermiapp/dune* ¡ /grid/fermiapp/products/dune/* ¡ ¡ can ¡be ¡made ¡any ¡Mme ¡to ¡replace ¡ ¡ /grid/fermiapp/lbne/* ¡ /grid/fermiapp/products/lbne/* ¡ BlueArc ¡Mounts ¡may ¡ require ¡downMme ¡

• ­‑-­‑ ¡need ¡to ¡be ¡installed ¡
• n ¡interacMve ¡nodes ¡

and ¡batch ¡workers ¡ (at ¡least ¡/dune/aopp) ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 5 ¡

dCache ¡disk ¡

¡ /pnfs/lbne/* ¡à ¡/pnfs/dune/* ¡ ¡similar ¡issues. ¡ ¡ We ¡already ¡have ¡/pnfs/dune/persistent ¡that ¡people ¡in ¡the ¡LBNE ¡but ¡not ¡the ¡ DUNE ¡group ¡can ¡not ¡write ¡to. ¡ ¡The ¡scratch ¡area ¡and ¡other ¡areas ¡also ¡need ¡ dune ¡versions. ¡ ¡Currently ¡/pnfs/dune ¡only ¡has ¡a ¡persistent ¡area. ¡ ¡ /pnfs/dune/persistent ¡shares ¡the ¡150 ¡TB ¡disk ¡space ¡with ¡/pnfs/lbne/persistent ¡ but ¡the ¡namespaces ¡are ¡disMnct. ¡ ¡ To ¡see ¡what ¡groups ¡you’re ¡in ¡use ¡the ¡command ¡“id” ¡ ¡ SCD ¡will ¡add ¡current ¡interacMve ¡users ¡to ¡the ¡dune ¡group ¡and ¡make ¡/pnfs/dune ¡areas. ¡ ¡ Similar ¡Mmescale ¡as ¡for ¡BlueArc ¡– ¡eventually ¡lbne ¡will ¡be ¡reMred ¡as ¡a ¡mount ¡point ¡name. ¡ ¡

SAM ¡

¡ Need ¡support ¡for ¡DUNE ¡in ¡SAM ¡– ¡a ¡SAM ¡staMon, ¡and ¡many ¡samweb ¡commands ¡need ¡ the ¡experiment ¡supplied ¡with ¡–e ¡<experimentname> ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 6 ¡

The ¡DUNE ¡Virtual ¡OrganizaMon ¡(VO) ¡

A ¡DUNE ¡VO ¡has ¡been ¡created. ¡ ¡Steve ¡Timm ¡and ¡Tom ¡Junk ¡are ¡the ¡admins, ¡ and ¡Steve ¡is ¡the ¡security ¡contact. ¡ ¡Used ¡for ¡authenMcaMng ¡batch ¡jobs. ¡ ¡ It’s ¡not ¡completely ¡funcMonal ¡though ¡– ¡need ¡to ¡get ¡it ¡accepted ¡on ¡the ¡OSG ¡ and ¡make ¡the ¡GUMS ¡mapping ¡work ¡(this ¡may ¡be ¡done ¡already) ¡ ¡ QuesMon ¡of ¡automaMc ¡membership ¡

• people ¡already ¡in ¡the ¡LBNE ¡VO ¡ ¡ ¡(~ ¡approx ¡100 ¡of ¡these) ¡
• people ¡with ¡interacMve ¡LBNE ¡accounts ¡(~336 ¡of ¡these) ¡

Onboarding ¡future ¡new ¡DUNE ¡users: ¡ LBNE ¡used ¡to ¡have ¡a ¡complicated ¡signup ¡procedure ¡ 1) Apply ¡for ¡Fermilab ¡ID ¡number, ¡Kerberos ¡principal, ¡Services ¡account ¡ 2) Apply ¡for ¡FNALU ¡account ¡ 3) Apply ¡for ¡interacMve ¡LBNE ¡account ¡ 4) Apply ¡for ¡VO ¡membership ¡ For ¡DUNE, ¡we’d ¡like ¡these ¡all ¡to ¡be ¡rolled ¡into ¡one ¡applicaMon. ¡ ¡LBNE ¡had ¡ engineers, ¡lawyers, ¡and ¡others ¡who ¡did ¡not ¡need ¡scienMfic ¡compuMng ¡resources ¡ All ¡the ¡non-­‑scienMfic ¡people ¡are ¡in ¡LBNF ¡now, ¡and ¡DUNE ¡consists ¡of ¡a ¡science ¡collaboraMon ¡ so ¡we ¡should ¡give ¡new ¡DUNE ¡people ¡all ¡the ¡accounts ¡at ¡once. ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 7 ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 8 ¡

Batch ¡jobs ¡and ¡the ¡VO ¡

Annual ¡Acceptable ¡Use ¡Policy ¡signing ¡

• currently ¡requires ¡KCA ¡cerMficate ¡and ¡a ¡web ¡form ¡
• difficult ¡for ¡some ¡users ¡
• Other ¡experiments ¡do ¡not ¡do ¡this. ¡ ¡LBNE ¡was ¡special ¡because ¡its ¡VO ¡was ¡

¡ ¡ ¡separate ¡from ¡the ¡Fermilab ¡VO ¡and ¡was ¡expected ¡to ¡have ¡non-­‑Fermilab ¡people ¡ ¡ ¡ ¡in ¡it. ¡

• Other ¡Fermilab-­‑hosted ¡experiments ¡required ¡users ¡to ¡have ¡Fermilab ¡ID ¡numbers ¡

¡and ¡renew ¡their ¡compuMng ¡privileges ¡annually. ¡ ¡This ¡requires ¡reading ¡and ¡signing ¡ the ¡Fermilab ¡CompuMng ¡Policy, ¡which ¡stands ¡in ¡for ¡the ¡AUP ¡on ¡the ¡VO ¡ ¡ We ¡can ¡do ¡this ¡too! ¡ ¡It ¡just ¡means ¡we ¡need ¡to ¡require ¡obtaining ¡and ¡maintaining ¡ Fermilab ¡computer ¡privileges ¡in ¡order ¡to ¡be ¡a ¡VO ¡member. ¡ ¡Other ¡experiments ¡do ¡this. ¡ E.g. ¡CMS ¡users ¡need ¡CERN ¡accounts ¡in ¡order ¡to ¡do ¡CMS ¡compuMng. ¡ ¡ jobsub_client ¡needed ¡to ¡add ¡DUNE ¡to ¡its ¡list ¡of ¡supported ¡experiments ¡– ¡done. ¡ ¡ condor ¡queues ¡(DUNE’s ¡Fermigrid ¡allocaMon) ¡to ¡be ¡set ¡up ¡(done?) ¡ ¡ FIFEMON ¡needs ¡a ¡DUNE ¡category ¡– ¡done, ¡though ¡I ¡haven’t ¡seen ¡it ¡yet. ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 9 ¡

Machine ¡Names ¡

InteracMve ¡servers: ¡ ¡lbnegpvm01 ¡through ¡10 ¡to ¡have ¡alternate ¡names ¡ dunegpvm01 ¡through ¡10 ¡during ¡the ¡transiMon ¡period ¡and ¡then ¡only ¡the ¡dune ¡names ¡ ¡ Some ¡desktops ¡lbnefd01 ¡through ¡lbnefd05 ¡to ¡be ¡renamed ¡ dunefd01 ¡through ¡dunefd05. ¡ ¡No ¡hurry ¡on ¡this, ¡but ¡nice ¡to ¡change. ¡ ¡ 35-­‑ton ¡DAQ ¡machine ¡names ¡to ¡remain ¡the ¡same ¡– ¡sMll ¡keep ¡LBNE ¡names ¡ lbne35t-­‑gateway-­‑01.fnal.gov ¡for ¡example. ¡ ¡ DUNE-­‑PT ¡DAQ ¡machines ¡are ¡to ¡be ¡integrated ¡into ¡CERN’s ¡compuMng ¡– ¡a ¡separate ¡issue. ¡ ¡

Shared ¡Service ¡Accounts ¡

¡ dunepro, ¡duneana, ¡dunecal, ¡dunedata, ¡dune ¡ exist ¡already ¡but ¡accounts ¡need ¡to ¡be ¡added ¡to ¡the ¡interacMve ¡nodes. ¡ QuesMon ¡– ¡what ¡does ¡lbnesk ¡do? ¡ ¡ service ¡cerMficate ¡for ¡new ¡dunepro ¡account ¡– ¡to ¡obtain. ¡ ¡ MARS ¡groups ¡à ¡perhaps ¡these ¡are ¡now ¡under ¡LBNF ¡and ¡not ¡DUNE? ¡Not ¡clear. ¡ ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 10 ¡

CollaboraMve ¡tools ¡

DUNE ¡mailing ¡lists, ¡docdb, ¡collaboraMon ¡web ¡page, ¡all ¡done ¡

Code ¡repositories ¡and ¡CVMFS ¡

¡ To ¡do ¡– ¡mostly ¡in ¡our ¡hands. ¡ ¡ ¡

• Propose ¡making ¡a ¡new ¡instance ¡of ¡our ¡code ¡repository ¡with ¡dune ¡names ¡

¡and ¡keep ¡lbnecode ¡around ¡for ¡archival ¡purposes ¡ ¡ We ¡currently ¡use ¡the ¡Fermilab ¡cdcvs ¡repository ¡area. ¡ ¡Mark ¡Mengel ¡suggests ¡ that ¡we ¡can ¡have ¡a ¡dune.opensciencegrid.org ¡repository ¡instead. ¡ ¡ ¡(issues ¡– ¡we ¡sMll ¡get ¡redmine ¡or ¡something ¡equivalent? ¡ ¡Maybe ¡faster?) ¡ ¡

• need ¡new ¡setup ¡scripts, ¡release ¡area ¡

¡ Work ¡not ¡yet ¡started ¡on ¡this ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 11 ¡

Other ¡35-­‑ton ¡Online-­‑Offline ¡interface ¡tasks: ¡

• Data ¡copy ¡script ¡seems ¡to ¡work. ¡ ¡Needs ¡protecMon ¡against ¡duplicate ¡instances ¡

¡ ¡ ¡of ¡itself ¡– ¡cron ¡may ¡start ¡another ¡one ¡while ¡the ¡first ¡is ¡sMll ¡copying. ¡ ¡ ¡ /data/lbnedaq/bin/datatransfer.sh ¡ ¡

• tested ¡with ¡trj ¡as ¡the ¡principal ¡;need ¡to ¡run ¡as ¡lbnedaq_cron ¡and ¡send ¡ ¡

¡ ¡files ¡using ¡the ¡lbnedaq ¡principal ¡ ¡ ¡ ¡Need ¡a ¡special ¡lbnedaq ¡account ¡set ¡up ¡on ¡lbnegpvm01.fnal.gov ¡ ¡

• Copies ¡files, ¡checks ¡the ¡return ¡code, ¡and ¡checks ¡the ¡size ¡and ¡checksum ¡on ¡both ¡

¡ ¡ ¡sides ¡of ¡the ¡file ¡copy ¡for ¡equality ¡before ¡declaring ¡success ¡ ¡

• Moves ¡files ¡to ¡a ¡“transferred” ¡directory ¡instead ¡of ¡deleMng ¡them ¡
• If ¡failure, ¡moves ¡files ¡to ¡a ¡“failed_to_transfer” ¡directory ¡
• Sends ¡files ¡to ¡/pnfs/lbne/persistent/users/lbnedaq_inbox ¡
• Need ¡a ¡script ¡on ¡the ¡gpvm ¡nodes ¡that ¡extracts ¡metadata ¡and ¡uploads ¡files ¡to ¡SAM ¡

¡ ¡and ¡updates ¡a ¡web ¡table ¡lisMng ¡all ¡the ¡files. ¡ ¡

• Also ¡run ¡metadata ¡– ¡name, ¡subdetectors ¡included, ¡run ¡mode ¡need ¡to ¡be ¡extracted ¡

¡from ¡the ¡data ¡file. ¡ ¡Currently ¡ad ¡hoc ¡for ¡these ¡fields. ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 12 ¡

VerMcal ¡Slice ¡Test ¡Files ¡transferred ¡so ¡far ¡

Files ¡transferred ¡manually ¡through ¡June ¡2015 ¡ ¡ hhps://cdcvs.fnal.gov/redmine/projects/35ton/wiki/LBNE35tVerMcalSliceTestDataFiles ¡ ¡ Files ¡deleted ¡on ¡lbne35t-­‑gateway01 ¡up ¡through ¡end ¡April. ¡ 29 ¡GBytes ¡free ¡space ¡on ¡the ¡data ¡disk ¡(12% ¡of ¡total ¡capacity) ¡le_. ¡ ¡ Disk ¡is ¡only ¡234 ¡GBytes ¡big, ¡and ¡much ¡of ¡it ¡is ¡devoted ¡to ¡so_ware ¡and ¡not ¡data ¡ ¡ lbne35t-­‑gateway02.fnal.gov ¡ready ¡for ¡installaMon. ¡ ¡Checking ¡rack ¡power ¡and ¡space. ¡ Much ¡more ¡disk! ¡ ¡(~10 ¡TBytes) ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 13 ¡

About ¡lbnegpvm01 ¡– ¡it ¡has ¡/web/sites/lbne-­‑dqm.fnal.gov ¡mounted ¡but ¡the ¡other ¡ lbnegvpm ¡machines ¡do ¡not. ¡ ¡ Monitoring ¡histo ¡transfer ¡takes ¡lihle ¡bandwidth. ¡ ¡But ¡we ¡also ¡need ¡to ¡transfer ¡over ¡

• ur ¡data ¡files ¡too! ¡ ¡Do ¡we ¡use ¡lbnegpvm01? ¡ ¡Or ¡another ¡machine? ¡

¡ lbnegpvm01 ¡has ¡a ¡load ¡aerage ¡of ¡8 ¡as ¡of ¡this ¡wriMng, ¡but ¡hardly ¡any ¡uMlizaMon. ¡ ¡ Other ¡machines ¡geZng ¡into ¡states ¡like ¡this ¡have ¡had ¡nfsv4/dCache ¡interface ¡blamed ¡

lbnegpvm01 ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 14 ¡

Spliher ¡Status ¡

lbnecode/lbne/daqinput35t/SpliherInput_source.cc ¡ ¡ Reformats ¡RCE ¡and ¡SSP ¡daq ¡data ¡from ¡fragments ¡to ¡raw::RawDigits ¡and ¡ raw::OpDetWaveforms. ¡ ¡Passes ¡through ¡MC. ¡ ¡ Splits ¡RCE ¡data ¡into ¡n-­‑Mck ¡pieces ¡where ¡n ¡is ¡configurable. ¡ ¡SMtches ¡neighboring ¡

• events. ¡

¡ To ¡do ¡– ¡split ¡the ¡OpDetWaveforms ¡too. ¡ ¡Needs ¡comparison ¡of ¡Mmestamps ¡ and ¡possible ¡conversion ¡so ¡they ¡can ¡be ¡compared ¡with ¡RCE ¡Mmestamps. ¡ ¡ To ¡do ¡– ¡add ¡user-­‑defined ¡so_ware ¡trigger ¡hooks ¡ ¡ To ¡do ¡– ¡Penn ¡Board ¡data ¡spliZng ¡ ¡ To ¡do ¡– ¡handle ¡ZS ¡data ¡– ¡currently ¡assumes ¡each ¡artdaq ¡event ¡has ¡the ¡same ¡channels ¡ as ¡every ¡other ¡artdaq ¡event. ¡ ¡This ¡may ¡no ¡longer ¡be ¡true ¡even ¡of ¡simulaMon ¡if ¡ZS ¡ removes ¡all ¡data ¡for ¡a ¡channel ¡for ¡an ¡event. ¡ ¡No ¡need ¡to ¡store ¡the ¡correpsonding ¡ ¡ (empty) ¡raw::RawDigits ¡

7/29/15 ¡ DUNE ¡35t ¡Sim/Reco ¡News ¡Announcements ¡ 15 ¡

35t ¡CompuMng ¡Technical ¡Scope ¡of ¡Work ¡(TSW) ¡Document ¡

35-­‑Ton ¡CompuMng ¡TSW ¡SharePoint ¡Document ¡ Download ¡a ¡copy ¡for ¡review ¡at ¡this ¡link: ¡ Comments ¡due ¡Friday, ¡July ¡31, ¡at ¡Noon ¡ Many ¡thanks ¡to ¡Breh, ¡Stu, ¡Eileen, ¡Margaret, ¡Tom ¡for ¡updates ¡and ¡changes. ¡ This ¡is ¡our ¡agreement ¡of ¡what ¡services ¡the ¡Fermilab ¡compuMng ¡sector ¡will ¡ supply ¡at ¡what ¡service ¡levels ¡(8x5 ¡or ¡24x7 ¡for ¡example) ¡for ¡35t ¡operaMons ¡ and ¡analysis. ¡

7/30/15 ¡ TRJ ¡DUNE/35-­‑ton ¡Offline ¡News ¡ 16 ¡

And ¡a ¡QuesMon ¡from ¡Rob ¡Kutschke ¡ ¡for ¡an ¡SCD ¡ ScienMsts ¡meeMng ¡on ¡Tuesday ¡

Stu ¡tells ¡me ¡that ¡in ¡Nigel's ¡leher ¡to ¡DUNE ¡he ¡includes ¡the ¡text: ¡ ¡ ¡ ¡ ¡"In ¡their ¡report, ¡the ¡PAC ¡highlighted ¡several ¡criMcal ¡issues ¡including ¡ ¡ ¡ ¡ ¡the ¡need ¡for ¡an ¡end-­‑to-­‑end ¡simulaMon ¡and ¡reconstrucMon ¡of ¡events…" ¡ ¡ Do ¡we ¡understand ¡the ¡impact ¡that ¡this ¡will ¡have ¡on ¡GENIE, ¡LArSo_, ¡grid, ¡disk ¡ and ¡tape ¡resources? ¡ I ¡think ¡I ¡know ¡the ¡answer ¡to ¡this ¡– ¡nothing ¡beyond ¡what ¡we ¡asked ¡for ¡at ¡the ¡SPPM ¡ 4M ¡hours ¡and ¡400 ¡TBytes ¡of ¡storage ¡(mostly ¡tape) ¡in ¡each ¡of ¡2015 ¡and ¡2016 ¡(CPU ¡is ¡ per ¡year, ¡storage ¡is ¡constant). ¡ ¡We ¡haven’t ¡been ¡using ¡our ¡CPU ¡or ¡much ¡of ¡ any ¡storage ¡for ¡35t ¡this ¡year ¡– ¡run ¡was ¡delayed. ¡ ¡We ¡even ¡got ¡more ¡disk ¡than ¡we ¡asked ¡

• for. ¡

¡ GENIE ¡– ¡adequate ¡for ¡reco ¡development ¡work ¡(though ¡we ¡may ¡need ¡support ¡for ¡issues ¡ we ¡come ¡up ¡with ¡here ¡and ¡there) ¡ LArSo_ ¡– ¡ongoing ¡support/integraMon/advice ¡very ¡much ¡needed ¡here. ¡ ¡ A ¡comment ¡from ¡the ¡CD1-­‑R ¡closeout: ¡ CriMcal ¡areas ¡for ¡the ¡collaboraMon, ¡such ¡as ¡compuMng ¡infrastructure, ¡ ¡ are ¡not ¡part ¡of ¡the ¡project ¡and ¡need ¡a ¡home. ¡ ¡ ¡