GENIE: Valida,on and Tuning status report Julia Yarba, - PowerPoint PPT Presentation

GENIE: ¡Valida,on ¡and ¡Tuning ¡ ¡ ¡status ¡report ¡ Julia ¡Yarba, ¡FNAL ¡ ¡ Simula,on ¡for ¡Neutrinos ¡mee,ng ¡ ¡ Jan.30, ¡2016 ¡ ¡ ¡ ¡

GENE ¡Valida,on ¡and ¡Tuning ¡Overview ¡ • Goal: ¡ ¡ – Con,nuously ¡monitor ¡the ¡quality ¡of ¡GENIE ¡results ¡by ¡benchmarking ¡vs ¡ exp.data ¡ – Drive ¡further ¡development ¡of ¡GENIE ¡physics ¡models ¡ • Recent ¡ac,vity: ¡ – Revisit ¡pre-­‑exis,ng ¡valida,on ¡applica,ons ¡and ¡exp.data ¡ – Expand ¡GENIE ¡valida,on ¡suite ¡by ¡adding ¡most ¡recent ¡data ¡from ¡modern ¡ experiment ¡ – Add ¡sta,s,cal ¡analysis ¡(in ¡addi,on ¡to ¡“bare ¡eye ¡inspec,on”) ¡ – Full ¡automa,on ¡of ¡the ¡valida,on ¡procedure ¡ – Making ¡valida,on ¡results ¡available ¡to ¡users ¡ ¡ – GENIE ¡model ¡parameters ¡tuning ¡vs ¡mul,ple ¡exp.datasets ¡(will ¡not ¡be ¡ covered ¡in ¡details ¡in ¡this ¡report, ¡but ¡this ¡is ¡an ¡important ¡ac,vity) ¡ 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 2 ¡

Status ¡of ¡GENE ¡Valida,on ¡So\ware ¡ • Pre-­‑exis,ng ¡applica,ons ¡ ¡ – Comparisons ¡vs ¡bubble ¡chamber ¡data ¡from ¡earlier ¡days ¡ • Largely ¡re-­‑factored ¡so\ware ¡ – Core ¡infrastructure: ¡ • Easy ¡to ¡inherit ¡from ¡and ¡to ¡add ¡a ¡new ¡applica,on ¡ ¡ • Basis ¡for ¡“transparent” ¡processing ¡of ¡one ¡or ¡mul,ple ¡data-­‑MC ¡comparisons ¡ – Collec,on ¡of ¡common-­‑use ¡tools ¡ – Recently ¡added ¡ ¡modern ¡data ¡and ¡applica,on: ¡ • MINERvA ¡ ¡ – example ¡plots ¡in ¡the ¡following ¡slides ¡ – “book” ¡of ¡such ¡plots ¡can ¡be ¡produced ¡“in ¡one ¡go” ¡ – bear ¡in ¡mind ¡that ¡this ¡is ¡work ¡in ¡progress ¡!!! ¡ » we ¡recognize ¡their ¡may ¡be ¡an ¡issue ¡with ¡the ¡normaliza,on ¡ ¡ ¡ ¡ ¡ ¡ ¡in ¡some ¡of ¡the ¡comparisons ¡and ¡we ¡are ¡inves,ga,ng ¡that ¡ • MiniBooNE ¡ • T2K ¡ • … ¡ 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 3 ¡

2003-2017, GENIE - http://www.genie-mc.org  /neutron] nu_mu ¡on ¡ 1.5 Hydrocarbon ¡ ¡ Q 2 ¡is ¡reconstructed ¡ 2 /GeV under ¡the ¡hypothesis ¡ that ¡the ¡event ¡is ¡ 1 quasielas,c ¡ 2 [cm QE 2 0.5 /dQ σ d 0 0 0.5 1 1.5 2 2 2 Q [GeV ] MINERvAExDataCCQEQ2 QE 2 :: / dof --> COMING SOON χ 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 4 ¡ 2 :: / dof --> COMING SOON χ

2003-2017, GENIE - http://www.genie-mc.org  ] 12 /GeV/C nu_mu ¡on ¡ Hydrocarbon ¡ ¡ 4 Coherent ¡pion ¡ 2 [cm produc,on ¡ π /dE σ 2 d 0 0 1 2 3 4 E [GeV] π MINERvAExDataCoherentPionEnergy 2 :: χ / dof --> COMING SOON 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 5 ¡ 2 :: χ / dof --> COMING SOON

2003-2017, GENIE - http://www.genie-mc.org  ] 0.2 12 /degree/C nu_mu ¡on ¡ Hydrocarbon ¡ 0.15 ¡ Coherent ¡pion ¡ produc,on ¡ 2 [cm 0.1 π θ /d 0.05 σ d 0 0 20 40 60 [degree] θ π MINERvAExDataCoherentPionPolarAngle 2 :: χ / dof --> COMING SOON 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 6 ¡ 2 :: χ / dof --> COMING SOON

2003-2017, GENIE - http://www.genie-mc.org  /nucleon] 1.5 nu_mu ¡on ¡ Hydrocarbon ¡ ¡ mu-­‑proton ¡ ¡ 2 1 /GeV in ¡the ¡final ¡state ¡ 2 [cm QE,p 0.5 2 /dQ σ d 0 0.5 1 1.5 2 2 2 Q [GeV ] QE,p MINERvAExDataCCMuProtonFSQ2P 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 7 ¡ 2 :: / dof --> COMING SOON χ

2003-2017, GENIE - http://www.genie-mc.org  /MeV/nucleon] nu_mu ¡on ¡ 1.5 Hydrocarbon ¡ ¡ Charged ¡pion ¡ produc,on ¡ 1 2 cm -42 [10 0.5 π /dT σ d 0 100 200 300 EKin [MeV] π MINERvAExDataCC1pichgEnergy 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 8 ¡ 2 :: / dof --> COMING SOON χ

2003-2017, GENIE - http://www.genie-mc.org  /degree/nucleon] 6 nu_mu ¡on ¡ nu_mu ¡on ¡ Hydrocarbon ¡ Hydrocarbon ¡ ¡ Charged ¡pion ¡ 4 produc,on ¡ 2 cm 2 -42 [10 π θ /d σ 0 d 0 50 100 150 [degree] θ π MINERvAExDataCC1pichgPolarAngle 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 9 ¡ 2 :: / dof --> COMING SOON χ

2003-2017, GENIE - http://www.genie-mc.org  /proton] nu_mu_bar ¡on ¡ Hydrocarbon ¡ ¡ 2 /GeV Q 2 ¡is ¡reconstructed ¡ 1 under ¡the ¡hypothesis ¡ that ¡the ¡event ¡is ¡ 2 [cm quasielas,c ¡ QE 0.5 2 /dQ σ d 0 0 0.5 1 1.5 2 2 2 Q [GeV ] QE MINERvAExDataCCQEQ2 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 10 ¡ 2 :: / dof --> COMING SOON χ

2003-2017, GENIE - http://www.genie-mc.org  ] 12 /GeV/C nu_mu_bar ¡on ¡ Hydrocarbon ¡ ¡ 4 Coherent ¡pion ¡ 2 [cm produc,on ¡ π /dE σ 2 d 0 0 1 2 3 4 E [GeV] π MINERvAExDataCoherentPionEnergy 2 :: χ / dof --> COMING SOON 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 11 ¡ 2 :: χ / dof --> COMING SOON

2003-2017, GENIE - http://www.genie-mc.org  ] 12 /degree/C 0.15 nu_mu_bar ¡on ¡ Hydrocarbon ¡ ¡ Coherent ¡pion ¡ 0.1 produc,on ¡ 2 [cm π θ 0.05 /d σ d 0 0 20 40 60 [degree] θ π MINERvAExDataCoherentPionPolarAngle 2 :: χ / dof --> COMING SOON 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 12 ¡ 2 :: χ / dof --> COMING SOON

2003-2017, GENIE - http://www.genie-mc.org  /nucleon/(GeV/c)] 40 nu_mu_bar ¡on ¡ Hydrocarbon ¡ ¡ 30 Single ¡π 0 ¡ ¡ produc,on ¡ 20 2 cm -40 10 [10 0 π /dp 0 σ 0 0.5 1 1.5 d p [GeV/c] 0 π MINERvAExDataCC1pi0Momentum 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 13 ¡ 2 :: / dof --> COMING SOON χ

2003-2017, GENIE - http://www.genie-mc.org  /nucleon/degree] nu_mu_bar ¡on ¡ Hydrocarbon ¡ ¡ Single ¡π 0 ¡ ¡ 20 produc,on ¡ 2 cm 10 -42 [10 0 π θ /d 0 σ 0 50 100 150 d [degree] θ 0 π MINERvAExDataCC1pi0PolarAngle 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 14 ¡ 2 :: / dof --> COMING SOON χ

GENE ¡Valida,on ¡Procedure ¡ • Valida,on ¡chain: ¡ ¡ – GENIE ¡builds ¡periodically ¡triggered ¡(on ¡a ¡pre-­‑defined ¡schedule ¡and/or ¡by ¡ development ¡commits) ¡ – Unit ¡tests ¡(in ¡progress) ¡ – Physics ¡valida,on ¡(as ¡described ¡in ¡previous ¡slide) ¡ • Genera,on ¡of ¡splines ¡(if ¡needed) ¡ • Genera,on ¡of ¡MC ¡event ¡samples ¡ • MC ¡event ¡analysis ¡and ¡benchmarking ¡vs ¡exp.data ¡ – Repor,ng ¡of ¡Results ¡ • Proposed ¡collabora,on ¡with ¡the ¡Con,nuous ¡Integra,on ¡(CI) ¡ project ¡at ¡FNAL/SCD ¡ • Plans ¡to ¡make ¡valida,on ¡results ¡from ¡major ¡GENIE ¡releases ¡ available ¡in ¡DoSSiER ¡(see ¡talk ¡by ¡Hans ¡W.) ¡ ¡ ¡ ¡ 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 15 ¡

Summary ¡ • Valida,on ¡and ¡Tuning ¡is ¡an ¡important ¡effort ¡within ¡GENIE, ¡towards ¡ ¡ making ¡a ¡beper ¡generator ¡for ¡the ¡experiments ¡ • The ¡so\ware ¡has ¡been ¡largely ¡upgraded, ¡in ¡order ¡to ¡transi,on ¡ from ¡“bare ¡eye ¡inspec,on” ¡to ¡sta,s,cal ¡analysis, ¡and ¡as ¡a ¡step ¡ towards ¡tuning ¡GENIE ¡model ¡parameters ¡ • Collec,on ¡of ¡experimental ¡data ¡for ¡benchmarking ¡is ¡being ¡ expanded ¡to ¡include ¡recent ¡results ¡from ¡modern ¡experiments ¡ • We ¡work ¡on ¡fully ¡automa,ng ¡GENIE ¡valida,on ¡chain, ¡poten,ally ¡in ¡ collabora,on ¡with ¡the ¡CI ¡project ¡at ¡FNAL/SCD ¡ • We ¡plan ¡to ¡make ¡GENIE ¡valida,on ¡results ¡available ¡to ¡users ¡via ¡ DoSSiER ¡ ¡ 1/30/17 ¡ J.Yarba ¡-­‑ ¡GENIE: ¡Valida,on ¡& ¡Tuning ¡ 16 ¡