ProtoDUNE timing system proposal Draft 0.01. Oxford 16.3.2016 - - PDF document

ProtoDUNE ¡timing ¡system ¡proposal ¡

Draft ¡0.01. ¡Oxford ¡16.3.2016 ¡

• 1. ¡Introduction ¡

The ¡timing ¡system ¡for ¡ProtoDUNE ¡provides ¡various ¡clocks ¡and ¡synchronization ¡pulses ¡to ¡the ¡ readouts ¡of ¡the ¡six ¡APAs ¡(LArTPC ¡and ¡PD ¡data), ¡its ¡design ¡is ¡also ¡closely ¡connected ¡with ¡the ¡ way ¡we ¡trigger, ¡ensure ¡that ¡data ¡collection ¡starts ¡at ¡the ¡same ¡time ¡in ¡all ¡the ¡detectors, ¡ backpressure ¡methodologies, ¡incorporate ¡the ¡data ¡from ¡the ¡beam ¡instrumentation ¡counters ¡ and ¡distribute ¡calibration ¡signals. ¡ ¡ We ¡currently ¡have ¡the ¡opportunity ¡to ¡choose ¡between ¡updating ¡the ¡NOvA ¡clock ¡system ¡design, ¡ which ¡is ¡used ¡on ¡the ¡35t ¡prototype, ¡and ¡using ¡the ¡white ¡rabbit ¡system ¡or ¡some ¡other ¡system. ¡ ¡ The ¡white ¡rabbit ¡and ¡NOvA ¡systems ¡are ¡rather ¡different ¡are ¡not ¡drop-­‑in-­‑replacements ¡for ¡each ¡

• ther, ¡so ¡this ¡proposal ¡is ¡written ¡in ¡a ¡detailed ¡way ¡to ¡facilitate ¡careful ¡consideration ¡of ¡this ¡

choice, ¡and ¡on ¡how ¡the ¡choice ¡impacts ¡the ¡interfaces ¡with ¡other ¡subsystems. ¡ ¡Since ¡ProtoDUNE ¡ is ¡a ¡good ¡opportunity ¡to ¡orient ¡our ¡designs ¡towards ¡what ¡will ¡be ¡done ¡in ¡the ¡far ¡detector, ¡it ¡is ¡ important ¡this ¡choice ¡is ¡not ¡motivated ¡by ¡ProtoDUNE ¡requirements ¡alone. ¡ ¡It ¡is ¡also ¡an ¡

• pportunity ¡to ¡try ¡to ¡align ¡the ¡single-­‑ ¡and ¡dual-­‑phase ¡designs. ¡ ¡Since ¡ProtoDUNE ¡has ¡a ¡small ¡

number ¡of ¡channels, ¡it ¡is ¡permitted ¡to ¡overdesign ¡the ¡timing ¡for ¡ProtoDUNE ¡a ¡bit ¡to ¡allow ¡ additional ¡testing ¡compared ¡with ¡a ¡more ¡minimalistic ¡cost-­‑optimized ¡far ¡detector ¡design. ¡ ¡ We ¡start ¡this ¡proposal ¡in ¡section ¡2 ¡by ¡giving ¡the ¡requirements ¡for ¡one ¡10kt ¡module ¡of ¡the ¡far ¡ detector ¡in ¡a ¡way ¡that ¡is ¡as ¡independent ¡of ¡the ¡implementation ¡choice ¡as ¡possible. ¡ ¡These ¡ requirements ¡are ¡not ¡written ¡in ¡a ¡formalized ¡style, ¡the ¡text ¡tries ¡to ¡list ¡the ¡motivations ¡for ¡the ¡ requirement ¡choices ¡with ¡the ¡requirements ¡themselves. ¡ ¡They ¡also ¡give ¡an ¡overview ¡so ¡that ¡the ¡ approximate ¡size ¡of ¡the ¡system ¡is ¡apparent ¡while ¡reading ¡the ¡text. ¡ ¡Section ¡3 ¡gives ¡the ¡more ¡ specific ¡proposal ¡for ¡using ¡the ¡white ¡rabbit ¡system ¡for ¡DUNE ¡single-­‑phase ¡(to ¡evaluate ¡the ¡ choice ¡between ¡NOvA ¡and ¡White ¡Rabbit, ¡we ¡have ¡to ¡make ¡a ¡serious ¡attempt ¡to ¡design ¡around ¡ White ¡Rabbit, ¡in ¡order ¡to ¡compare ¡with ¡what ¡we ¡have ¡with ¡the ¡NOvA ¡system ¡on ¡the ¡35t ¡– ¡this ¡ section ¡is ¡that ¡attempt ¡-­‑ ¡well ¡for ¡the ¡time ¡being ¡it ¡is ¡a ¡first ¡working ¡draft ¡of ¡it), ¡including ¡a ¡sub-­‑ section ¡on ¡each ¡place ¡the ¡timing ¡interfaces ¡with ¡another ¡sub-­‑system. ¡ ¡Section ¡4 ¡is ¡a ¡summary ¡of ¡ how ¡the ¡White-­‑Rabbit ¡is ¡used ¡in ¡the ¡dual-­‑phase ¡design. ¡ ¡Section ¡5 ¡gives ¡the ¡detailed ¡ implementation ¡of ¡how ¡the ¡timing ¡system ¡is ¡implemented ¡for ¡ProtoDUNE, ¡including ¡a ¡ consideration ¡of ¡whether ¡it ¡is ¡a ¡good ¡idea ¡to ¡implement ¡the ¡ability ¡to ¡have ¡the ¡existing ¡NOvA ¡ system ¡implemented ¡in ¡parallel ¡for ¡cross-­‑check ¡purposes. ¡ ¡Section ¡6 ¡is ¡a ¡table ¡of ¡resources ¡ needed ¡for ¡ProtoDUNE, ¡and ¡section ¡7 ¡gives ¡a ¡list ¡of ¡team ¡members, ¡their ¡expertise ¡and ¡the ¡ amount ¡of ¡time ¡they ¡are ¡available ¡for ¡the ¡ProtoDUNE ¡work. ¡ ¡As ¡you ¡will ¡notice, ¡we ¡are ¡working ¡

• n ¡section ¡2 ¡at ¡the ¡moment, ¡sections ¡3 ¡and ¡4 ¡should ¡follow ¡soon! ¡ ¡

¡ ¡

• 2. ¡Far ¡detector ¡timing ¡system ¡requirements ¡

This ¡section ¡gives ¡the ¡requirements ¡for ¡one ¡10kt ¡module ¡of ¡the ¡far ¡detector ¡in ¡a ¡way ¡that ¡is ¡as ¡ independent ¡of ¡the ¡implementation ¡choice ¡as ¡possible. ¡ ¡These ¡requirements ¡are ¡not ¡written ¡in ¡ the ¡formalized ¡style ¡of ¡requirements ¡for ¡DOE, ¡the ¡text ¡tries ¡to ¡list ¡the ¡motivations ¡for ¡the ¡ requirement ¡choices ¡with ¡the ¡requirements ¡themselves. ¡ ¡They ¡also ¡give ¡an ¡overview ¡so ¡that ¡the ¡ approximate ¡size ¡of ¡the ¡system ¡is ¡apparent ¡while ¡reading ¡the ¡text. ¡ ¡ ¡ ¡ 2.1 ¡The ¡timing ¡systems ¡in ¡each ¡of ¡the ¡10kt ¡modules ¡must ¡be ¡completely ¡independent ¡from ¡each ¡

• ther, ¡so ¡that ¡the ¡modules ¡may ¡be ¡operated ¡as ¡separate ¡units ¡(essential ¡so ¡that ¡if ¡one ¡has ¡

unexpected ¡downtime ¡(a.k.a. ¡a ¡crash) ¡then ¡the ¡other ¡three ¡are ¡still ¡sensitive ¡to ¡supernova ¡ neutrino ¡events ¡immediately ¡afterwards). ¡ ¡This ¡also ¡allows ¡independent ¡cross-­‑checks ¡of ¡the ¡ synchronization ¡by ¡looking ¡at ¡correlations ¡of ¡muon-­‑bundle ¡events ¡across ¡multiple ¡modues. ¡ ¡ 2.2 ¡The ¡timing ¡system ¡must ¡provide ¡the ¡cold ¡ADC ¡ASICs ¡for ¡the ¡LArTPC ¡with ¡a ¡50MHz ¡and ¡a ¡ 2MHz ¡signal, ¡which ¡are ¡synchronous ¡across ¡an ¡entire ¡10kt ¡module. ¡ ¡There ¡are ¡75 ¡locations ¡ (corresponding ¡to ¡the ¡feedthroughs) ¡per ¡10kt ¡module, ¡each ¡about ¡2.5m ¡apart, ¡where ¡this ¡is ¡ needed, ¡and ¡is ¡locally ¡fanned ¡out ¡to ¡80 ¡cold ¡boards ¡(40 ¡on ¡each ¡of ¡2 ¡APAs), ¡via ¡warm ¡interface ¡ boards ¡(currently ¡being ¡defined). ¡ ¡It ¡is ¡important ¡for ¡the ¡physics ¡that ¡the ¡2MHz ¡occurs ¡at ¡the ¡ same ¡time ¡to ¡within ¡5% ¡of ¡a ¡2MHz ¡cycle ¡(i.e. ¡25ns) ¡in ¡all ¡the ¡ADC ¡ASICs ¡in ¡the ¡10kt ¡module ¡as ¡ this ¡determines ¡the ¡time ¡the ¡ADC ¡sampling ¡occurs. ¡The ¡50MHz ¡must ¡be ¡exactly ¡in ¡phase ¡with ¡ the ¡2MHz ¡for ¡the ¡cold ¡circuitry ¡to ¡function ¡correctly. ¡ ¡The ¡phase ¡of ¡the ¡50MHz ¡must ¡not ¡be ¡ adjusted ¡abruptly ¡(there ¡are ¡PLLs ¡in ¡the ¡cold), ¡if ¡the ¡phase ¡of ¡a ¡local ¡clock ¡needs ¡to ¡be ¡adjusted ¡ (‘disciplined’) ¡to ¡make ¡the ¡clocks ¡more ¡synchronous, ¡this ¡must ¡be ¡done ¡by ¡modifying ¡the ¡ 50MHz ¡clock ¡frequency ¡by ¡a ¡small ¡amount ¡(I ¡guess ¡0.1% ¡change ¡in ¡frequency ¡is ¡acceptable?) ¡ until ¡the ¡phase ¡of ¡the ¡local ¡clock ¡matches ¡the ¡desired ¡phase. ¡ ¡ ¡ 2.3 ¡The ¡timing ¡system ¡must ¡also ¡provide ¡a ¡means ¡of ¡labeling ¡the ¡blocks ¡of ¡data ¡that ¡are ¡emitted ¡ at ¡the ¡2MHz ¡rate ¡in ¡the ¡LArTPC ¡data ¡with ¡some ¡form ¡of ¡‘time ¡stamp’ ¡that ¡is ¡consistent ¡across ¡ the ¡whole ¡10kt ¡module. ¡ ¡Note: ¡This ¡doesn’t ¡need ¡to ¡be ¡‘GPS ¡time’, ¡but ¡can ¡be ¡a ¡count ¡of ¡the ¡ number ¡of ¡2MHz ¡clock ¡cycles ¡since ¡a ¡module ¡synchronization ¡pulse ¡(MSP), ¡at ¡some ¡convenient ¡ interval ¡(e.g. ¡the ¡RESET ¡signal ¡see ¡2.3.1 ¡just ¡below), ¡or ¡a ¡pulse-­‑per-­‑second ¡(or ¡some ¡other ¡ convenient ¡interval), ¡or ¡a ¡WE ¡warning ¡of ¡extraction ¡from ¡the ¡CERN ¡SPS ¡in ¡the ¡case ¡of ¡

• ProtoDUNE. ¡

¡ 2.3.1 ¡Some ¡form ¡of ¡requirement ¡is ¡required ¡to ¡describe ¡the ¡use ¡of ¡the ¡counter ¡reset ¡command ¡ in ¡the ¡COLDATA ¡chip ¡on ¡the ¡LArTPC ¡readout. ¡ ¡Here ¡is ¡a ¡copy-­‑paste ¡from ¡the ¡timing ¡document ¡ from ¡Rick ¡van ¡Berg, ¡Erik ¡Hazen ¡and ¡Marvin ¡Johnson, ¡which ¡I ¡am ¡reading ¡now. ¡ ¡“The ¡COLDATA ¡ chip ¡contains ¡a ¡16 ¡bit ¡time ¡stamp ¡counter ¡that ¡is ¡used ¡to ¡identify ¡the ¡data ¡packets ¡[issued ¡at ¡the ¡ 2MHz ¡rate] ¡and ¡so ¡this ¡counter ¡rolls ¡over ¡every ¡1.3ms. ¡The ¡RESET ¡command ¡forces ¡this ¡ counter ¡to ¡zero ¡– ¡if ¡the ¡counter ¡is ¡not ¡at ¡zero ¡when ¡RESET ¡occurs ¡then ¡an ¡error ¡flag ¡is ¡set ¡in ¡the ¡ COLDATA ¡status ¡register ¡and ¡an ¡error ¡bit ¡is ¡included ¡in ¡the ¡packet ¡header.” ¡ ¡ 2.4 ¡The ¡timing ¡system ¡must ¡provide ¡synchronization ¡for ¡the ¡SSPs, ¡which ¡are ¡the ¡modules ¡that ¡ read ¡out ¡the ¡photon ¡detectors. ¡ ¡There ¡are ¡about ¡20 ¡photon ¡detectors ¡per ¡APA ¡[checking ¡this ¡ number] ¡so ¡that ¡is ¡about ¡four ¡SSP ¡modules ¡at ¡each ¡of ¡the ¡75 ¡feedthrough ¡locations ¡in ¡the ¡10kt ¡ module, ¡each ¡SSP ¡reads ¡out ¡12 ¡photon ¡detectors. ¡The ¡operation ¡of ¡the ¡timing ¡circuits ¡in ¡the ¡ SSPs ¡are ¡described ¡on ¡pp24-­‑34 ¡of ¡the ¡SSP ¡manual ¡(DUNE-­‑docdb ¡869). ¡ ¡In ¡summary, ¡the ¡ADC ¡ clock ¡is ¡derived ¡from ¡a ¡source ¡in ¡the ¡range ¡20.0-­‑37.5MHz ¡(sec ¡4.1.1.1 ¡of ¡SSP ¡manual), ¡or ¡with ¡ firmware ¡modification, ¡Argonne ¡may ¡accommodate ¡other ¡frequencies. ¡ ¡A ¡64-­‑bit ¡timestamp ¡

register ¡that ¡clocks ¡at ¡64MHz ¡(sec ¡4.2.2.2 ¡of ¡SSP ¡manual), ¡half ¡the ¡AC ¡sampling ¡frequency ¡is ¡ used ¡to ¡label ¡the ¡hits ¡from ¡the ¡photon ¡detectors ¡(I ¡am ¡a ¡bit ¡confused ¡here, ¡the ¡document ¡says ¡ the ¡ADC ¡sampling ¡frequency ¡is ¡150MHz, ¡but ¡I ¡think ¡it ¡was ¡changed ¡for ¡DUNE ¡to ¡128MHz, ¡is ¡that ¡ right?). ¡ ¡ ¡[This ¡is ¡in ¡NOvA ¡time ¡stamping ¡mode, ¡there ¡is ¡also ¡a ¡local ¡mode ¡in ¡which ¡the ¡ADC ¡ samples ¡at ¡150MHz ¡and ¡the ¡counter ¡increments ¡at ¡150MHz]. ¡ ¡The ¡modules ¡always ¡zero ¡ suppress ¡the ¡data, ¡in ¡the ¡mode ¡that ¡doesn’t ¡require ¡an ¡external ¡trigger, ¡the ¡module ¡detects ¡a ¡ signal ¡above ¡a ¡threshold ¡and ¡passes ¡a ¡waveform ¡to ¡a ¡DSP ¡which ¡processes ¡the ¡pulse ¡and ¡emits ¡ the ¡pulse ¡parameters ¡(height, ¡width, ¡start ¡time ¡etc.) ¡and ¡optionally ¡the ¡complete ¡waveform ¡can ¡ be ¡appended ¡(this ¡waveform ¡is ¡what ¡is ¡mainly ¡used ¡for ¡analysis ¡in ¡the ¡35t ¡so ¡far). ¡There ¡is ¡a ¡ phase ¡adjuster ¡which ¡can ¡be ¡adjusted ¡to ¡allow ¡the ¡digitization ¡clock ¡to ¡be ¡aligned ¡with ¡the ¡ NOvA ¡external ¡clock ¡in ¡17ps ¡steps ¡(sec ¡4.1.1.4.4 ¡of ¡SSP ¡manual), ¡and ¡also ¡an ¡adjustment ¡as ¡part ¡

• f ¡the ¡jitter ¡attenuating ¡PLL ¡(sec ¡4.1.2.2) ¡that ¡can ¡adjust ¡the ¡sampling ¡clock ¡phase ¡in ¡steps ¡of ¡
• 180ps. ¡ ¡The ¡physics ¡requirement ¡is ¡that ¡when ¡a ¡collection ¡of ¡flashes ¡occur ¡in ¡the ¡detector, ¡

which ¡may ¡be ¡on ¡different ¡APAs, ¡it ¡is ¡possible ¡to ¡identify ¡which ¡flashes ¡are ¡associated ¡together ¡ in ¡one ¡event ¡and ¡which ¡are ¡from ¡different ¡events ¡(e.g. ¡within ¡a ¡supernova ¡burst). ¡ ¡What ¡is ¡the ¡ required ¡accuracy ¡on ¡the ¡clock ¡from ¡the ¡physics ¡perspective? ¡I ¡am ¡guessing ¡no ¡better ¡than ¡10% ¡

• f ¡one ¡digitization ¡clock ¡(i.e. ¡1.28ns)? ¡

¡ 2.5 ¡The ¡timing ¡system ¡must ¡provide ¡a ¡way ¡of ¡knowing ¡the ¡absolute ¡GPS ¡time ¡of ¡the ¡labeled ¡ blocks ¡referred ¡to ¡in ¡paragraph ¡2.3 ¡above, ¡either ¡locally ¡at ¡each ¡electronics ¡crate, ¡or ¡centrally ¡at ¡

• ne ¡place ¡in ¡the ¡10kt ¡module, ¡by ¡having ¡some ¡means ¡of ¡measuring ¡the ¡GPS ¡time ¡of ¡the ¡MSPs. ¡ ¡

This ¡knowledge ¡of ¡the ¡absolute ¡GPS ¡time ¡must ¡be ¡provided ¡in ¡real ¡time ¡so ¡that ¡the ¡block ¡labels ¡ corresponding ¡to ¡the ¡arrival ¡time ¡of ¡the ¡neutrino ¡beam ¡can ¡be ¡identified ¡to ¡within ¡10us ¡ accuracy ¡for ¡the ¡trigger. ¡ ¡This ¡10us ¡number ¡is ¡specified ¡so ¡that ¡the ¡photon ¡detection ¡system ¡ could ¡in ¡principle ¡modify ¡its ¡data-­‑compression ¡policy ¡in ¡a ¡time ¡window ¡around ¡the ¡beam ¡pulse. ¡ ¡ The ¡requirement ¡on ¡the ¡time ¡window ¡accuracy ¡of ¡the ¡TPC ¡data ¡is ¡likely ¡to ¡be ¡less ¡stringent. ¡ ¡In ¡ practice, ¡the ¡accuracy ¡of ¡most ¡easily-­‑available ¡systems ¡for ¡GPS ¡synchronization ¡are ¡likely ¡to ¡be ¡ much ¡better ¡than ¡this, ¡but ¡if ¡we ¡prefer, ¡we ¡can ¡avoid ¡labeling ¡all ¡the ¡data ¡blocks ¡with ¡a ¡time ¡ field ¡that ¡is ¡more ¡accurate ¡than ¡needed ¡to ¡optimize ¡data ¡size. ¡ ¡ 2.6 ¡Correlate ¡the ¡blocks ¡from ¡the ¡LArTPCs ¡with ¡those ¡from ¡the ¡SSPs ¡ ¡ 2.7 ¡Inject ¡‘events’ ¡such ¡as ¡calibration ¡triggers ¡ ¡ 2.8 ¡Backpressure ¡+ ¡run-­‑start ¡signaling ¡ ¡ 2.9 ¡Event ¡triggering ¡– ¡note, ¡this ¡may ¡not ¡place ¡any ¡requirement ¡on ¡the ¡timing ¡system ¡at ¡all, ¡if ¡ the ¡triggering ¡is ¡done ¡as ¡the ¡data ¡flows ¡through ¡the ¡system, ¡like ¡in ¡a ¡collider ¡experiment. ¡ ¡ 2.10 ¡Ability ¡to ¡monitor ¡the ¡timing ¡synchronization ¡for ¡shift-­‑monitoring ¡that ¡it ¡is ¡OK. ¡ ¡Also ¡

• ffline ¡monitoring, ¡so ¡that ¡if ¡a ¡supernova ¡happens, ¡it ¡is ¡possible ¡for ¡us ¡to ¡report ¡the ¡two ¡times ¡

(immediately ¡before ¡and ¡immediately ¡after ¡the ¡supernova) ¡when ¡we ¡have ¡data ¡showing ¡the ¡ timing ¡system ¡was ¡working ¡correctly. ¡ ¡Monitoring ¡and ¡data ¡collection ¡of ¡any ¡errors ¡(e.g. ¡final ¡ counter ¡values ¡when ¡a ¡new ¡MSP ¡(module ¡synchronization ¡pulse) ¡arrives, ¡summarizing ¡the ¡ integrity ¡of ¡the ¡previous ¡period. ¡ ¡ ¡ ¡ ¡

Items ¡that ¡are ¡NOT ¡requirements… ¡ ¡

…but ¡may ¡be ¡functions ¡that ¡are ¡available ¡in ¡some ¡of ¡the ¡solutions ¡(if ¡we ¡use ¡that ¡system, ¡we ¡ may ¡as ¡well ¡use ¡the ¡feature, ¡but ¡not ¡to ¡the ¡point ¡that ¡we ¡become ¡dependent ¡on ¡that ¡system ¡for ¡ the ¡function). ¡ ¡ 2.11 ¡Trigger ¡delivery. ¡ ¡In ¡DUNE, ¡there ¡is ¡enough ¡latency ¡to ¡deliver ¡triggers ¡over ¡standard ¡

• Ethernet. ¡ ¡In ¡ProtoDUNE, ¡beam ¡counter ¡triggers ¡can ¡be ¡delivered ¡with ¡NIM ¡signals, ¡because ¡

there ¡are ¡not ¡many ¡modules. ¡

• 3. ¡Working ¡draft ¡of ¡how ¡to ¡use ¡White ¡Rabbit ¡in ¡the ¡single ¡phase ¡

Section ¡3 ¡gives ¡the ¡more ¡specific ¡proposal ¡for ¡using ¡the ¡white ¡rabbit ¡system ¡for ¡DUNE ¡single-­‑

• phase. ¡ ¡ ¡Since ¡the ¡White ¡Rabbit ¡system ¡is ¡so ¡different ¡from ¡other ¡systems, ¡we ¡have ¡to ¡make ¡a ¡

serious ¡attempt ¡to ¡design ¡around ¡White ¡Rabbit, ¡in ¡order ¡to ¡compare ¡with ¡what ¡we ¡have ¡with ¡ the ¡NOvA ¡system ¡on ¡the ¡35t, ¡or ¡other ¡options ¡being ¡proposed. ¡ ¡ ¡This ¡section ¡is ¡that ¡attempt, ¡at ¡ least ¡it ¡is ¡a ¡working ¡draft ¡of ¡it), ¡including ¡a ¡sub-­‑section ¡on ¡each ¡place ¡the ¡timing ¡interfaces ¡with ¡ another ¡sub-­‑system. ¡ ¡ A ¡quick ¡look ¡at ¡the ¡White ¡Rabbit ¡documentation, ¡I ¡have ¡not ¡found ¡all ¡the ¡answers ¡yet ¡to ¡what ¡it ¡ provides ¡at ¡each ¡end ¡station. ¡ ¡Still ¡working ¡on ¡this. ¡ ¡It ¡does ¡provide ¡a ¡125MHz ¡clock, ¡derived ¡ from ¡the ¡Ethernet ¡regenerated ¡clock, ¡that ¡is ¡the ¡same ¡frequency ¡at ¡all ¡stations ¡to ¡a ¡very ¡high ¡ accuracy ¡and ¡the ¡same ¡phase ¡to ¡some ¡rather ¡good ¡accuracy ¡as ¡well, ¡corrected ¡for ¡the ¡ propagation ¡delay ¡of ¡the ¡cables. ¡ ¡It ¡also ¡provides ¡the ¡ability ¡to ¡initiate ¡events ¡at ¡either ¡all ¡end ¡ stations, ¡or ¡a ¡given ¡end ¡station ¡at ¡the ¡same ¡time. ¡ ¡It ¡is ¡not ¡clear ¡yet ¡to ¡me ¡how ¡often ¡these ¡ initiated ¡events ¡can ¡occur, ¡in ¡particular ¡whether ¡it ¡is ¡possible ¡to ¡send ¡them ¡at ¡2MHz, ¡or ¡ whether ¡to ¡send ¡them ¡at ¡a ¡lower ¡frequency ¡and ¡count ¡using ¡the ¡use ¡the ¡125MHz ¡clock ¡to ¡fill ¡in ¡ the ¡ones ¡in ¡between. ¡ ¡I ¡an ¡also ¡not ¡sure ¡of ¡the ¡granularity ¡of ¡these ¡initiated ¡events, ¡or ¡whether ¡ they ¡can ¡be ¡queued, ¡or ¡need ¡to ¡be ¡initiated ¡on ¡a ¡tight ¡schedule ¡from ¡the ¡originating ¡point. ¡ ¡It ¡ also ¡provides ¡a ¡guaranteed ¡max ¡latency ¡for ¡delivering ¡packets ¡that ¡could ¡be ¡used ¡for ¡delivering ¡

• triggers. ¡

¡ After ¡a ¡quick ¡look ¡through ¡the ¡requirements ¡above, ¡it ¡seems ¡a ¡possible ¡route ¡might ¡be: ¡

• Divide ¡the ¡125 ¡MHz ¡to ¡get ¡the ¡50MHz ¡by ¡multiplying ¡by ¡2 ¡and ¡dividing ¡by ¡5 ¡at ¡the ¡

RCDE/WIB ¡for ¡the ¡LArTPC ¡readout. ¡ ¡

• Do ¡not ¡try ¡to ¡select ¡which ¡of ¡the ¡five ¡possible ¡rising ¡edges ¡of ¡the ¡250MHz ¡clock ¡defines ¡

the ¡50MHz ¡at ¡each ¡location, ¡allow ¡them ¡to ¡be ¡randomly ¡different. ¡

• If ¡the ¡divide ¡by ¡five ¡counter ¡were ¡to ¡miss ¡a ¡count ¡or ¡glitch ¡to ¡the ¡wrong ¡count ¡value ¡on ¡a ¡

pulse, ¡this ¡would ¡be ¡a ¡severe ¡error ¡for ¡the ¡PLLs ¡in ¡the ¡COLDATA ¡ASICs. ¡ ¡If ¡there ¡is ¡a ¡ problem ¡with ¡the ¡White ¡Rabbit ¡choice, ¡this ¡could ¡well ¡be ¡it. ¡

• Send ¡the ¡2MHz ¡command ¡functions, ¡the ¡calibrate ¡execute ¡command ¡and ¡the ¡command ¡

to ¡do ¡the ¡COLDATA ¡16-­‑bit ¡counter ¡RESETs ¡(every ¡1.3ms, ¡see ¡sec ¡2.3.1 ¡above) ¡using ¡the ¡ initiated ¡events ¡feature ¡of ¡White ¡Rabbit ¡(I ¡want ¡to ¡know ¡more ¡about ¡how ¡this ¡is ¡done). ¡

• These ¡command ¡functions ¡that ¡are ¡sent ¡on ¡to ¡the ¡COLDATA ¡will ¡be ¡clocked ¡on ¡the ¡next ¡

50MHz ¡edge ¡locally, ¡and ¡so ¡can ¡occur ¡at ¡one ¡of ¡five ¡times ¡within ¡a ¡16ns ¡range ¡depending ¡

• n ¡the ¡phase ¡of ¡the ¡125MHz ¡clock ¡that ¡the ¡divider ¡started. ¡ ¡This ¡is ¡OK ¡for ¡most ¡LArTPC ¡

command ¡functions, ¡where ¡the ¡shaping ¡times ¡are ¡O(1us), ¡so ¡is ¡a ¡negligible ¡increase ¡in ¡ the ¡timing ¡resolution. ¡ ¡The ¡one ¡place ¡where ¡it ¡might ¡not ¡be ¡good ¡enough ¡is ¡if ¡the ¡cold ¡ electronics ¡were ¡to ¡be ¡used ¡to ¡inject ¡calibration ¡pulses ¡into ¡the ¡photon ¡detection ¡ system, ¡because ¡of ¡the ¡O(1ns) ¡timing ¡from ¡the ¡photon ¡detection ¡system. ¡

• Also ¡invent ¡a ¡few ¡commands ¡to ¡allow ¡backpressure ¡mitigation ¡(e.g. ¡a ¡data-­‑inhibit ¡

command ¡to ¡allow ¡all ¡the ¡data ¡to ¡be ¡dropped ¡but ¡not ¡the ¡headers ¡at ¡the ¡earliest ¡stage ¡of ¡ data ¡compression ¡for ¡a ¡fixed ¡length ¡of ¡time, ¡the ¡data-­‑inhibit ¡can ¡be ¡prolonged ¡by ¡ sending ¡multiple ¡commands, ¡but ¡we ¡don’t ¡latch ¡the ¡state ¡permanently ¡as ¡there ¡is ¡a ¡ danger ¡we ¡might ¡‘forget’ ¡to ¡turn ¡the ¡data ¡back ¡on!) ¡ ¡

• Discussions ¡are ¡needed ¡with ¡the ¡photon ¡detection ¡people ¡on ¡how ¡to ¡run ¡the ¡SSPs, ¡when ¡

all ¡the ¡info ¡in ¡this ¡document ¡is ¡checked ¡a ¡bit ¡more. ¡ ¡It ¡is ¡possible ¡that ¡the ¡SSPs ¡are ¡ capable ¡of ¡being ¡run ¡at ¡125MHz, ¡which ¡could ¡be ¡the ¡simplest. ¡ Summary: ¡Overall, ¡a ¡first ¡glance ¡seems ¡to ¡indicate ¡that ¡it ¡may ¡be ¡possible ¡to ¡do ¡all ¡the ¡timing ¡ with ¡White ¡Rabbit. ¡ ¡The ¡biggest ¡problem ¡may ¡be ¡the ¡divide-­‑by-­‑five ¡miscount ¡problem ¡noted ¡

• above. ¡ ¡Some ¡people ¡have ¡mentioned ¡the ¡idea ¡of ¡using ¡White ¡Rabbit ¡for ¡some ¡of ¡the ¡less ¡

frequent ¡timing ¡functions, ¡but ¡to ¡have ¡a ¡dedicated ¡50MHz ¡+ ¡2MHz ¡encoded ¡timing ¡network ¡ that ¡distributes ¡a ¡locally ¡generated ¡clock ¡for ¡these ¡two ¡most ¡critical ¡clock ¡functions. ¡ ¡The ¡most ¡ appealing ¡aspect ¡of ¡White ¡Rabbit ¡(and ¡it ¡is ¡very ¡appealing) ¡is ¡the ¡use ¡of ¡the ¡Ethernet ¡physical ¡ layer, ¡which ¡is ¡the ¡most ¡reliable ¡data ¡transfer ¡method ¡out ¡there, ¡with ¡widespread ¡availability ¡of ¡ different ¡ways ¡of ¡transmitting ¡it ¡around ¡(copper, ¡fiber, ¡etc). ¡

• 4. ¡White-­‑Rabbit ¡in ¡the ¡dual ¡phase ¡design ¡

Given ¡the ¡interesting ¡possibilities ¡of ¡using ¡White ¡Rabbit ¡indicated ¡above, ¡and ¡the ¡benefits ¡of ¡ doing ¡things ¡in ¡a ¡unified ¡way ¡on ¡single ¡and ¡dual-­‑phase ¡versions ¡of ¡protoDUNE, ¡it ¡would ¡be ¡very ¡ interesting ¡to ¡have ¡a ¡brief ¡description, ¡or ¡pointers ¡to ¡documentation ¡on ¡how ¡the ¡dual-­‑phase ¡ design ¡is ¡foreseen. ¡ ¡In ¡the ¡dual-­‑phase ¡electronics, ¡the ¡ADC ¡sampling ¡rate ¡is ¡2.5MHz ¡rather ¡than ¡ 2MHz, ¡and ¡the ¡dual-­‑phase ¡do ¡not ¡have ¡the ¡challenge ¡of ¡transmitting ¡the ¡clock ¡signals ¡into ¡the ¡

• cold. ¡ ¡Dario ¡& ¡Jacques, ¡can ¡you ¡help ¡point ¡us ¡at ¡the ¡right ¡information ¡here? ¡
• 5. ¡Single ¡phase ¡timing ¡system ¡for ¡protoDUNE ¡

Section ¡5 ¡gives ¡the ¡detailed ¡implementation ¡of ¡how ¡the ¡timing ¡system ¡is ¡implemented ¡for ¡

• ProtoDUNE. ¡ ¡ ¡

¡ Include ¡a ¡short ¡consideration ¡of ¡whether ¡it ¡is ¡a ¡good ¡idea ¡to ¡implement ¡the ¡ability ¡to ¡have ¡the ¡ existing ¡NOvA ¡system ¡implemented ¡in ¡parallel ¡for ¡cross-­‑check ¡purposes. ¡ ¡ ¡

• 6. ¡Table ¡of ¡resources ¡

Section ¡6 ¡is ¡a ¡table ¡of ¡resources ¡needed ¡for ¡ProtoDUNE, ¡ ¡

• 7. ¡Details ¡of ¡the ¡team ¡

Section ¡7 ¡gives ¡a ¡list ¡of ¡team ¡members, ¡their ¡expertise ¡and ¡the ¡amount ¡of ¡time ¡they ¡are ¡ available ¡for ¡the ¡ProtoDUNE ¡work. ¡Working ¡document, ¡will ¡evolve ¡as ¡possible ¡consortium ¡is ¡ forming ¡ ¡