The Nevis TPC Readout Hardware for MicroBooNE and SBND - PowerPoint PPT Presentation

The Nevis TPC Readout Hardware for MicroBooNE and SBND ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Leslie ¡Camilleri ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡for ¡the ¡Nevis ¡electronics ¡Group: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Mike ¡Shaevitz, ¡Bill ¡Sippach, ¡Cheng-­‑Yi ¡Chi, ¡Kazu ¡Terao, ¡LC. ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Joint ¡DUNE-­‑SBN ¡DAQ ¡meeIng ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡20 th ¡ ¡November ¡2015 ¡ 11/20/15 ¡ Leslie. ¡ ¡DUNE-­‑SBN ¡DAQ ¡MeeIng ¡ 1 ¡

Our task  For ¡8256 ¡wires ¡in ¡MicroBooNE ¡and ¡11,264 ¡wires ¡in ¡SBND: ¡  Readout ¡ Neutrino ¡data ¡upon ¡appropriate ¡trigger, ¡compress ¡ it, ¡format ¡it ¡and ¡send ¡it ¡on ¡to ¡storage. ¡  Readout ¡ SuperNova ¡data ¡conInuously ¡and ¡store ¡it ¡ temporarily ¡awaiIng ¡for ¡external ¡SNEWS ¡network ¡alert. ¡ Plan of talk  The ¡MicroBooNE ¡warm ¡readout ¡system ¡and ¡data ¡flow. ¡  How ¡it ¡is ¡modified ¡for ¡SBND. ¡Clearly ¡advantages: ¡  Building ¡on ¡an ¡exisIng ¡system. ¡  PotenIally ¡idenIcal ¡DAQ ¡and ¡data ¡format ¡as ¡MicroBooNE. ¡  The ¡Trigger ¡module. ¡ 11/20/15 ¡ Leslie. ¡ ¡DUNE-­‑SBN ¡DAQ ¡MeeIng ¡ 2 ¡

The MicroBooNE Electronics Functionality TPC: ¡(2 ¡MHz) ¡  ¡Neutrino ¡events: ¡Read ¡them ¡ ¡and ¡compress ¡them ¡(factor ¡of ¡~5) ¡losslessly ¡ (Huffman ¡coding) ¡following ¡a ¡beam ¡trigger. ¡  ¡SuperNova: ¡ ¡ ¡ ¡Readout ¡Data ¡conInuously ¡compress ¡(~80, ¡some ¡loss) ¡and ¡store ¡ for ¡several ¡hours ¡awaiIng ¡a ¡SNEWS ¡alert ¡(< ¡1 ¡hour ¡delay) ¡ PMT’s: ¡(64MHz) ¡MicroBooNE ¡only ¡  Readout ¡for ¡both ¡beam ¡and ¡SuperNova ¡data ¡  Use ¡PMT ¡Informa9on ¡to ¡provide ¡a ¡trigger ¡for ¡beam ¡events ¡and ¡for ¡cosmic ¡rays, ¡ based ¡on ¡amplitude ¡and ¡mul9plicity ¡of ¡all, ¡or ¡groups ¡of, ¡PMT’s. ¡ Addi:onal ¡readouts/triggers: ¡  LED’s ¡for ¡PMT ¡calibraIon ¡  Cold ¡electronics ¡ASIC ¡calibraIons ¡  Cosmic ¡paddles ¡  Laser ¡TPC ¡field ¡calibraIon ¡  Randoms ¡ Master ¡Trigger ¡board ¡ ¡  ¡Allows/inhibits ¡various ¡triggers ¡ 11/20/15 ¡ Leslie. ¡ ¡DUNE-­‑SBN ¡DAQ ¡MeeIng ¡ 3 ¡

����������������������������������������������� The MicroBooNE Electronics Scheme COLD ¡ WARM ¡ DAQ in Detector Hall Single Vessel Cryostat with 8-10% Ullage ¡ ¡ ¡ ¡ ¡Basis ¡for ¡ ¡ TPC Readout Board Foam Insulation Digitizing Section Data Handling Section ¡ ¡ ¡ ¡ ¡SBND ¡ On Board Memory Warm ¡Electronics ¡ ADC ¡ Warm Flange "Warm"- Shielded CMOS Analog "Cold"-Twisted Pair 2x8 + 2x7 rows pin carriers Twisted Pair Cables Decoupling Front End ASIC Cables 32 readout channels/row CLK/ PLL [~10-20 m] ADC and Wire Bias in LAr @ ~90K [~2-5 m] Receiver CLK FPGA 1 PA+Sh+Drv 2 3 D-SER 4 5 6 7 Intermediate Amplifier 8 Warm Line Driver FEM (Front End Module) Feedthrough Backplane 8256 TPC channels Faraday Cage Extension MicroBooNE ¡Readout ¡Board: ¡ Optical Transmitter To DAQ PC ¡ ¡ ¡BNL ¡receiver+ADC ¡board ¡ Transmit Module Optical Link LAr GAr ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡+ ¡ Optical Transmitter To DAQ PC Transmit Module ¡ ¡ ¡ ¡ ¡ ¡Nevis ¡FEM ¡board ¡ Optical Link Backplane ¡ ¡ ¡ ¡ ¡Basis ¡for ¡ ¡ PMT Readout Board Trigger ¡ ¡ ¡ ¡ ¡SBND ¡ Digitizing Section Data Handling Section Board On Board Memory Warm ¡Electronics ¡ ADC ¡ CLK/ 30 PMT channels PLL Flange ADC Receiver CLK FPGA Beam Gate 1 2 PMT Shaper 3 D-SER 4 5 6 7 8 FEM (Front End Module) 11/20/15 ¡ Leslie. ¡ ¡DUNE-­‑SBN ¡DAQ ¡MeeIng ¡ 4 ¡ ����������������� ���������������������������������� ��

Generic FEM signal flow 64 wires per board STRATIX III FPGA Memory shaper ADC Processing Processed header is arranged for signal transport ( frame header, trigger type, event length etc) Channel ( read) Start Signal is recorded in Of read trigger write time order Readout in End of order of wire number read For compression (and decimation) Time ( write ) Organized as a circular ring buffer. On alternate memory Hold the data for the trigger decision. cycles Buffer the incoming data Address field (wire number + time sequence) for the deadtime less readout. 5 Leslie. DUNE-SBN DAQ Meeting 11/20/15

System ¡Diagram ¡for ¡Triggered ¡beam ¡events ¡ and ¡Continuous ¡supernova ¡data. ¡ Beam Neutrino trigger: Read out 3 frames Frame size: 1.6ms = drift time Lossless Huffman coding ~ factor 5 reduction SuperNova : Read out every frame: Huffman +lossy compression (Region of Interest) ~ factor 10 reduction 6 Leslie. DUNE-SBN DAQ Meeting 11/20/15

The MicroBooNE Front End Module To DATAWAY ARRIA SRAM FPGA STRATIX III NEVIS 2 x DRAM 8 x BNL ADC’s BNL TPC data IN TPC data IN 7 11/20/15 Leslie. DUNE-SBN DAQ Meeting

Crate dataway recording Scheme D Crate Cont 9 TPC Crates 9 TPC crates + 1 PMT crate 1 PMT Crate Up to 16 FEM’s per crate. to Data / Valid / Flags Token passing scheme from one FEM to other. Initiated by XMIT 512MB/sec dataway capability. Tokens 50MByte/sec rate expected Deadtime-less readout. /hold FEM One PC/crate. Per crate T Via 2 PCIe cards in each PC: 1 for ν data, 1 for SuperNova 1 Crate The 10 PC’s send ν data to an additional event builder PC. Contr. s FEM SuperNova data stored locally in each PC in a circular buffer 16 FEM, resident on disks for several hours. 2 optical 1 XMIT, PCIe express XMIT Transceivers 4 lanes x 2 Gbits/sec 6.4 Gbits/sec Download/ Readback 02/18/2012& 8 11/20/15 Leslie. DUNE-SBN DAQ Meeting

Crate ¡ 3,456/,*&" X M $+,-&" $.*-+.//&+" I 01%2" 16 FE Boards T !"#$%&'(")*"#$" Cables from Feedthroughs 9 ¡ Leslie. ¡ ¡DUNE-­‑SBN ¡DAQ ¡MeeIng ¡ 11/20/15

MicroBooNE data rates and Experience • Currently getting 5Hz neutrino batches from BNB. • Studying our on-line PMT trigger. • Reading out all 5Hz beam spill TPC data at 2 MHz. • Per crate:  Per beam spill we readout 4.8 ms of data  (4.8 x 10 -3 ) x (2 x 10 +6 ) x (16 boards x 64 ch/board) x 2B/word  = 20MB/event  =100MB/sec at 5Hz. • Huffman compression (factor of 5) = 20MB/sec on each crate dataway • (512 MB/sec capability) • 9 TPC + 1 PMT crates at event builder stage 10 11/20/15 Leslie. DUNE-SBN DAQ Meeting