Flow Data at 10 GigE and Beyond What can (or should) we do ? Sco$ ¡Pinkerton ¡ pinkerton@anl.gov ¡ Argonne ¡Na6onal ¡Laboratory ¡ www.anl.gov ¡
About me …. Involved ¡in ¡network ¡design, ¡network ¡opera6on ¡& ¡network ¡security ¡ for ¡the ¡last ¡10 ¡years ¡ Flow ¡data ¡prac66oner ¡ Campus ¡perspec6ve ¡ Our ¡flow ¡data ¡uses ¡typically ¡include: ¡ – Real-‑6me ¡anomaly ¡detec6on ¡ – Forensic ¡analysis ¡ 2 ¡ January ¡12, ¡2010 ¡
Argonne ¡Tandem-‑ User facilities Linac ¡Accelerator ¡ System ¡ Advanced ¡Photon ¡ Source ¡ Center ¡for ¡Nanoscale ¡ Materials ¡ Electron ¡Microscopy ¡ Leadership ¡ Center ¡ Compu6ng ¡ Facility ¡ 3 ¡ January ¡12, ¡2010 ¡
Using Flow Data in a campus environment In ¡~2000 ¡started ¡collec6ng ¡NeUlow ¡data ¡from ¡all ¡of ¡the ¡core ¡ campus ¡network ¡devices ¡using ¡the ¡OSU ¡Flowtools ¡package ¡ By ¡2004, ¡we ¡were ¡collec6ng ¡NeUlow ¡data ¡down ¡in ¡the ¡distribu6on ¡ and ¡access ¡layers ¡of ¡the ¡campus ¡network ¡ Today, ¡s6ll ¡consider ¡flow ¡data ¡to ¡be ¡a ¡cri6cal ¡part ¡of ¡our ¡anomaly ¡ detec6on ¡systems. ¡Goals ¡are ¡to: ¡ – Protect ¡the ¡Laboratory ¡computers ¡from ¡the ¡Internet ¡ – Protect ¡the ¡Internet ¡from ¡the ¡Laboratory ¡computers ¡ – Have ¡visibility ¡into ¡“lateral ¡movement” ¡of ¡compromised ¡hosts ¡ Campus ¡environments ¡can ¡be ¡large ¡…. ¡ 4 ¡ January ¡12, ¡2010 ¡
Texas A&M Campus Network • Wired Network • Wireless Network – 10 Gbps backbone – 11 million square ft. of – 50,000 computers wireless access – 90,000 wired ports – 340+ buildings with wireless • Gateway to regional and access across 5200 acres national networks 5 ¡ January ¡12, ¡2010 ¡
U of M Twin Cities Campus Network • 23 Cisco 6509s • 4,323 Cisco 3750s • 1,133 Switch Stacks • 74,414 Switchports • Redundant 10-Gigabit Backbone • Topology: 18 layer-2 switched domains interconnected by a layer-3 MPLS-VPN backbone Implementing MST on a Large Campus 6 ¡ January ¡12, ¡2010 ¡
A “big science” Perspective – driving speeds & feeds Data ¡networks ¡con6nue ¡to ¡evolve ¡in ¡support ¡of ¡the ¡scien6fic ¡ mission ¡ Key ¡drivers ¡include: ¡ – Large ¡Hadron ¡Collider ¡(LHC), ¡CERN ¡ • CERN ¡to ¡US ¡Tier1 ¡data ¡rates: ¡10 ¡Gbps ¡by ¡2007, ¡30-‑40 ¡Gbps ¡by ¡2010/11 ¡ – Leadership ¡Compu6ng ¡Facili6es ¡(LCF), ¡ANL ¡and ¡ORNL ¡ – Rela6vis6c ¡Heavy ¡Ion ¡Collider ¡(RHIC), ¡BNL ¡ – Large-‑scale ¡Fusion ¡(ITER), ¡France ¡ – Climate ¡Science ¡ • Significant ¡data ¡set ¡growth ¡is ¡likely ¡in ¡the ¡next ¡5 ¡years, ¡with ¡corresponding ¡ increase ¡in ¡network ¡bandwidth ¡requirement ¡for ¡data ¡movement ¡(current ¡ data ¡volume ¡is ¡~200TB, ¡1.5PB/year ¡expected ¡rate ¡by ¡2010) ¡ 7 ¡ January ¡12, ¡2010 ¡
Science Network Requirements Aggregation Summary Science End2End Connectivity 2006 2010 Traffic Network Services Drivers Reliability End2End End2End Characteristics Band Band Science width width Areas / Facilities • • • Advanced - DOE sites 1 TB/day 5 TB/day Bulk data Guaranteed bandwidth Light Source • • • US Universities 300 Mbps 1.5 Gbps Remote control PKI / Grid • Industry • • • Bioinformatics - DOE sites 625 Mbps 250 Gbps Bulk data Guaranteed bandwidth • • • US Universities 12.5 Remote control High-speed multicast Gbps in • Point-to-multipoint two years • • • Chemistry / - DOE sites - 10s of Bulk data Guaranteed bandwidth Combustion Gigabits • • US Universities PKI / Grid per • Industry second • • • Climate - DOE sites - 5 PB per Bulk data Guaranteed bandwidth Science year • • • US Universities Remote control PKI / Grid 5 Gbps • International • • • High Energy 99.95+% US Tier1 (DOE) 10 Gbps 60 to 80 Bulk data Guaranteed bandwidth Physics (LHC) Gbps • • • (Less than US Tier2 (Universities) Remote control Traffic isolation 4 hrs/year) (30-40 • • International (Europe, PKI / Grid Gbps per Canada) US Tier1)
Science Network Requirements Aggregation Summary Science End2End Connectivity 2006 2010 Traffic Network Services Drivers Reliability End2End End2End Characteristics Band Band Science width width Areas / Facilities • • • Magnetic 99.999% DOE sites 200+ 1 Gbps Bulk data Guaranteed bandwidth Fusion Energy Mbps (Impossible • • • US Universities Remote control Guaranteed QoS without full • • redundancy) Industry Deadline scheduling • • • NERSC - DOE sites 10 Gbps 20 to 40 Bulk data Guaranteed bandwidth Gbps • • • US Universities Remote control Guaranteed QoS • • Industry Deadline Scheduling • • International PKI / Grid • • NLCF - DOE sites Backbone Backbone Bulk data Band band • US Universities width width • Industry parity parity • International • • • Nuclear - DOE sites 12 Gbps 70 Gbps Bulk data Guaranteed bandwidth Physics • • US Universities PKI / Grid (RHIC) • International • • Spallation High DOE sites 640 Mbps 2 Gbps Bulk data Neutron (24x7 Source operation)
10 ¡ January ¡12, ¡2010 ¡
ESnet Traffic has Increased by 10X Every 47 Months, on Average, Since 1990 Apr., ¡2006 ¡ 1 ¡PBy/mo. ¡ Nov., ¡2001 ¡ 100 ¡TBy/mo. ¡ 53 ¡months ¡ Jul., ¡1998 ¡ 10 ¡TBy/mo. ¡ 40 ¡months ¡ Oct., ¡1993 ¡ Terabytes ¡/ ¡month ¡ 1 ¡TBy/mo. ¡ 57 ¡months ¡ Aug., ¡1990 ¡ 100 ¡MBy/mo. ¡ 38 ¡months ¡ 11 ¡ Log ¡Plot ¡of ¡ESnet ¡Monthly ¡Accepted ¡Traffic, ¡January, ¡1990 ¡– ¡June, ¡2006 ¡ January ¡12, ¡2010 ¡
Key Take Aways Building ¡networks ¡for ¡the ¡future ¡– ¡takes ¡a ¡lot ¡of ¡planning ¡ Or, ¡maybe ¡more ¡importantly ¡it ¡takes ¡a ¡lot ¡of ¡predic6ng ¡(future ¡ requirements) ¡ Without ¡the ¡planning ¡(and ¡the ¡predic6ng) ¡how ¡can ¡the ¡vendors ¡ gear ¡up ¡to ¡provide ¡the ¡necessary ¡capabili6es ¡? ¡ Are ¡we ¡doing ¡a ¡good ¡job ¡communica6ng ¡future ¡requirements ¡for ¡ flow ¡data ¡? ¡ 12 ¡ January ¡12, ¡2010 ¡
Future of non-sampled Flow data seems bleak (IMHO) Speeds ¡and ¡feeds ¡increasing ¡to ¡keep ¡pace ¡with ¡scien6fic ¡demand ¡ Many/most ¡vendors ¡are ¡struggling ¡to ¡provide ¡non-‑sampled ¡flow ¡ data ¡directly ¡from ¡the ¡switches ¡or ¡routers ¡just ¡@ ¡10 ¡Gbps ¡(much ¡ less ¡at ¡40 ¡or ¡100 ¡Gbps) ¡ Can ¡op6cal ¡taps ¡really ¡scale ¡up ¡to ¡provide ¡the ¡needed ¡number ¡of ¡ monitor ¡points ¡? ¡ – For ¡me, ¡I ¡think ¡the ¡answer ¡is ¡no ¡ 13 ¡ January ¡12, ¡2010 ¡
Leveraging taps to create monitor points ANL Banana 1x2 Split Tributary to Ciena R Te 1/3 T MREN/ Border Router 1x2 Split DWDM T R STARLIGHT ANL Guava 1x2 Split Xe 2/2/0 Esnet R T ESNET IP Border Router Te 2/7 1x2 Split Juniper T R Service Xe 0/1/0 1x2 Split R Science Data T Te 1/6 Not to CPP Network 1x2 Split T R R T R T R T R T R T R T R T R T R T R T Myricom Dual Myricaom Dual 1.1 1.2 1.3 1.4 1.5 1.6 10GBASE-LR 10GBASE-SR CPP NIC NIC MRV CPP “ANL” 2.3 2.4 2.5 2.7 2.8 2.1 2.2 2.6 2.9 1.7 T R T R T R T R T R T R T R T R T R T R 1 2 3 4 5 6 R T R T R T R T R T R T R T R T R T R T Myricom Dual Myricom Dual MREN SDN ESNET 10GBASE-SR 10GBASE-SR Anue 5236 NIC NIC 6 x 10GBASE-SR Network (Input) Ports Network Tool Optimizer CPP 1000Base-TX Tool (Output) Ports Additional Tool (Output) Ports (Limited to E-Mail/FTP Traffic) 1000Base-SX Tool (Output) Port “ANLBETA” Licensed and Configured by (Limited to Web Traffic) (Separate ANL and DOE-CHI Feeds) ANL Network Security . . . T R T R T R T R T R 21 22 7 11 Legend R T R T R T Intel Intel Intel Bidirectional 10GBASE-LR R Copper Fiber Tap Housing Copper (SM Fiber) NIC NIC NIC Solera PCAP 10GBASE-SR 1000Base-SX (MM Fiber) (MM Fiber) ANL / Chicago ANL / Chicago 1000Base-TX 10GBASE-R Sensor System (Cat 5 Copper) (MRV Internal) ANL-CPP-MRV-20091210.vsd 14 ¡ January ¡12, ¡2010 ¡
What Can We Do – Process Perspective ? Iden6fy ¡our ¡needs/requirements ¡ Write ¡it ¡down ¡ Communicate ¡it ¡to ¡the ¡vendors ¡ 15 ¡ January ¡12, ¡2010 ¡
Recommend
More recommend
