Flow Data at 10 GigE and Beyond What can (or should) we do ? Sco$ - - PowerPoint PPT Presentation

▶
flow data at 10 gige and beyond what can or should we do
SMART_READER_LITE
LIVE PREVIEW

Flow Data at 10 GigE and Beyond What can (or should) we do ? Sco$ - - PowerPoint PPT Presentation

Sep 13, 2023 325 likes •508 views

Flow Data at 10 GigE and Beyond What can (or should) we do ? Sco$ Pinkerton pinkerton@anl.gov Argonne Na6onal Laboratory www.anl.gov About me . Involved in network design, network

slide-1
SLIDE 1

Flow Data at 10 GigE and Beyond What can (or should) we do ?

Sco$ ¡Pinkerton ¡ pinkerton@anl.gov ¡ Argonne ¡Na6onal ¡Laboratory ¡ www.anl.gov ¡

slide-2
SLIDE 2

About me ….

  • Involved ¡in ¡network ¡design, ¡network ¡opera6on ¡& ¡network ¡security ¡

for ¡the ¡last ¡10 ¡years ¡

  • Flow ¡data ¡prac66oner ¡
  • Campus ¡perspec6ve ¡
  • Our ¡flow ¡data ¡uses ¡typically ¡include: ¡

– Real-­‑6me ¡anomaly ¡detec6on ¡ – Forensic ¡analysis ¡

January ¡12, ¡2010 ¡

2 ¡

slide-3
SLIDE 3

User facilities

Advanced ¡Photon ¡ Source ¡ Center ¡for ¡Nanoscale ¡ Materials ¡ Electron ¡Microscopy ¡ Center ¡ Leadership ¡ Compu6ng ¡ Facility ¡ Argonne ¡Tandem-­‑ Linac ¡Accelerator ¡ System ¡

January ¡12, ¡2010 ¡

3 ¡

slide-4
SLIDE 4

Using Flow Data in a campus environment

  • In ¡~2000 ¡started ¡collec6ng ¡NeUlow ¡data ¡from ¡all ¡of ¡the ¡core ¡

campus ¡network ¡devices ¡using ¡the ¡OSU ¡Flowtools ¡package ¡

  • By ¡2004, ¡we ¡were ¡collec6ng ¡NeUlow ¡data ¡down ¡in ¡the ¡distribu6on ¡

and ¡access ¡layers ¡of ¡the ¡campus ¡network ¡

  • Today, ¡s6ll ¡consider ¡flow ¡data ¡to ¡be ¡a ¡cri6cal ¡part ¡of ¡our ¡anomaly ¡

detec6on ¡systems. ¡Goals ¡are ¡to: ¡

– Protect ¡the ¡Laboratory ¡computers ¡from ¡the ¡Internet ¡ – Protect ¡the ¡Internet ¡from ¡the ¡Laboratory ¡computers ¡ – Have ¡visibility ¡into ¡“lateral ¡movement” ¡of ¡compromised ¡hosts ¡

  • Campus ¡environments ¡can ¡be ¡large ¡…. ¡

January ¡12, ¡2010 ¡

4 ¡

slide-5
SLIDE 5

January ¡12, ¡2010 ¡

5 ¡

Texas A&M Campus Network

  • Wired Network

– 10 Gbps backbone – 50,000 computers – 90,000 wired ports

  • Gateway to regional and

national networks

  • Wireless Network

– 11 million square ft. of wireless access – 340+ buildings with wireless access across 5200 acres

slide-6
SLIDE 6

January ¡12, ¡2010 ¡

6 ¡

U of M Twin Cities Campus Network

  • 23 Cisco 6509s
  • 4,323 Cisco 3750s
  • 1,133 Switch Stacks
  • 74,414 Switchports
  • Redundant 10-Gigabit Backbone
  • Topology: 18 layer-2 switched domains

interconnected by a layer-3 MPLS-VPN backbone

Implementing MST on a Large Campus

slide-7
SLIDE 7

A “big science” Perspective – driving speeds & feeds

  • Data ¡networks ¡con6nue ¡to ¡evolve ¡in ¡support ¡of ¡the ¡scien6fic ¡

mission ¡

  • Key ¡drivers ¡include: ¡

– Large ¡Hadron ¡Collider ¡(LHC), ¡CERN ¡

  • CERN ¡to ¡US ¡Tier1 ¡data ¡rates: ¡10 ¡Gbps ¡by ¡2007, ¡30-­‑40 ¡Gbps ¡by ¡2010/11 ¡

– Leadership ¡Compu6ng ¡Facili6es ¡(LCF), ¡ANL ¡and ¡ORNL ¡ – Rela6vis6c ¡Heavy ¡Ion ¡Collider ¡(RHIC), ¡BNL ¡ – Large-­‑scale ¡Fusion ¡(ITER), ¡France ¡ – Climate ¡Science ¡

  • Significant ¡data ¡set ¡growth ¡is ¡likely ¡in ¡the ¡next ¡5 ¡years, ¡with ¡corresponding ¡

increase ¡in ¡network ¡bandwidth ¡requirement ¡for ¡data ¡movement ¡(current ¡ data ¡volume ¡is ¡~200TB, ¡1.5PB/year ¡expected ¡rate ¡by ¡2010) ¡

7 ¡

January ¡12, ¡2010 ¡

slide-8
SLIDE 8

Science Network Requirements Aggregation Summary

Science Drivers Science Areas / Facilities End2End Reliability Connectivity 2006 End2End Band width 2010 End2End Band width Traffic Characteristics Network Services Advanced Light Source

  • DOE sites
  • US Universities
  • Industry

1 TB/day 300 Mbps 5 TB/day 1.5 Gbps

  • Bulk data
  • Remote control
  • Guaranteed bandwidth
  • PKI / Grid

Bioinformatics

  • DOE sites
  • US Universities

625 Mbps 12.5 Gbps in two years 250 Gbps

  • Bulk data
  • Remote control
  • Point-to-multipoint
  • Guaranteed bandwidth
  • High-speed multicast

Chemistry / Combustion

  • DOE sites
  • US Universities
  • Industry
  • 10s of

Gigabits per second

  • Bulk data
  • Guaranteed bandwidth
  • PKI / Grid

Climate Science

  • DOE sites
  • US Universities
  • International
  • 5 PB per

year 5 Gbps

  • Bulk data
  • Remote control
  • Guaranteed bandwidth
  • PKI / Grid

High Energy Physics (LHC) 99.95+% (Less than 4 hrs/year)

  • US Tier1 (DOE)
  • US Tier2 (Universities)
  • International (Europe,

Canada) 10 Gbps 60 to 80 Gbps (30-40 Gbps per US Tier1)

  • Bulk data
  • Remote control
  • Guaranteed bandwidth
  • Traffic isolation
  • PKI / Grid
slide-9
SLIDE 9

Science Network Requirements Aggregation Summary

Science Drivers Science Areas / Facilities End2End Reliability Connectivity 2006 End2End Band width 2010 End2End Band width Traffic Characteristics Network Services Magnetic Fusion Energy

99.999% (Impossible without full redundancy)

  • DOE sites
  • US Universities
  • Industry

200+ Mbps 1 Gbps

  • Bulk data
  • Remote control
  • Guaranteed bandwidth
  • Guaranteed QoS
  • Deadline scheduling

NERSC

  • DOE sites
  • US Universities
  • Industry
  • International

10 Gbps 20 to 40 Gbps

  • Bulk data
  • Remote control
  • Guaranteed bandwidth
  • Guaranteed QoS
  • Deadline Scheduling
  • PKI / Grid

NLCF

  • DOE sites
  • US Universities
  • Industry
  • International

Backbone Band width parity Backbone band width parity

  • Bulk data

Nuclear Physics (RHIC)

  • DOE sites
  • US Universities
  • International

12 Gbps 70 Gbps

  • Bulk data
  • Guaranteed bandwidth
  • PKI / Grid

Spallation Neutron Source High (24x7

  • peration)
  • DOE sites

640 Mbps 2 Gbps

  • Bulk data
slide-10
SLIDE 10

January ¡12, ¡2010 ¡

10 ¡

slide-11
SLIDE 11

ESnet Traffic has Increased by 10X Every 47 Months, on Average, Since 1990

Terabytes ¡/ ¡month ¡

Log ¡Plot ¡of ¡ESnet ¡Monthly ¡Accepted ¡Traffic, ¡January, ¡1990 ¡– ¡June, ¡2006 ¡

Oct., ¡1993 ¡ 1 ¡TBy/mo. ¡ Aug., ¡1990 ¡ 100 ¡MBy/mo. ¡ Jul., ¡1998 ¡ 10 ¡TBy/mo. ¡ 38 ¡months ¡ 57 ¡months ¡ 40 ¡months ¡ Nov., ¡2001 ¡ 100 ¡TBy/mo. ¡ Apr., ¡2006 ¡ 1 ¡PBy/mo. ¡ 53 ¡months ¡

January ¡12, ¡2010 ¡

11 ¡

slide-12
SLIDE 12

Key Take Aways

  • Building ¡networks ¡for ¡the ¡future ¡– ¡takes ¡a ¡lot ¡of ¡planning ¡
  • Or, ¡maybe ¡more ¡importantly ¡it ¡takes ¡a ¡lot ¡of ¡predic6ng ¡(future ¡

requirements) ¡

  • Without ¡the ¡planning ¡(and ¡the ¡predic6ng) ¡how ¡can ¡the ¡vendors ¡

gear ¡up ¡to ¡provide ¡the ¡necessary ¡capabili6es ¡? ¡

  • Are ¡we ¡doing ¡a ¡good ¡job ¡communica6ng ¡future ¡requirements ¡for ¡

flow ¡data ¡? ¡

January ¡12, ¡2010 ¡

12 ¡

slide-13
SLIDE 13

Future of non-sampled Flow data seems bleak (IMHO)

  • Speeds ¡and ¡feeds ¡increasing ¡to ¡keep ¡pace ¡with ¡scien6fic ¡demand ¡
  • Many/most ¡vendors ¡are ¡struggling ¡to ¡provide ¡non-­‑sampled ¡flow ¡

data ¡directly ¡from ¡the ¡switches ¡or ¡routers ¡just ¡@ ¡10 ¡Gbps ¡(much ¡ less ¡at ¡40 ¡or ¡100 ¡Gbps) ¡

  • Can ¡op6cal ¡taps ¡really ¡scale ¡up ¡to ¡provide ¡the ¡needed ¡number ¡of ¡

monitor ¡points ¡? ¡

– For ¡me, ¡I ¡think ¡the ¡answer ¡is ¡no ¡

January ¡12, ¡2010 ¡

13 ¡

slide-14
SLIDE 14

Leveraging taps to create monitor points

January ¡12, ¡2010 ¡

14 ¡

ANL-CPP-MRV-20091210.vsd 1x2 Split

Ciena DWDM

T R

ANL / Chicago Sensor

T R T R T R

Legend

10GBASE-LR (SM Fiber) 10GBASE-R (MRV Internal) T R Intel Copper NIC Intel Copper NIC Te 1/3

ANL Banana Border Router

T R T R

ANL / Chicago System

T R T R T R Intel Fiber NIC

CPP “ANL”

1x2 Split Bidirectional Tap Housing Tributary to MREN/ STARLIGHT

Esnet Juniper ANL Guava Border Router

T R T R 1x2 Split 1x2 Split T R T R T R Myricaom Dual 10GBASE-SR NIC T R T R Myricom Dual 10GBASE-LR NIC T R T R T R T R T R T R T R T R T R

CPP “ANLBETA”

T R Myricom Dual 10GBASE-SR NIC T R T R Myricom Dual 10GBASE-SR NIC T R 10GBASE-SR (MM Fiber)

CPP MRV

T R T R T R T R 1000Base-SX (MM Fiber) 1000Base-TX (Cat 5 Copper) 6 x 10GBASE-SR Network (Input) Ports 1000Base-SX Tool (Output) Port (Limited to Web Traffic) 1000Base-TX Tool (Output) Ports (Limited to E-Mail/FTP Traffic) (Separate ANL and DOE-CHI Feeds) T R T R

. . .

Additional Tool (Output) Ports Licensed and Configured by ANL Network Security

Anue 5236 Network Tool Optimizer

T R T R T R T R 1x2 Split 1x2 Split Te 2/7 Te 1/6 Xe 0/1/0 Science Data Network T R T R T R T R

1.1 1.2 1.3 1.4 1.5 1.6 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 1.7

Not to CPP Xe 2/2/0 ESNET IP Service

1 2 3 4 5 6 7 21 22

Solera PCAP R

11

SDN MREN ESNET

slide-15
SLIDE 15

What Can We Do – Process Perspective ?

  • Iden6fy ¡our ¡needs/requirements ¡
  • Write ¡it ¡down ¡
  • Communicate ¡it ¡to ¡the ¡vendors ¡

January ¡12, ¡2010 ¡

15 ¡

slide-16
SLIDE 16

What are our needs/requirements/drivers ?

  • Strong ¡support ¡for ¡“existence” ¡analysis ¡
  • Scalable ¡

– From ¡a ¡campus ¡perspec6ve ¡(monitoring ¡at ¡the ¡border ¡& ¡internally) ¡ – From ¡a ¡“big ¡science” ¡perspec6ve ¡(speeds/feeds ¡& ¡large ¡file ¡txfer) ¡ – Equals ¡– ¡built ¡in ¡to ¡the ¡switches ¡& ¡routers ¡(IMHO) ¡

  • Non-­‑sampled ¡data ¡ ¡

– Sampled ¡data ¡has ¡its ¡place ¡(traffic ¡engineering ¡& ¡other) ¡ – Painful ¡to ¡perform ¡forensic ¡analysis ¡with ¡sampled ¡data ¡

January ¡12, ¡2010 ¡

16 ¡

slide-17
SLIDE 17

What if ideas ?

  • Leveraging ¡“cores” ¡internal ¡to ¡the ¡switches ¡& ¡routers ¡for ¡custom ¡

applica6ons ¡

– Bloom ¡filter ¡? ¡ – What ¡info/data ¡types ¡would ¡we ¡want ¡available ¡to ¡an ¡internal ¡app ¡? ¡

  • Adap6ng ¡to ¡the ¡Very ¡Very ¡Large ¡data ¡txfers ¡

– Do ¡we ¡need ¡a ¡new ¡scale ¡for ¡ac6ve ¡6meout ¡? ¡Was ¡30 ¡seconds, ¡now ¡30 ¡ minutes ¡or ¡3 ¡hours ¡? ¡

  • No6fica6ons ¡at ¡start ¡of ¡a ¡new ¡flow ¡– ¡first ¡packet ¡? ¡

January ¡12, ¡2010 ¡

17 ¡

slide-18
SLIDE 18

As a community – what can we do ?

  • Should ¡we ¡try ¡and ¡develop ¡future ¡requirements ¡? ¡
  • Do ¡we ¡have ¡enough ¡energy/mo6va6on ¡to ¡do ¡it ¡? ¡
  • Can ¡we ¡agree ¡on ¡requirements ¡? ¡
  • Can ¡we ¡influence ¡the ¡networking ¡equipment ¡purchase ¡decisions ¡? ¡
  • Your ¡thoughts ¡?? ¡

January ¡12, ¡2010 ¡

18 ¡