Mo?va?on Current flow-based solu?ons to visualize network - - PowerPoint PPT Presentation

▶
mo va on
SMART_READER_LITE
LIVE PREVIEW

Mo?va?on Current flow-based solu?ons to visualize network - - PowerPoint PPT Presentation

Feb 29, 2024 133 likes •462 views

LISA10 Nov 7-12, 2010 San Jose, CA Nfsight Ne*low-based Network Awareness Tool Robin Berthier (University of Illinois at Urbana-Champaign) Michel Cukier

slide-1
SLIDE 1

Nfsight ¡ ¡

Ne*low-­‑based ¡Network ¡Awareness ¡Tool ¡

Robin ¡Berthier ¡ ¡(University ¡of ¡Illinois ¡at ¡Urbana-­‑Champaign) ¡ Michel ¡Cukier ¡ ¡(University ¡of ¡Maryland) ¡ Ma3 ¡Hiltunen ¡ ¡(AT&T ¡Research) ¡ Dave ¡Kormann ¡ ¡(AT&T ¡Research) ¡ Dan ¡Sheleheda ¡ ¡(AT&T ¡Security) ¡ Gregg ¡Vesonder ¡(AT&T ¡Research) ¡

LISA’10 – Nov 7-12, 2010 – San Jose, CA

slide-2
SLIDE 2

Mo?va?on ¡

  • Current ¡flow-­‑based ¡solu?ons ¡to ¡visualize ¡

network ¡traffic: ¡ ? ¡

10,000 miles view Runway

slide-3
SLIDE 3

Mo?va?on ¡(cont.) ¡

  • Alterna?ve ¡solu?ons: ¡

? ¡

10,000 miles view Runway

Packet-­‑based, ¡ Heavyweight ¡(Java), ¡ Offline, ¡… ¡

slide-4
SLIDE 4

Approach ¡

July 22, 2008

slide-5
SLIDE 5

Approach ¡(cont.) ¡

  • Flow-­‑based ¡(scalability, ¡privacy, ¡already ¡instrumented) ¡
  • Aggregate ¡network ¡ac?vity ¡per ¡host ¡and ¡port ¡
  • Iden?fy ¡client/server ¡behavior ¡
  • Visualize ¡at ¡large ¡scale, ¡drill-­‑down ¡on ¡demand ¡
  • Detect ¡rogue ¡services ¡and ¡intrusion ¡aVempts ¡
  • Lightweight ¡and ¡easy ¡to ¡deploy ¡and ¡to ¡use ¡

July 22, 2008

slide-6
SLIDE 6

Challenge ¡

  • NeYlow ¡is ¡unidirec?onal ¡

¡ ¡(wai?ng ¡for ¡IPFIX…) ¡

 ¡Requires ¡heuris;c ¡to ¡iden?fy ¡client/server ¡

July 22, 2008

10.0.2.3:45678 ¡ 192.168.0.1:80 ¡

Request flow(s) Reply flow(s)

slide-7
SLIDE 7

Architecture ¡

Nfsen/Nfdump ¡Framework ¡

Organiza?on ¡ Network ¡ NeYlow ¡ Collector ¡ Nfsight ¡ Back-­‑end ¡ Nfsight ¡ Front-­‑end ¡ Routers ¡ Service ¡and ¡ Intrusion ¡ Detec?on ¡

Unidirectional Flows Bidirectional Flows

Perl Scripts MySQL PHP/AJAX Automated Alerts, Collaboration Features Visualize, Filter, Drill-down Operator

slide-8
SLIDE 8

Back-­‑end ¡

July 22, 2008

slide-9
SLIDE 9

Back-­‑end ¡Scripts ¡

Service ¡ Detec?on ¡ (clients/servers) ¡

1 day 1 hour 5 min

Client/Server activity (round-robin database)

Script ¡1: ¡

  • ­‑ ¡Generates ¡bidirec?onal ¡

flows ¡ ¡

  • ­‑ ¡Iden?fy ¡end ¡points ¡using ¡

Bayesian ¡inference ¡

Bidirec?onal ¡ flows ¡ Intrusion ¡ Detec?on ¡Alerts ¡ Script ¡2: ¡

  • ­‑ ¡Generates ¡IDS ¡alerts ¡

using ¡graphlet-­‑based ¡ signatures ¡of ¡aVacks ¡

slide-10
SLIDE 10

Iden?fying ¡Client/Server ¡

Service ¡ Detec?on ¡ (clients/servers) ¡

1 day 1 hour 5 min

Script ¡1: ¡

  • ­‑ ¡Generates ¡bidirec?onal ¡

flows ¡ ¡

  • ­‑ ¡Iden?fy ¡end ¡points ¡using ¡

Bayesian ¡inference ¡

Bidirec?onal ¡ flows ¡ Unidirec?onal ¡ flows ¡

slide-11
SLIDE 11

Genera?ng ¡Bidirec?onal ¡Flows ¡

July 22, 2008

10.0.2.3:45678 ¡ 192.168.0.1:80 ¡

Request flow(s) Reply flow(s)

Heuris?cs ¡+ ¡ ¡ Bayesian ¡Inference ¡

Client: ¡10.0.2.3 ¡towards ¡port ¡80 ¡ Server: ¡192.168.0.1 ¡on ¡port ¡80 ¡

slide-12
SLIDE 12

Heuris?cs ¡

Heuristic 0 Timestamp of request < Timestamp of reply [0, …] Heuristic 1 Src port > Dst port {0, 0.5, 1} Heuristic 2 Src port > 1024 > Dst port {0, 0.5, 1} Heuristic 3 Port in /etc/services {0, 0.5, 1} Heuristic 4 # ports related [0, …] Heuristic 5 # IP related [0, …] Heuristic 6 # Tuples related [0, …] Heuristic ID Features and Formula Used Output Values

Timing: Port numbers: Fan in/out relationships:

slide-13
SLIDE 13

Bayesian ¡Inference ¡

slide-14
SLIDE 14

Heuris?c ¡Evalua?on ¡

July 22, 2008

Distribution accuracy of heuristic 0: (Timestamp of request < Timestamp of reply)

slide-15
SLIDE 15

Heuris?c ¡Evalua?on ¡(cont.) ¡

  • Comparison ¡against ¡Argus ¡(packet-­‑based ¡

bidirec?onal ¡flow ¡generator) ¡

  • 30min ¡dataset ¡collected ¡at ¡the ¡Univ. ¡of ¡Maryland ¡ ¡

(40,000+ ¡nodes, ¡3.6 ¡million ¡of ¡bidirec?onal ¡flows) ¡

  • Results: ¡

Heuristic Able to decide Accuracy H.0 11.49% 94.54% H.1 63,98% 85.54% H.2 48.14% 98.15% H.3 47.73% 98.17% H.4 63.28% 93.72% H.5 55.51% 88.76% H.6 63.38% 92.58%

slide-16
SLIDE 16

Security ¡Monitoring ¡

Intrusion ¡ Detec?on ¡Alerts ¡ Script ¡2: ¡

  • ­‑ ¡Generates ¡IDS ¡alerts ¡

using ¡graphlet-­‑based ¡ signatures ¡of ¡aVacks ¡

Bidirec?onal ¡ flows ¡

slide-17
SLIDE 17

Security ¡Monitoring ¡(cont.) ¡

¡Graphlet ¡structure ¡[1] ¡(for ¡both ¡source ¡and ¡des?na?on): ¡

– IP ¡address ¡

  • Protocol ¡

– Peer: ¡ ¡ ¡the ¡set ¡of ¡disHnct ¡related ¡IP ¡addresses ¡ – Port: ¡ ¡ ¡the ¡set ¡of ¡disHnct ¡related ¡desHnaHon ¡or ¡source ¡ports ¡ – TCP ¡flag: ¡ ¡the ¡set ¡of ¡disHnct ¡flag ¡combinaHons ¡used ¡ – Packet: ¡ ¡ ¡the ¡total ¡number ¡of ¡packets ¡sent ¡or ¡received ¡ – Byte: ¡ ¡ ¡the ¡total ¡number ¡of ¡bytes ¡sent ¡or ¡received ¡ – Flows: ¡ ¡the ¡total ¡number ¡of ¡bidirecHonal ¡flows ¡sent ¡or ¡received ¡ – Failed ¡connec?ons: ¡the ¡total ¡number ¡of ¡unidirecHonal ¡flows ¡sent ¡or ¡received ¡ – Last ¡source ¡end ¡point: ¡the ¡source ¡port, ¡IP ¡address ¡and ¡TCP ¡flag ¡of ¡the ¡last ¡flow ¡ ¡ ¡ ¡ ¡captured ¡ – Last ¡des?na?on ¡end ¡point: ¡the ¡desHnaHon ¡port, ¡IP ¡address ¡and ¡TCP ¡flag ¡of ¡the ¡last ¡ ¡ ¡ ¡flow ¡captured ¡

[1] KARAGIANNIS, T., PAPAGIANNAKI, K., AND FALOUTSOS, M. BLINC: multilevel traffic classification in the dark. In Proc. ACM SIGCOMM Conference (2005), pp. 229–240.

slide-18
SLIDE 18

Security ¡Monitoring ¡(cont.) ¡

Current set of signatures:

slide-19
SLIDE 19

Intrusion ¡Detec?on ¡Evalua?on ¡

  • Example ¡of ¡e-­‑mail ¡valida?on: ¡

192.168.1.2 [One-to-many IP] IP contacting more than 200 distinct targets in less than 5min * Heuristic: 201 * First detected on: 2010-08-10 14:05:00 * Last detected on: 2010-08-10 16:55:00 * Number of occurrences: 52,908 * Total flows: 52,908 * Unanswered flow requests: 52,908 (100\%) * Packets: 89,918 * Bytes: 4,316,160 * Average number of related host every 5min: 4,580 * Average number of related port every 5min: 2 * Last source port: 3317 (2,339 distinct port(s) used every 5min) * Last related tuple: 192.168.26.198 TCP/445 * Last flag value (if TCP): 2 To visualize related Nfsight data: https://nfsight/index.php?net=192.168.1.2&time=201008101655

  • --------------------------------

Please rate this alert by clicking on one of the following links: [+] True Positive: https://nfsight/email_validation.php?q=156505&r=1&auth=r25kfGVk [-] False Positive: https://nfsight/email_validation.php?q=156505&r=-1&auth=r25kfGVk [?] Inconclusive: https://nfsight/email_validation.php?q=156505&r=0&auth=r25kfGVk

slide-20
SLIDE 20

Intrusion ¡Detec?on ¡Evalua?on ¡(cont.) ¡

  • Results ¡aner ¡4 ¡months ¡of ¡deployment: ¡
slide-21
SLIDE 21

Front-­‑end ¡

July 22, 2008

slide-22
SLIDE 22

Front-­‑end ¡

slide-23
SLIDE 23

Front-­‑end ¡(cont.) ¡

Filter ¡and ¡Selec;on ¡Form ¡ IP, ¡Proto, ¡Port ¡ Metrics ¡ Network ¡Ac;vity ¡(Timeseries ¡+ ¡Heatmap) ¡

slide-24
SLIDE 24

Details ¡on ¡Demand ¡

slide-25
SLIDE 25

Demo ¡/ ¡Use ¡Cases ¡

July 22, 2008

slide-26
SLIDE 26

Use ¡Cases ¡Example: ¡Effect ¡of ¡Power ¡Outage ¡

slide-27
SLIDE 27

Use ¡Cases ¡Example: ¡Scanning ¡Ac?vity ¡

slide-28
SLIDE 28

Use ¡Cases ¡Example: ¡Top ¡20 ¡Scanned ¡Services ¡

slide-29
SLIDE 29

Use ¡Cases ¡Example: ¡Worm ¡Outbreak ¡

slide-30
SLIDE 30

Use ¡Cases ¡Example: ¡Distributed ¡AVacks ¡

slide-31
SLIDE 31

Future ¡Work ¡

  • Improve ¡aVack ¡signatures ¡
  • Strengthen ¡Bayesian ¡inference ¡to ¡work ¡in ¡

different ¡condi?ons: ¡

– Sampling ¡ – Asymmetric ¡rou?ng ¡

  • Create ¡heuris?cs ¡to ¡detect ¡type ¡of ¡service ¡
  • Output ¡bidirec?onal ¡flows ¡using ¡IPFIX ¡(RFC5103) ¡
slide-32
SLIDE 32

hVp://nfsight.research.aV.com ¡ Contact: ¡rgb@illinois.edu ¡