End Site Control Plane System (ESCPS) Network service to - - PowerPoint PPT Presentation

End-­‑Site ¡Control ¡Plane ¡Service ¡ (ESCaPeS) ¡Monitoring ¡with ¡

Mar8n ¡Swany ¡

• U. ¡Delaware ¡ ¡

(Indiana ¡University ¡effec8ve ¡8.1.11) ¡ ¡

Perisc ¡ ¡ ¡pe ¡

End ¡Site ¡Control ¡Plane ¡System ¡(ESCPS) ¡

• Network ¡service ¡to ¡facilitate ¡site ¡use ¡of ¡circuit ¡services: ¡

– Accept ¡and ¡process ¡user/app ¡requests ¡for ¡circuit ¡services ¡ – Provide ¡local ¡interface ¡to ¡& ¡coordina8on ¡of ¡WAN ¡circuit ¡services ¡ – Configure ¡local ¡network ¡infrastructure ¡for ¡use ¡of ¡circuits ¡ – Monitor ¡local ¡network ¡segments ¡of ¡end-­‑to-­‑end ¡path ¡ – Long ¡term ¡vision: ¡ ¡End ¡site ¡component ¡of ¡federated ¡control ¡plane ¡for ¡circuit ¡ services ¡

F ¡ F ¡ F ¡ V,T ¡ A ¡ A ¡ T ¡ V ¡ T,V ¡ C ¡ C ¡ — ¡Link ¡ — ¡Uncontrolled ¡segment ¡ ¡ ¡ ¡ ¡ ¡ ¡(dedicated/over-­‑provisioned) ¡ — ¡ESCPS-­‑controlled ¡segment ¡ — ¡ESCPS ¡virtual ¡circuit ¡(OSCARS ¡in ¡LAN) ¡ — ¡3rd ¡party ¡segment ¡(sta8cally ¡configured) ¡ — ¡Virtual ¡circuit ¡(WAN) ¡ End-­‑site ¡ End-­‑site ¡ Regional ¡network ¡ WAN ¡

F: ¡Aggregate ¡flow ¡endpoint ¡ V: ¡Virtual ¡path ¡(service) ¡endpoint ¡ T: ¡Termina8on ¡point ¡(virtual ¡circuit) ¡ A: ¡Admission ¡point ¡(virtual ¡circuit) ¡ C: ¡Con8nua8on ¡point ¡(virtual ¡circuit) ¡

F ¡

XSP ¡– ¡eXtensible ¡Session ¡Protocol ¡

• ¡ ¡XSPd ¡implements ¡protocol ¡frontend ¡

— ¡ ¡Accepts ¡on-­‑demand ¡reserva8on ¡requests ¡from ¡clients ¡ — ¡ ¡Signals ¡ESCaPeS ¡to ¡allocate ¡a ¡circuit ¡and ¡monitors ¡circuit ¡status ¡

XSP_CIRCUIT=TERAPATHS ¡ ESCPS ¡Proper8es ¡ ¡ ¡à ¡BW ¡ ¡ ¡à ¡Dura8on ¡ ¡ ¡à ¡Traffic ¡Class ¡ ¡ ¡à ¡Ports ¡

GridFTP ¡ (client) ¡ X S P ¡ XSPd ¡

<SRC, ¡DST> ¡

LAN ¡

WAN ¡ Remote ¡ end-­‑site ¡ ESCPS ¡Status ¡ Monitoring ¡ Agent ¡ Data ¡channel ¡

ESCaPeS ¡/ ¡ OSCARS ¡

Periscope ¡

• A ¡Django-­‑based ¡applica8on ¡that ¡gathers, ¡

caches, ¡analyzes ¡and ¡displays ¡performance ¡ data ¡

– Also ¡presents ¡data ¡via ¡RESTful ¡and ¡WS ¡interfaces ¡

• A ¡user-­‑ ¡(or ¡session-­‑) ¡oriented ¡tool ¡that ¡

captures ¡context ¡

• Proac8ve ¡gathering ¡of ¡data ¡improves ¡response ¡

8me ¡ ¡

– Caching ¡the ¡user’s ¡world ¡

Monitoring ¡Overview ¡

XSP Daemon XSP Daemon BLiPP GridFTP XIO driver libxsp perfSONAR Network Monitoring

Periscope Periscope

Calipers BLiPP GridFTP XIO driver libxsp Host / Disk TCP stats Calipers XSP Daemon Host / Disk TCP stats

WAN

Host ¡ GridFTP ¡ ¡ ¡ XSP ¡ Router ¡ XSPd ¡ Router ¡ Agent ¡

Periscope ¡ Monitor ¡ Agent ¡

Monitoring ¡Architecture ¡

1. Host ¡sta8s8cs ¡collec8on ¡and ¡repor8ng ¡with ¡event ¡daemon. ¡ 2. XSP ¡client ¡requests ¡path ¡on ¡applica8on ¡request, ¡sends ¡path ¡and ¡ applica8on-­‑specific ¡parameters. ¡ 3. XSPd ¡signals ¡ESCPS ¡to ¡reserve ¡path ¡based ¡on ¡local ¡config. ¡ 4. XSPd ¡monitors ¡path ¡status ¡and ¡reports ¡state ¡to ¡monitoring ¡agent. ¡ 5. Agent ¡requests ¡Filter ¡based ¡forwarding ¡or ¡policy ¡based ¡rou8ng ¡ ¡ counters ¡from ¡router ¡monitor ¡when ¡path ¡is ¡ac8ve. ¡ 6. Monitoring ¡agent ¡caches ¡measurement ¡data ¡(SNMP). ¡ 7. The ¡agent ¡visualizes ¡the ¡network ¡topology ¡and ¡handles ¡client ¡ requests ¡for ¡dynamically ¡updated ¡charts ¡and ¡path ¡status. ¡

1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡ 6 ¡ 7 ¡

ESCaPeS ¡/ ¡ OSCARS ¡

Host ¡and ¡Applica8on ¡Metrics ¡

• Basic ¡Lightweight ¡perfSONAR ¡Probes ¡(BLiPPs) ¡

gather ¡host ¡performance ¡data ¡ ¡

– From ¡/proc, ¡etc ¡

• NetLogger ¡and ¡Calipers ¡instrument ¡read() ¡and ¡

write() ¡system ¡calls, ¡calculate ¡dura8on, ¡ summarize ¡over ¡8me ¡with ¡varying ¡granularity ¡

Applica8on ¡Metrics ¡

Time Average Rate (Gb/s)

10^−2 10^−1 10^0 10^1 100 200 300

10G−TCP−P1−DISK−100_LAT−36GB 10G−TCP−P1−DISK−NO_LAT−36GB 10G−TCP−P4−DISK−100_LAT−36GB

100 200 300 10^−2 10^−1 10^0 10^1

10G−TCP−P4−DISK−NO_LAT−36GB

ESCaPeS ¡Monitoring ¡

ESCaPeS ¡Monitoring ¡

ESCaPeS ¡Monitoring ¡

GridFTP ¡Monitoring ¡

Unified ¡Network ¡Informa8on ¡Service ¡ (UNIS) ¡

• Merges TS & LS
• Topology model

– Tree of nodes at different layers (Network/Node/Port) – Relations between arbitrary nodes – Node properties

• ‘GIS for networks’
• Relates MPs, MAs

to topology

Links ¡and ¡Paths ¡(and ¡Links) ¡

Links ¡and ¡Paths ¡(and ¡Links) ¡

Layer ¡2 ¡Device ¡ Layer ¡2 ¡Circuit ¡ Endpoint ¡ Layer ¡2 ¡Circuit ¡ Endpoint ¡ Layer ¡2 ¡Device ¡ Layer ¡2 ¡Device ¡ Layer ¡2 ¡Device ¡

Links ¡and ¡Paths ¡(and ¡Links) ¡

TCP ¡endpoint ¡ ¡ for ¡GridFTP ¡ TCP ¡endpoint ¡ ¡ for ¡GridFTP ¡ IP ¡Device ¡ IP ¡Device ¡ IP ¡Device ¡ IP ¡Device ¡

Circuit ¡Monitoring ¡

• Another ¡perfSONAR ¡circuit ¡monitoring ¡approach ¡

(for ¡DYNES ¡and ¡DYGER) ¡polls ¡OSCARS ¡for ¡ reserva8ons ¡and ¡relies ¡on ¡ESxSNMP’s ¡ability ¡to ¡ detect ¡new ¡interfaces ¡

• Periscope ¡relies ¡on ¡integra8on ¡with ¡the ¡control ¡

plane ¡

• This ¡allows ¡crea8on ¡of ¡the ¡router ¡monitoring ¡

agent ¡and ¡the ¡host ¡metrics ¡with ¡BLiPP ¡

• Also ¡facilitates ¡ac8ve ¡measurements ¡(coming ¡

soon) ¡

Thanks ¡

• DAMSL: ¡Ezra ¡Kissel, ¡Guilherme ¡Fernandes, ¡Ahmed ¡El-­‑Hassany, ¡Omer ¡

Arap, ¡Mao ¡Jaffee ¡

• ESCaPeS ¡gang: ¡Phil ¡Demar, ¡Andrey ¡Bobyshev, ¡Dantong ¡Yu, ¡Dimitri ¡

Katamatos ¡

• LBL: ¡Dan ¡Gunter, ¡Taghrid ¡Samak ¡
• Support: ¡

– DOE ¡DE-­‑SC0001421: ¡End ¡Site ¡Control ¡Plane ¡Services ¡(FNAL, ¡BNL, ¡UDel) ¡ – NSF ¡OCI-­‑0943705: ¡Middleware ¡for ¡Monitoring ¡and ¡Troubleshoo8ng ¡of ¡ Large-­‑Scale ¡Applica8ons ¡on ¡Na8onal ¡Cyberinfrastructure ¡(LBL ¡and ¡UDel) ¡ – GENI ¡1788 ¡– ¡Leveraging ¡and ¡abstrac8ng ¡measurements ¡with ¡perfSONAR ¡ (UDel) ¡ – NSF ¡OCI-­‑0721902 ¡– ¡SDCI ¡NMI: ¡Produc8on ¡Services ¡with ¡the ¡perfSONAR ¡ framework ¡(UDel) ¡ – DOE ¡ ¡DE-­‑AC02-­‑05CH11231: ¡Center ¡for ¡Enabling ¡Petascale ¡Distributed ¡ Science ¡(LBL) ¡