High Availability In Disaggregated Networks Saurav Das - PowerPoint PPT Presentation

High ¡Availability ¡ ¡ In ¡Disaggregated ¡Networks ¡ Saurav Das Principal Architect, ONF ¡ With contributions from many others … ¡

Outline ¡ Example ¡Disaggregated ¡Network Open-­‑source, ¡SDN-­‑based ¡ ¡ Datacenter ¡Leaf-­‑Spine ¡Fabric ¡ ¡ High ¡Availability ¡in ¡Disaggregated ¡Networks ¡

DisaggregaGon ¡1/2 ¡– ¡Bare-­‑metal ¡+ ¡Open-­‑Source ¡ Spine ¡Switch ¡ Leaf/Spine ¡Switch ¡SoFware ¡Stack ¡ White ¡Box ¡Switch ¡ GE ¡mgmt. ¡ to ¡controller ¡ OpenFlow ¡1.3 ¡ Accton ¡6712 ¡ Indigo ¡OF ¡Agent ¡ 32 ¡x ¡40G ¡ports ¡downlink ¡to ¡leaf ¡switches ¡ OCP Software OF-­‑DPA ¡ Leaf ¡Switch ¡ (ONL,ONIE) 8 ¡x ¡40G ¡ports ¡uplink ¡to ¡different ¡spine ¡switches ¡ BRCM ¡ASIC ¡ ECMP ¡across ¡all ¡uplink ¡ports ¡ OCP Bare Metal Hardware White ¡Box ¡Switch ¡ OCP: ¡Open ¡Compute ¡Project ¡ GE ¡mgmt. ¡ Accton ¡6712 ¡ ONL: ¡Open ¡Network ¡Linux ¡ ONIE: ¡Open ¡Network ¡Install ¡Environment ¡ BRCM: ¡Broadcom ¡Merchant ¡Silicon ¡ASICs ¡ ¡ 24 ¡x ¡40G ¡ports ¡downlink ¡to ¡servers ¡ OF-­‑DPA: ¡OpenFlow ¡Datapath ¡AbstracUon ¡

DisaggregaGon ¡2/2– ¡Bare-­‑metal ¡+ ¡Open-­‑Source ¡+ ¡SDN ¡ Access & Trunk VLANs ONOS Cluster IPv4 & IPv6 & MPLS SR IPv4 Multicast (PIM) DHCP relay (IPv4) vRouter BGP/OSPF (ext.) L2 ¡bridged ¡ L3 ¡routed ¡ IPv4 ¡mulUcast ¡

Fabric ¡ASIC ¡Pipeline * ¡(BRCM’s ¡OF-­‑DPA) ¡ * Simplified view Why ¡OF-­‑DPA? ¡ Multi- cast Allows ¡programming ¡of ¡all ¡ Routing Table MPLS Phy OF 1.3 flow-­‑tables ¡& ¡port-­‑groups ¡ Label Port L3 Group via ¡OpenFlow ¡1.3 ¡ ECMP OF 1.0 MPLS Phy Group Label Port Unicast Group Routing Table Termin- L2 Ingress ACL Phy Interface Phy Vlan ation L3 Port Policy Group Port Port Table MAC Mcast Table Table Table Group L2 Phy Interface Group Port MPLS MPLS Table Vlan 1 L2 L2 Phy Interface Table Port L2 Port Group Table Flood Group L2 Phy Interface Achieves ¡Dataplane ¡Scale ¡ Port Group Bridging Table 5 ¡

Classic ¡SDN ¡Myths ¡ 1. ¡Dataplane ¡packets ¡need ¡to ¡go ¡to ¡controller ¡ ¡ ¡ ¡ ¡ ¡Reality: ¡ApplicaUon ¡designs ¡mode ¡of ¡operaUon! ¡ ¡ SDN Controller • Fabric ¡control ¡applicaUon ¡designed ¡such ¡that ¡dataplane ¡ packets ¡never ¡have ¡to ¡go ¡to ¡the ¡controller. ¡ 2. ¡Controllers ¡are ¡out-­‑of-­‑net ¡(management ¡staUons) ¡ ¡ Switch ¡ Switch ¡ Switch ¡ ¡ ¡ ¡ ¡ ¡Reality: ¡Controllers ¡are ¡Network ¡Elements ¡(NEs)! ¡ • Need ¡to ¡design ¡for ¡redundancy ¡and ¡scale ¡to ¡achieve ¡ producUon ¡readiness ¡

Outline ¡ Example ¡Disaggregated ¡Network ¡ Open-source, SDN-based ¡ Datacenter Leaf-Spine Fabric High ¡Availability ¡in ¡Disaggregated ¡Networks ¡ Control ¡plane ¡redundancy ¡ • Data ¡plane ¡redundancy ¡ • Combined ¡data-­‑plane ¡& ¡control-­‑plane ¡failure ¡recovery ¡ ¡ • Dual-­‑homing ¡servers ¡ • vRouter ¡HA ¡ • Headless ¡fabric ¡ •

Redundancy ¡in ¡Networking ¡ Doubled Core Switches; “Cisco Normal Form” PE Core Spanning tree used Standard Cisco Design. 1 + 1 redundancy Aggregation CE ToR switches PE In most of networking • 2 is a golden number ( 1+1, 1:1, N:1 ) • Acceptible risk/reward – what happens when both routers/switches die – customer network down – low probability, unlikely event 8 ¡

SDN ¡Controller ¡ Multicast Overlay vRouter vOLT Underlay Control Control Control Control Control ONOS ¡Controller ¡Cluster ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ Open ¡Source ¡ SDN-­‑based ¡ Bare-­‑metal ¡ • Tend to show SDN controller as out-of-the-box White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ Router ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ Metro ¡ White ¡Box ¡ White ¡Box ¡ • But then it’s treated like a management system • As a workstation outside of the network. OVS OVS OVS OVS OVS R,E,M-­‑ VNF vSG VNF VNF Access ¡ VNF • No management system is HA – if it dies, reboot it VNF vSG VNF VNF VNF VNF VNF VNF VNF vSG • In the meantime network should still work! 3

Reality: ¡Controllers ¡are ¡NEs ¡ Need to think of SDN Controller as Network Element (NE) • And like most networking solutions to redundancy, some SDN solutions do 1:1 • ONOS does much much more • 3-way, 5-way, 7-way redundancy • Bonus: scales the same way • Spread instances around in DC racks – N-Way redundancy ONOS ¡Controller ¡Cluster ¡ • Unlikely event that they all die simultaneously - there are bigger issues if that happens • Can design for headless mode White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ Open ¡Source ¡ SDN-­‑based ¡ Bare-­‑metal ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ Router ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ White ¡Box ¡ Metro ¡ White ¡Box ¡ White ¡Box ¡ OVS OVS OVS OVS OVS R,E,M-­‑ VNF vSG VNF VNF Access ¡ VNF VNF vSG VNF VNF VNF VNF VNF VNF VNF vSG 3

ONOS ¡N-­‑Way ¡Redundancy ¡ M = Master B = Backup Switches simultaneously connect to several controller instances. B B M only 1 controller instance is master, B M B several other instances are backups Mastership is decided by controllers M B B M B B Switches have no say Controller instances M M B B B B B M M B B B simultaneously connect to several ONOS ONOS ONOS ONOS ONOS switches. Instance 1 Instance 2 Instance 3 Instance 5 Instance 4 Any controller instance can be master or backup for any switch Spreading mastership over controller instances contributes to scale

ONOS ¡N-­‑Way ¡Redundancy ¡ M = Master B = Backup R = Retry Switches simultaneously connect to Losing controller instances several controller instances. M B R redistributes switch mastership only 1 controller instance is master, M R B several other instances are backups Switches continue to Mastership is decided by controllers M B R R M R retry lost connections Switches have no say Controller instances Management M M B M B B M simultaneously watchdog can connect to several reboot lost ONOS ONOS ONOS ONOS ONOS switches. controller Instance 1 Instance 2 Instance 3 Instance 5 Instance 4 Any controller instances instance can be master or backup for any switch Spreading mastership over controller instances contributes to scale

State ¡Synch: ¡AuthoritaGve ¡State ¡ State: ONOS instances & apps ONOS actively synchronize with • Network Topology Instance 2 each other using state-of- • Network Configuration the-art, fault-tolerant • Mastership Assignment ONOS ONOS distributed systems • FlowRules / Groups Instance 1 Instance 4 algorithms • Resource Allocations ONOS ONOS • Intents To the external world the Instance 3 Instance 5 • And many more cluster behaves like a single logical entity Observe Program/Enforce • FlowRules • Groups • Liveness information (up/down) • Statistics • Virtual Ports • Mastership

ONOS ¡Cluster ¡Features ¡ • Failures are the rule not exception . • All critical information is 3-way replicated and persisted . Simple configuration change to enable even higher degrees of replication (if needed). • Logically consistent view of replicated state via state of the art distributed consensus and synchronization protocols. • Raft Consensus for Resources, Mastership, Network Config, … • Primary/Backup for Flow Rules • Optimistic Replication for Topology, Data plane stats, … • Failure handling is fully automated . • Workload is evenly distributed . When one node fails, others take over its responsibilities

Outline ¡ Example ¡Disaggregated ¡Network ¡ Open-source, SDN-based ¡ Datacenter Leaf-Spine Fabric High ¡Availability ¡in ¡Disaggregated ¡Networks ¡ Control ¡plane ¡redundancy ¡ • Data ¡plane ¡redundancy ¡ • Combined ¡data-­‑plane ¡& ¡control-­‑plane ¡failure ¡recovery ¡ ¡ • Dual-­‑homing ¡servers ¡ • vRouter ¡HA ¡ • Headless ¡fabric ¡ •

Data ¡Plane ¡Failures ¡– ¡Losing ¡a ¡Link ¡ Spine Switch Spine Switch Port removed by fabric- control app on ONOS ECMP group ECMP group Leaf Switch Leaf Switch Port removed by hardware due to loss of signal

Data ¡Plane ¡Failures ¡– ¡Losing ¡a ¡Link ¡ Spine Switch Spine Switch ECMP groups ECMP groups ECMP group ECMP group Leaf Switch Leaf Switch Port removed by hardware due to loss of signal