客户或者合作伙伴的 标志放在右上角 White Paper 英文标题 颜色 内部使用字体 配色参考方案： 建议同一页面内不超过 外部使用字体 四种颜色，以下是 组 配色方案，同一页面内 中文标题 只选择一组使用。（仅 颜色 供参考） 字体 黑体 英文正文 子目录 级 颜色 黑色 内部使用字体 The Lossless Network 外部使用字体 in the Data Center 中文正文 子目录 级 颜色 黑色 IEEE 802 Industry Connections, November 2017 字体 细黑体 Paul Congdon
客户或者合作伙伴的 标志放在右上角 Our Digital Lives are driving Innovation in the DC 英文标题 颜色 内部使用字体 配色参考方案： 建议同一页面内不超过 Interactive 外部使用字体 Interactive 四种颜色，以下是 组 Speech 配色方案，同一页面内 Image 中文标题 Recognition 只选择一组使用。（仅 Recognition 颜色 供参考） 字体 黑体 英文正文 Human / Machine 子目录 级 Interaction 颜色 黑色 内部使用字体 外部使用字体 Autonomous 中文正文 Driving 子目录 级 颜色 黑色 字体 细黑体 Page 2
客户或者合作伙伴的 标志放在右上角 Three Critical Use Cases 英文标题 颜色 NVMe over Fabrics Deep Learning Online Data Intensive (OLDI) 内部使用字体 配色参考方案： Services 建议同一页面内不超过 外部使用字体 四种颜色，以下是 组 配色方案，同一页面内 中文标题 只选择一组使用。（仅 Request Aggregator 颜色 供参考） Deadline = 250 ms 字体 黑体 Deadline = 50 ms Rank 0 Partition … 0 Aggregator Aggregator … Aggregator Rank 1 Partition … 1 英文正文 Deadline = 10 ms Rank 2 子目录 级 Partition … 2 颜色 黑色 Worker Worker … Worker Worker … Worker Start Elapsed Time Dataset 内部使用字体 Feed Data Training MPI Allreduce Weights Send Weight 外部使用字体 Tail Latency is Critical Loss and Latency Sensitive Training Scale is Network Limited 中文正文 Massively parallel HPC applications, such AI training, OLDI applications have real-time deadlines and run in Disaggregated resource pooling, such as NVMe over 子目录 级 are dependent on low latency and high throughput parallel on 1000s of servers. Incast is a naturally Fabrics, use RDMA and run over converged network network. Billions of parameters. Scales out is limited by occurring phenomenon. Tail latency reduces the quality infrastructure. Low latency and loss are critical. 颜色 黑色 network performance. of results 字体 细黑体 Page 3
客户或者合作伙伴的 标志放在右上角 We are dealing with massive amounts of data and computing 英文标题 颜色 内部使用字体 Divide 配色参考方案： and 建议同一页面内不超过 外部使用字体 Conquer 四种颜色，以下是 组 配色方案，同一页面内 中文标题 只选择一组使用。（仅 颜色 供参考） 字体 黑体 Cloud Infrastructure 英文正文 Neural 子目录 级 Network 颜色 黑色 High Speed 内部使用字体 Requirements: Network Storage • Fast-scalable storage 外部使用字体 • Parallel applications and data Real-time Natural • Cloud-ified Infrastructure 中文正文 Human/Machine 子目录 级 Response 颜色 黑色 字体 细黑体 Page 4
客户或者合作伙伴的 标志放在右上角 Congestion Creates the Problems 英文标题 颜色 内部使用字体 配色参考方案： 建议同一页面内不超过 外部使用字体 四种颜色，以下是 组 配色方案，同一页面内 Packet 中文标题 只选择一组使用。（仅 Loss 颜色 供参考） 字体 黑体 Massive Data Network Latency Massive Compute 英文正文 Congestion Loss 子目录 级 Parallelism can create 颜色 黑色 congestion which leads to Massive Messaging 内部使用字体 loss making end-user Throughput unhappy 外部使用字体 Loss 中文正文 子目录 级 颜色 黑色 字体 细黑体 Page 5
客户或者合作伙伴的 标志放在右上角 The Impact of Congestion in Lossless Network 英文标题 颜色 The impact of congestion on network performance can be very serious. 内部使用字体 配色参考方案： As shown in paper (Pedro J. Garcia et al, IEEE Micro 2006) [1]: 建议同一页面内不超过 外部使用字体 四种颜色，以下是 组 配色方案，同一页面内 中文标题 只选择一组使用。（仅 颜色 供参考） 字体 黑体 Injecting hot-spot traffic Injecting hot-spot traffic Throughput diminishing by 70% Latency increasing of three orders of magnitude 英文正文 子目录 级 颜色 黑色 内部使用字体 外部使用字体 Network Throughput and Generated Traffic Average Packet Latency 中文正文 Network Performance Degrades Dramatically after Congestion Appears 子目录 级 颜色 黑色 [1] Garcia, Pedro Javier, et al. "Efficient, scalable congestion management for interconnection networks." IEEE Micro 26.5 (2006): 52-66. 字体 细黑体 Page 6
客户或者合作伙伴的 标志放在右上角 Dealing with Congestion today 英文标题 Explicit Congestion Notification (ECN) + 颜色 ECMP – Equal Cost MultiPath Routing Priority-based Flow Control (PFC) 内部使用字体 配色参考方案： 建议同一页面内不超过 ECN Congestion 外部使用字体 四种颜色，以下是 组 Feedback PFC 配色方案，同一页面内 Congestion 中文标题 只选择一组使用。（仅 颜色 供参考） … … … 字体 黑体 … … … ECN Mark ECMP 英文正文 子目录 级 … … … … … … 颜色 黑色 内部使用字体 外部使用字体 中文正文 子目录 级 … … … … … … 颜色 黑色 字体 细黑体 Page 7
客户或者合作伙伴的 标志放在右上角 Ongoing challenges with congestion 英文标题 ECN Control Loop Delay 颜色 内部使用字体 Head-of-line Blocking ECMP Collisions 配色参考方案： 建议同一页面内不超过 外部使用字体 ECN Congestion 四种颜色，以下是 组 Feedback 配色方案，同一页面内 PFC Congestion 中文标题 30G 30G 30G 只选择一组使用。（仅 颜色 供参考） 15G 字体 黑体 … … … … … HOLB … ECN Mark 30G 30G ECMP 英文正文 30G 子目录 级 15G … … … … … … 颜色 黑色 内部使用字体 外部使用字体 中文正文 … … … … … … 子目录 级 颜色 黑色 40G 40G 字体 细黑体 Links Links Page 8
客户或者合作伙伴的 标志放在右上角 Potential New Lossless Technologies for the Data Center 英文标题 颜色 内部使用字体 Goal = No Loss 配色参考方案： 建议同一页面内不超过 外部使用字体 No Packet Loss 四种颜色，以下是 组 配色方案，同一页面内 中文标题 No Latency Loss 只选择一组使用。（仅 颜色 供参考） 字体 黑体 No Throughput Loss Solutions 英文正文 子目录 级 Virtual Input Queuing - VIQ 颜色 黑色 内部使用字体 Dynamic Virtual Lanes - DVL Load-Aware Packet Spraying - LPS 外部使用字体 Push & Pull Hybrid Scheduling - PPH 中文正文 子目录 级 颜色 黑色 字体 细黑体 Page 9
客户或者合作伙伴的 标志放在右上角 VIQ (Virtual Input Queues) ： Resolve Internal Packet Loss 英文标题 颜色 Incast Congestion leading to 内部使用字体 Coordinated egress-ingress queuing 配色参考方案： internal packet loss 建议同一页面内不超过 外部使用字体 四种颜色，以下是 组 PFC threshold 配色方案，同一页面内 中文标题 1. During incast scenario, ingress 只选择一组使用。（仅 颜色 queue counter doesn’t exceed the PFC 供参考） threshold, so will not send PFC Pause 字体 黑体 Ingress queue counter frame to upstream. Packet will always come in from ingress port. 英文正文 子目录 级 颜色 黑色 Egress queue 内部使用字体 外部使用字体 Ingress queue counter 2. But the physical egress queue has backlog because of convergence effect. 中文正文 VIQ could be looked as: that on out port, assign a dedicated queue for Packet loss occurs without egress- every in port. Memory changes from sharing to virtually monopolized 子目录 级 ingress coordination. according to in ports. So that every in port could get fair scheduling. 颜色 黑色 The tail latency of business could be controlled effectively. PFC threshold 字体 细黑体 Page 10
客户或者合作伙伴的 标志放在右上角 DVL (Dynamic Virtual Lanes) 英文标题 颜色 2 2 内部使用字体 配色参考方案： 1 Upstream 3 1 Downstream 3 建议同一页面内不超过 外部使用字体 四种颜色，以下是 组 4 4 配色方案，同一页面内 中文标题 Ingress Port Egress Port Ingress Port Egress Port 只选择一组使用。（仅 (Virtual Queues) (Virtual Queues) 颜色 供参考） 字体 黑体 1. Identify the flow Congested Flows causing congestion Non-Congested Flows and isolate locally 2. Signal to neighbor 英文正文 CIP 子目录 级 when congested 颜色 黑色 queue fills 内部使用字体 3. Upstream isolates the 外部使用字体 flow too, eliminating Eliminate head-of-line blocking HoL Blocking 中文正文 PFC 4. If congested queue 子目录 级 颜色 黑色 continues to fill, invoke 字体 细黑体 PFC for lossless Page 11
Recommend
More recommend
