60 GHz Flyways: Adding mul5-Gbps wireless links to data - PowerPoint PPT Presentation

60 ¡GHz ¡Flyways: ¡ Adding ¡mul5-­‑Gbps ¡wireless ¡ links ¡to ¡data ¡centers ¡ Daniel ¡Halperin ¡ Srikanth ¡Kandula, ¡Jitu ¡Padhye ¡ Victor ¡Bahl, ¡David ¡Wetherall ¡

Today’s ¡data ¡center ¡networks ¡ are ¡oversubscribed ¡in ¡the ¡core ¡ Perform ¡well ¡in ¡ … ¡ average ¡case ¡with ¡ job ¡placement ¡ ¡ BoFlenecks ¡in ¡core ¡ … ¡ can ¡be ¡workload ¡ “hotspots” ¡ 2 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Elimina5ng ¡oversubscrip5on ¡ is ¡expensive ¡ … ¡ No ¡core ¡hotspots ¡ No ¡job ¡placement ¡ ¡ Costly ¡switches ¡ … ¡ Complex ¡wiring ¡ 3 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Our ¡goal: ¡Flyways ¡ To ¡enable ¡a ¡network ¡with ¡ an ¡ oversubscribed ¡core ¡ to ¡act ¡like ¡ a ¡ non-­‑oversubscribed ¡network ¡ by ¡ dynamically ¡injec5ng ¡ high-­‑bandwidth ¡links. ¡ 4 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Our ¡approach: ¡Wireless ¡Flyways ¡ Low ¡cost ¡ Oversubscribed ¡ Core ¡ ¡ Perform ¡well ¡in ¡ most ¡cases ¡with ¡ job ¡placement ¡ ¡ … ¡ Dynamically ¡inject ¡ links ¡where ¡needed ¡ ¡ 5 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

System ¡overview ¡ Data ¡ Jobs ¡ placement ¡ DC ¡ Scheduler ¡ Demands ¡ Flyway ¡ Controller ¡ 6 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Outline ¡of ¡the ¡rest ¡of ¡this ¡talk ¡ • 60 ¡GHz ¡ wireless ¡technology ¡ • Wireless ¡ flyways ¡system ¡design ¡ • Evalua6on ¡ on ¡ real ¡data ¡center ¡ workloads ¡ 7 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

60 ¡GHz ¡WIRELESS ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

60 ¡GHz ¡primer ¡ • 7 ¡GHz ¡ of ¡unlicensed ¡spectrum ¡@60 ¡GHz ¡ • Forthcoming ¡ IEEE ¡802.11ad : ¡ 3 ¡channels , ¡ bitrates ¡to ¡ 6.76 ¡Gbps ¡ 2.4 ¡GHz ¡ • Challenge: ¡ – 60 ¡GHz ¡link ¡has ¡ 55 ¡dB ¡(312,000x) ¡worse ¡SNR ¡ 5 ¡GHz ¡ than ¡2.4 ¡GHz ¡link ¡ – Direc5onality ¡is ¡a ¡fundamental ¡mechanism ¡ 60 ¡GHz ¡ to ¡enable ¡60 ¡GHz ¡communicaWon ¡ 9 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Direc5onality ¡is ¡crucial ¡ 4 ¡ 4 Goodput ¡(Gbps) ¡ Goodput (Gbps) Narrow 3 ¡ 3 Wide Omni 2 ¡ 2 1 ¡ 1 0 ¡ 0 ¡ 0 ¡ ¡ ¡ ¡ ¡5 ¡ ¡ ¡ ¡10 ¡ ¡ ¡15 ¡ ¡20 ¡ 0 4 8 12 16 20 Distance (m) Distance ¡(m) ¡ 10 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

60 ¡GHz ¡direc5onal ¡technology ¡ Phased ¡Array ¡ Physical ¡Antenna ¡ Compact ¡(1 ¡in 2 ) ¡ Fixed ¡posi5on ¡ Electronic ¡steering ¡(µs) ¡ 11 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

60 ¡GHz ¡for ¡Flyways ¡ 60 ¡GHz ¡links ¡ Flyways ¡must ¡be ¡ • Mul6-­‑Gbps ¡ • Reliable ¡ • Direc6onal ¡ • Densely ¡ deployed ¡ • Steerable ¡ 12 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Direc5onal ¡60 ¡GHz ¡links ¡ are ¡not ¡robust ¡to ¡blockage ¡ Beam ¡Interrupted ¡ 35 30 ¡ 30 SNR ¡(dB) ¡ 25 SNR (dB) 20 15 ¡ 15 ¡ 10 5 0 ¡ 0 0 1 2 3 4 Time ¡(s) ¡ Time (s) 13 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

A ¡60 ¡GHz ¡link ¡in ¡a ¡data ¡center ¡ 14 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Direc5onal ¡60 ¡GHz ¡links ¡ are ¡stable ¡in ¡a ¡data ¡center ¡ Beam ¡Interrupted ¡ 24h ¡in ¡Data ¡Center ¡ 45 35 40 ¡ 40 30 ¡ 30 35 SNR ¡(dB) ¡ SNR ¡(dB) ¡ SNR (dB) 25 SNR (dB) 30 25 20 20 ¡ 20 15 ¡ ¡ ¡ 15 ¡ 15 10 10 5 5 0 ¡ 0 ¡ 0 0 0 6 12 18 24 0 1 2 3 4 Time ¡(s) ¡ Time (hrs) Time ¡(s) ¡ Time (s) 15 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡ Figure 6: SNR and TCP a

Measurement-­‑based ¡802.11ad ¡simulator ¡ • Simulator ¡to ¡ evaluate ¡many ¡concurrent ¡flyways ¡ – Channel ¡model ¡from ¡indoor/DC ¡RF ¡measurements ¡ – Measured ¡60 ¡GHz ¡antenna ¡pa[erns ¡ – Also ¡compared ¡to ¡8-­‑element ¡2.4 ¡GHz ¡“Phocus” ¡array ¡ • Implementa6on ¡in ¡ns-­‑3 ¡ – 802.11ad ¡physical ¡layer ¡and ¡protocol ¡ – TCP ¡and ¡UDP ¡packet ¡simulaWons ¡ – Dozens ¡of ¡concurrent ¡mulW-­‑Gigabit ¡links ¡ 16 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Flyways ¡can ¡be ¡densely ¡deployed ¡ # ¡ Concurrent ¡links ¡per ¡channel ¡ 35" 1"Gbps" • 160 ¡racks, ¡based ¡on ¡ Average'independent'set'size' 30" 2"Gbps" real ¡DC ¡topology ¡ 25" 6"Gbps" • Draw ¡random ¡links ¡unWl ¡ 20" no ¡more ¡can ¡be ¡added ¡ 15" • Ensure ¡ all ¡links ¡meet ¡ 10" rate ¡threshold ¡ 5" • 12-­‑30 ¡links ¡per ¡channel , ¡ 0" depending ¡on ¡rate ¡ Omni ¡ Wide ¡ Phocus ¡ Narrow ¡ Omni"" WB" Phocus" NB" 17 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Measurement ¡summary ¡ • 60 ¡GHz ¡offers ¡mul6-­‑Gbps , ¡ direc6onal , ¡ steerable ¡wireless ¡links ¡with ¡IEEE ¡802.11ad ¡ • Measurements ¡and ¡simulaWons ¡show ¡ – Links ¡are ¡ reliable ¡in ¡data ¡centers ¡ – With ¡direcWonality, ¡links ¡can ¡be ¡ densely ¡deployed ¡ • Many ¡addiWonal ¡measurements ¡in ¡paper ¡ 18 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

WIRELESS ¡FLYWAYS ¡ SYSTEM ¡DESIGN ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

System ¡overview ¡ Data ¡ Jobs ¡ placement ¡ DC ¡ Scheduler ¡ Demands ¡ Flyway ¡ Controller ¡ 20 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Flyway ¡controller ¡architecture ¡ Wireless ¡links ¡ & ¡Rates ¡ Traffic ¡ Demands ¡ Compute ¡op5mal ¡ Flyways ¡set ¡ Configure ¡flyways ¡ 21 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Flyway ¡controller ¡architecture ¡ Update ¡ Wireless ¡links ¡ & ¡Rates ¡ Traffic ¡ Y ¡ Demands ¡ Itera5vely ¡choose ¡ best ¡flyway ¡ More? ¡ N ¡ Configure ¡flyways ¡ 22 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Flyway ¡controller ¡architecture ¡ How ¡to ¡ setup ¡links , ¡ Wireless ¡links ¡ predict ¡bitrates , ¡ & ¡Rates ¡ and ¡ manage ¡interference ¡ How ¡to ¡ select ¡flyways ¡ that ¡will ¡ Itera5vely ¡choose ¡ improve ¡performance ¡ best ¡flyway ¡ 23 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Coordina5ng ¡devices ¡ ✘ ¡ Leverage ¡the ¡ wired ¡backbone ¡ to ¡ sidestep ¡issues ¡of ¡coordina6on ¡ 24 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Orien5ng ¡antennas ¡ TradiWonal ¡algorithms ¡ search , ¡e.g. ¡ sector ¡sweep ¡ ¡ Data ¡center ¡topology ¡is ¡ known ¡ and ¡stable ¡ 25 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Predic5ng ¡bitrate ¡ This ¡is ¡ hard ¡in ¡ mul5-­‑path ¡environments ¡ ¡ Direc6onality ¡alleviates ¡ mul6-­‑path : ¡ SNR ¡lookup ¡table ¡ [DIRC, ¡SIGCOMM’09] ¡ ¡ Use ¡ SINR ¡for ¡interference ¡ 26 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

High-­‑efficiency ¡MAC ¡ Offload ¡small ¡reverse ¡TCP ¡ packets ¡to ¡wired ¡network: ¡ +25% ¡wireless ¡goodput ¡ 27 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡

Flyway ¡controller ¡architecture ¡ How ¡to ¡ setup ¡links , ¡ Wireless ¡links ¡ predict ¡bitrates , ¡ & ¡Rates ¡ and ¡ manage ¡interference ¡ How ¡to ¡ select ¡flyways ¡ that ¡will ¡ Itera5vely ¡choose ¡ improve ¡performance ¡ best ¡flyway ¡ 28 ¡ Presented ¡by ¡Daniel ¡Halperin ¡ @SIGCOMM2011 ¡