Broadband Internet Performance: A View from the Gateway - - PowerPoint PPT Presentation
Broadband Internet Performance: A View from the Gateway - - PowerPoint PPT Presentation
Broadband Internet Performance: A View from the Gateway Srikanth Sundaresan, Walter de Donato, Nick Feamster, Renata Teixeira, Sam Crawford,
What ¡Affects ¡Broadband ¡Performance? ¡
- Important ¡for ¡regulators, ¡consumers, ¡ISPs ¡
- NoQon ¡of ¡performance ¡is ¡fuzzy ¡
– What ¡metrics ¡should ¡we ¡measure? ¡ – How ¡to ¡measure ¡them? ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
2 ¡
Accurate ¡Measurements ¡are ¡Difficult ¡
End ¡host ¡measurements ¡are ¡not ¡con/nuous, ¡ and ¡affected ¡by ¡confounding ¡factors ¡
Home ¡Network: ¡AT&T ¡DSL ¡ ¡ 6 ¡Mbps ¡Down, ¡512 ¡Kbps ¡Up ¡ Last ¡Mile ¡ ISP ¡Network ¡
speedtest.net: ¡4.4 ¡Mbps, ¡140 ¡Kbps ¡ Netalyzr: ¡4.8 ¡Mbps, ¡430 ¡Kbps ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
3 ¡
The ¡Case ¡For ¡the ¡Gateway ¡
Gateway ¡enables ¡periodic ¡measurements, ¡and ¡ can ¡account ¡for ¡confounding ¡factors ¡
Home ¡Network: ¡AT&T ¡DSL ¡ ¡ 6 ¡Mbps ¡Down, ¡512 ¡Kbps ¡Up ¡ Last ¡Mile ¡ ISP ¡Network ¡
speedtest.net: ¡4.4 ¡Mbps, ¡140 ¡Kbps ¡ Netalyzr: ¡4.8 ¡Mbps, ¡430 ¡Kbps ¡ Gateway: ¡5.6 ¡Mbps, ¡460 ¡Kbps ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
4 ¡
ContribuQons ¡
- Study ¡of ¡access ¡networks ¡from ¡the ¡gateway ¡
- Insight ¡into ¡how ¡to ¡benchmark ¡performance ¡
– Effect ¡of ¡measurement ¡technique, ¡traffic ¡shaping ¡ – Effect ¡of ¡access ¡link ¡properQes, ¡home ¡equipment ¡
- Insight ¡into ¡broadband ¡performance ¡
– Consistency ¡of ¡performance ¡ – Loss, ¡ji`er, ¡Qme-‑of-‑day ¡effects ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
5 ¡
The ¡Deployments ¡
- Breadth: ¡The ¡FCC/SamKnows ¡study ¡
– 4,000 ¡gateways, ¡16 ¡ISPs, ¡mulQple ¡service ¡plans ¡
- Depth: ¡The ¡BISmark ¡study ¡
– 16 ¡gateways ¡in ¡Atlanta, ¡on-‑demand ¡measurements ¡
- DuraQon: ¡Dec ¡2010 ¡– ¡Jan ¡2011 ¡
SamKnows/BISmark ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
6 ¡
Last ¡Mile ¡ Internet ¡
Nearby ¡Server ¡
Results: ¡Overview ¡
- Throughput ¡measurement ¡technique ¡depends ¡
- n ¡usage ¡scenario ¡
- Traffic ¡shaping ¡is ¡highly ¡variable ¡across ¡users ¡
- Access ¡link ¡characterisQcs ¡affect ¡performance ¡
- Modem ¡buffers ¡induce ¡high ¡latency ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
7 ¡
Results: ¡Overview ¡
- Throughput ¡measurement ¡technique ¡depends ¡
- n ¡usage ¡scenario ¡
- Traffic ¡shaping ¡is ¡highly ¡variable ¡across ¡users ¡
- Access ¡link ¡characterisQcs ¡affect ¡performance ¡
- Modem ¡buffers ¡induce ¡high ¡latency ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
8 ¡
InterpreQng ¡Throughput ¡Results ¡
Different ¡techniques ¡measure ¡different ¡ ¡ aspects ¡of ¡throughput ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
9 ¡
Results: ¡Overview ¡
- Throughput ¡measurement ¡technique ¡depends ¡
- n ¡usage ¡scenario ¡
- Traffic ¡shaping ¡is ¡highly ¡variable ¡across ¡users ¡
- Access ¡link ¡characterisQcs ¡affect ¡performance ¡
- Modem ¡buffers ¡induce ¡high ¡latency ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
10 ¡
Traffic ¡Shaping: ¡PowerBoost ¡
- Cable ¡companies ¡adverQse ¡“PowerBoost” ¡
– Short ¡bursts ¡of ¡high ¡bandwidth ¡
- Non-‑existent ¡in ¡DSL ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
11 ¡
Traffic ¡Shaping ¡Varies ¡Across ¡Users ¡
Short-‑term ¡throughput ¡significantly ¡different ¡ from ¡sustainable ¡throughput ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
12 ¡
Results: ¡Overview ¡
- Throughput ¡measurement ¡technique ¡depends ¡
- n ¡usage ¡scenario ¡
- Traffic ¡shaping ¡is ¡highly ¡variable ¡across ¡users ¡
- Access ¡link ¡characterisQcs ¡affect ¡performance ¡
- Modem ¡buffers ¡induce ¡high ¡latency ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
13 ¡
Latency ¡Measurements ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
14 ¡
Parameter ¡ What ¡it ¡captures ¡
End-‑to-‑end ¡ ¡
Latency ¡to ¡nearby ¡server ¡
Last-‑mile ¡
Latency ¡to ¡edge ¡of ¡ISP ¡network ¡
Under ¡Load ¡
Buffer ¡delays ¡due ¡to ¡cross ¡traffic ¡
DSL ¡last-‑mile ¡latencies ¡can ¡be ¡very ¡high ¡
Impact ¡of ¡Last-‑mile ¡on ¡Latency ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
15 ¡
Cable ¡ISPs ¡ DSL ¡ISPs ¡
DSL ¡Interleaving ¡Affects ¡Latency ¡
9 ¡ 8 ¡ 7 ¡ 6 ¡ 5 ¡ 4 ¡ 3 ¡ 2 ¡ 1 ¡
Fastpath ¡is ¡suscepQble ¡to ¡bursty ¡loss ¡
9 ¡ 6 ¡ 3 ¡ 8 ¡ 5 ¡ 2 ¡ 7 ¡ 4 ¡ 1 ¡
Fastpath ¡sends ¡data ¡in ¡order, ¡can ¡recover ¡from ¡single ¡losses ¡ Interleaving ¡sends ¡data ¡out-‑of-‑order, ¡can ¡recover ¡from ¡bursty ¡loss ¡ ¡
Fastpath ¡vs. ¡Interleaved ¡last-‑mile ¡data ¡path ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
16 ¡
Extra ¡Delay ¡
Example: ¡Latency-‑Throughput ¡Tradeoff ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
17 ¡
User ¡2: ¡high ¡latency, ¡low ¡loss ¡ User ¡1: ¡low ¡latency, ¡high ¡loss ¡
Throughput ¡(Mbits/s) ¡ Latency ¡(ms) ¡ 10 ¡ 2.5 ¡ 2.2 ¡ 30 ¡
Both ¡users ¡have ¡ same ¡service ¡plan ¡ Interleaving ¡ decreases ¡loss, ¡ increases ¡latency, ¡ improves ¡throughput ¡
Interleaving ¡creates ¡a ¡trade-‑off ¡between ¡ latency ¡and ¡throughput ¡
Results: ¡Overview ¡
- Throughput ¡measurement ¡technique ¡depends ¡
- n ¡usage ¡scenario ¡
- Traffic ¡shaping ¡is ¡highly ¡variable ¡across ¡users ¡
- Access ¡link ¡characterisQcs ¡affect ¡performance ¡
- Modem ¡buffers ¡induce ¡high ¡latency ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
18 ¡
Modem ¡Buffers ¡are ¡Too ¡Large ¡
Service ¡plans ¡can ¡interact ¡badly ¡with ¡ ¡ modem ¡buffers ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
19 ¡
10 ¡seconds! ¡
Conclusion ¡
- The ¡gateway ¡provides ¡unique ¡insight ¡into ¡
home ¡network ¡
- Throughput ¡measurements ¡are ¡affected ¡by ¡
measurement ¡technique, ¡shaping ¡
- Latency ¡is ¡affected ¡by ¡last-‑mile, ¡buffering ¡
- ISPs ¡generally ¡deliver ¡consistent ¡throughput, ¡
with ¡some ¡Qme-‑of-‑day ¡effects ¡
- How ¡to ¡miQgate ¡buffering ¡effects ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
20 ¡
Future ¡Work ¡
- BISmark ¡node ¡deployment ¡across ¡the ¡world ¡
– Currently ¡nodes ¡in ¡US, ¡South ¡Africa ¡
- Performance ¡monitoring ¡from ¡the ¡edge ¡
– Effect ¡of ¡peering ¡on ¡performance ¡ – IPv6 ¡performance ¡ – Effect ¡of ¡CDN ¡locaQon, ¡traffic ¡engineering ¡on ¡ applicaQon ¡performance ¡
- Measure ¡the ¡home ¡network ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
21 ¡
h^p://projectbismark.net ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
22 ¡
Previous ¡Studies ¡
- Measurement ¡from ¡outside ¡
– Dischinger ¡et ¡al ¡[1] ¡iniQated ¡measurements ¡from ¡wide ¡ area ¡server ¡ – Indirect ¡measurements, ¡not ¡conQnuous ¡
- Measurements ¡from ¡inside ¡
– Endhost ¡based ¡measurements ¡
– Grenouille ¡[2], ¡Netalyzr ¡[3] ¡
– Can’t ¡account ¡for ¡confounding ¡factors ¡
[1] ¡Characterizing ¡ResidenQal ¡Broadband ¡Networks ¡IMC ¡2007 ¡ [2] ¡h`p://www.grenouille.com ¡ [3] ¡h`p://netalyzr.icsi.berkeley.edu ¡Netalyzr: ¡IlluminaQng ¡the ¡Network ¡Edge ¡IMC ¡2010 ¡
Broadband ¡Internet ¡Performance: ¡A ¡View ¡from ¡the ¡Gateway ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ACM ¡SIGCOMM, ¡Toronto., ¡August ¡2011 ¡
23 ¡