Reproducible Network Research With High-Fidelity Emula<on - - PowerPoint PPT Presentation
Reproducible Network Research With High-Fidelity Emula<on Nikhil Handigol + , Brandon Heller + , Bob Lantz * , Vimal Jeyakumar + , Nick McKeown + + Stanford
Reproducible ¡Network ¡Research ¡ With ¡High-‑Fidelity ¡Emula<on ¡
Nikhil ¡Handigol+, ¡Brandon ¡Heller+, ¡Bob ¡Lantz*, ¡ Vimal ¡Jeyakumar+, ¡Nick ¡McKeown+ ¡
+Stanford ¡University, ¡Palo ¡Alto, ¡USA ¡ *Open ¡Networking ¡Laboratory, ¡Palo ¡Alto, ¡USA ¡
2 ¡ The ¡scienKfic ¡method ¡says: ¡ experiments ¡are ¡only ¡valid ¡if ¡they ¡can ¡be ¡
The ¡norm ¡in ¡physics, ¡medicine, ¡etc.. ¡ But ¡what ¡about ¡the ¡computaKonal ¡sciences? ¡
3 ¡ ¡D.L. ¡Donoho, ¡1995: ¡ “An ¡ar-cle ¡about ¡computa-onal ¡science ¡is ¡not ¡the ¡ scholarship ¡itself, ¡it ¡is ¡merely ¡adver-sing ¡of ¡the ¡
so<ware ¡development ¡environment ¡and ¡the ¡ complete ¡set ¡of ¡instruc-ons ¡which ¡generated ¡the ¡ figures.” ¡ This ¡is ¡what ¡network ¡research ¡should ¡be. ¡ It ¡should ¡be ¡reproducible. ¡ Papers ¡should ¡be ¡runnable. ¡
4 ¡ Click ¡on ¡a ¡figure ¡
5 ¡ Brings ¡up ¡a ¡webpage ¡of ¡instrucKons ¡
6 ¡ Scroll ¡to ¡the ¡boZom… ¡
7 ¡ Launch ¡an ¡EC2 ¡instance ¡
8 ¡ Run ¡a ¡command ¡in ¡the ¡terminal ¡to ¡ generate ¡results ¡
9 ¡> ¡~/mininet-‑tests/dctcp$ ¡./run-‑dctcp.sh ¡ ¡
8 ¡minutes ¡& ¡8 ¡cents ¡aaer ¡the ¡click: ¡ ¡ a ¡reproduced ¡result ¡
10 ¡> ¡~/mininet-‑tests/dctcp$ ¡./run-‑dctcp.sh ¡ ¡ > ¡~/mininet-‑tests/dctcp/results$ ¡xpdf ¡dctcp.pdf ¡
easier ¡to ¡build ¡upon ¡ the ¡work ¡of ¡others ¡ easier ¡to ¡transfer ¡ new ¡ideas ¡to ¡industry ¡
If ¡papers ¡were ¡runnable ¡(easily ¡reproducible): ¡
easier ¡to ¡understand ¡ and ¡evaluate ¡papers ¡
11 ¡ Why ¡aren’t ¡all ¡ networking ¡research ¡ papers ¡like ¡this? ¡
12 ¡ Much ¡of ¡CS ¡
ML, ¡PL, ¡Security, ¡… ¡
Code ¡ Data ¡ Scripts ¡
Must ¡implement ¡mul<ple ¡ ¡ servers, ¡network ¡elements, ¡links ¡– ¡ ¡ all ¡running ¡in ¡parallel, ¡ ¡ all ¡with ¡accurate ¡<ming ¡
Network ¡Systems ¡ ¡ ? ¡
CongesKon ¡control, ¡RouKng, ¡Topology, ¡… ¡
Use ¡any ¡commodity ¡PC ¡ (or ¡VM.) ¡
Discrete-‑Event ¡SimulaKon ¡
14 ¡virtual ¡Kme ¡ link ¡
+
models ¡ queue ¡ switch ¡ protocol ¡ app ¡
ns-‑2, ¡ns-‑3, ¡OPNET, ¡… ¡
But… ¡we ¡don’t ¡trust ¡simulaKon. ¡
Not ¡believable ¡unless ¡validated: ¡
Modeled ¡links ¡== ¡real ¡links ¡ Modeled ¡switches ¡== ¡real ¡switches ¡ Modeled ¡protocols ¡== ¡real ¡protocols ¡ Modeled ¡applicaKons ¡== ¡real ¡applicaKons ¡
¡Realism ¡concerns. ¡
15 ¡ Testbed ¡results ¡can ¡be ¡hard ¡to ¡ (re)produce. ¡
Flexibility ¡
Resource ¡availability ¡
Problem ¡
Network ¡research ¡tends ¡not ¡to ¡be ¡both ¡ easily ¡reproducible ¡and ¡realis-c. ¡
18 ¡Solu<on ¡
Build ¡an ¡emulator ¡whose ¡results ¡you ¡ can ¡trust ¡as ¡well ¡as ¡verify. ¡
What ¡is ¡a ¡network ¡emulator? ¡
19 ¡Real ¡applicaKon, ¡network ¡stack ¡code ¡ Emulated ¡network ¡core ¡
¡Matching ¡the ¡behavior ¡of ¡hardware: ¡ High ¡Fidelity ¡
real ¡Kme ¡
… ¡ … ¡ … ¡
A
Pa
B
S ¡
Sources ¡of ¡Emulator ¡Infidelity ¡
Event ¡Overlap ¡
real ¡Kme ¡
… ¡ … ¡ … ¡
A
Pa
B
S ¡
Sources ¡of ¡Emulator ¡Infidelity ¡
SoHware ¡Forwarding ¡
variable ¡delays ¡
Our ¡Approach ¡
Resource-‑IsolaKng ¡ Emulator ¡(Mininet-‑HiFi) ¡
HIGH Fidelity METER MEDIUM LOWFidelity ¡ ¡ Monitor ¡
500 ¡Mhz ¡ 20 ¡pkt ¡bufs/ port ¡ 10 ¡Mb/s, ¡ 1ms ¡
Talk ¡Outline ¡
A ¡Workflow ¡for ¡High ¡Fidelity ¡EmulaKon ¡
25 ¡Create ¡ experiment ¡ Run ¡the ¡ experiment ¡
with ¡logging ¡ Analyze ¡ experiment ¡ fidelity ¡using ¡ “network ¡ invariants” ¡ Invariants ¡hold: ¡ High ¡Fidelity ¡ EmulaKon! ¡ Instance(s) ¡of ¡ behavior ¡that ¡ differ ¡from ¡ hardware ¡ Run ¡again: ¡ increase ¡resources ¡or ¡ reduce ¡experiment ¡scale ¡
1: ¡what ¡to ¡log? ¡ 2: ¡which ¡ invariants? ¡ 3: ¡how ¡close? ¡
What ¡to ¡log? ¡
26 ¡Consider ¡logging ¡uKlizaKon ¡of ¡the ¡emulator ¡CPU. ¡ 100% ¡is ¡bad. ¡ But ¡is ¡X% ¡(say, ¡80%) ¡necessarily ¡good? ¡
Can’t ¡get ¡back ¡“lost ¡Kme” ¡in ¡an ¡emulator. ¡ ¡CPU ¡uKlizaKon ¡is ¡insufficient. ¡ ¡ ¡ ¡Need ¡to ¡consider ¡fine-‑grained ¡event ¡<mings. ¡
80% ¡ 20% ¡
… ¡
busy ¡
Single-‑Packet ¡Invariants ¡
queue ¡ link ¡ switch ¡ queue ¡
queuing ¡ ¡ propagaKon ¡ forwarding ¡ transmission ¡
log ¡enqueue, ¡dequeue ¡Kmestamps ¡
Packet ¡Gap ¡Invariants ¡
queue ¡ link ¡ switch ¡ queue ¡
packet ¡spacing ¡ (when ¡queue ¡occupied) ¡
Rmeasured ¡≤ ¡Rconfigured ¡? ¡
¡ ¡ ¡ ¡link ¡capacity ¡
Explored ¡in ¡the ¡paper ¡
High ¡Fidelity: ¡match ¡hardware ¡variability. ¡
How ¡close? ¡
Example ¡Workflow ¡for ¡One ¡Invariant ¡
30 ¡Create ¡ experiment ¡ Run ¡the ¡ experiment ¡
with ¡logging ¡ Analyze ¡ experiment ¡ fidelity ¡using ¡ “network ¡ invariants” ¡ Invariants ¡hold: ¡ High ¡Fidelity ¡ EmulaKon! ¡ Instance(s) ¡of ¡ behavior ¡that ¡ differ ¡from ¡ hardware ¡ Run ¡again: ¡ increase ¡resources ¡or ¡ reduce ¡experiment ¡scale ¡
2: ¡Measure ¡packet ¡ ¡ spacing ¡ 3: ¡Is ¡any ¡ packet ¡ delayed ¡by ¡ more ¡than ¡
Kme? ¡ 1: ¡Log ¡ Dequeue ¡ Events ¡ If ¡this ¡workflow ¡is ¡valid, ¡“pass” ¡ ¡same ¡result ¡as ¡
DCTCP ¡
Data ¡Center ¡TCP ¡(DCTCP) ¡
[Sigcomm10, ¡Alizadeh ¡et ¡al.] ¡
Kme ¡ packets ¡in ¡ queue ¡
TCP ¡ DCTCP ¡
31 ¡marking ¡ threshold ¡ Queue ¡occupied ¡ 100% ¡throughput ¡ Queue ¡occupied ¡ 100% ¡throughput ¡ Packet ¡spacing ¡we ¡should ¡see: ¡
30 60 90 120 Seconds 5 10 15 20 25 30 35 40 Packets
q-dctcp-plot.txt
Hardware ¡Results, ¡100 ¡Mb/s ¡
32 ¡packets ¡ in ¡queue ¡
100% ¡throughput ¡ 6 ¡packets ¡variaKon ¡ queue ¡occupied ¡
Emulator ¡Results ¡
33 ¡Does ¡checking ¡an ¡invariant ¡(packet ¡ spacing) ¡idenKfy ¡wrong ¡results? ¡ same ¡result ¡ wrong; ¡ ¡ limits ¡exceeded ¡
80 ¡Mb/s ¡
100% ¡tput ¡ 6 ¡pkts ¡var ¡ same ¡result ¡
160 ¡Mb/s ¡
100% ¡tput ¡ 6 ¡pkts ¡var ¡
320 ¡Mb/s ¡
Packet ¡Spacing ¡Invariant ¡w/DCTCP ¡
34 ¡1 ¡pkt ¡
low ¡ high ¡
CCDF ¡ Percent ¡ (log) ¡
25 ¡pkts ¡
Error: ¡ (log) ¡
10% ¡of ¡the ¡Kme, ¡ error ¡exceeds ¡
x ¡
Percentage deviation from expected 1 10 100 Percent
35 ¡1 ¡pkt ¡ error ¡
10 ¡ 20 ¡ 40 ¡
numbers ¡are ¡in ¡Mb/s ¡
80 ¡
CCDF ¡ Percent ¡
Packet ¡Spacing ¡Invariant ¡w/DCTCP ¡
Percentage deviation from expected 1 10 100 Percent
36 ¡10 ¡ 20 ¡ 40 ¡
numbers ¡are ¡in ¡Mb/s ¡
80 ¡
1 ¡pkt ¡ error ¡
CCDF ¡ Percent ¡
Packet ¡Spacing ¡Invariant ¡w/DCTCP ¡
Percentage deviation from expected 1 10 100 Percent
37 ¡10 ¡ 20 ¡ 40 ¡
numbers ¡are ¡in ¡Mb/s ¡
80 ¡
CCDF ¡ Percent ¡
Packet ¡Spacing ¡Invariant ¡w/DCTCP ¡
160 ¡Mb/s: ¡failed ¡emulaKon? ¡ Beauty ¡of ¡networks ¡invariants ¡is ¡that ¡it ¡catches ¡ and ¡quanKfies ¡the ¡error ¡in ¡this ¡run. ¡
vhost (container) vhost (container) vhost (container)
private network namespace 10.0.0.1 10.0.0.2 10.0.0.3 process 1 process 2 process 3 process 4Linux Server
private network namespace private network namespace virtual ethernet pairs root network namespace 39 ¡Emulator ¡
Containers ¡w/ Network ¡ Namespaces ¡
Original ¡Mininet ¡
vhost (container) vhost (container) vhost (container)
private network namespace 10.0.0.1 10.0.0.2 10.0.0.3 process 1 process 2 process 3 process 4 Isolated links (e.g, 100mbps, 2ms)Linux Server
private network namespace private network namespace virtual ethernet pairs root network namespace 40 ¡Emulator ¡+ ¡Performance ¡IsolaKon ¡
Linux ¡ packet ¡ schedulers ¡
HTB, ¡HFSC ¡ Emulator ¡+ ¡Performance ¡IsolaKon ¡
vhost (container) vhost (container) vhost (container)
private network namespace 10.0.0.1 10.0.0.2 10.0.0.3 process 1 process 2 process 3 process 4 Isolated links (e.g, 100mbps, 2ms) Isolated hosts (e.g., 20% CPU)Linux Server
private network namespace private network namespace virtual ethernet pairs root network namespace 41 ¡Linux ¡ process ¡ schedulers ¡
CFS+BWlimits, ¡ RT ¡ Emulator ¡+ ¡Performance ¡IsolaKon ¡
vhost (container) vhost (container) vhost (container)
private network namespace 10.0.0.1 10.0.0.2 10.0.0.3 process 1 process 2 process 3 process 4Monitoring Tools
Isolated links (e.g, 100mbps, 2ms) Isolated hosts (e.g., 20% CPU)Linux Server
private network namespace private network namespace virtual ethernet pairs root network namespace 42 ¡Emulator ¡+ ¡Performance ¡IsolaKon ¡+ ¡Invariant ¡Monitoring ¡
Linux ¡ Kernel ¡ Tracing ¡ ¡
enqueue, ¡ dequeue, ¡etc. ¡
Examples ¡in ¡the ¡paper ¡
2004] ¡
Able ¡to ¡replicate ¡key ¡results ¡from ¡3 ¡testbeds ¡… ¡ ¡ using ¡an ¡emulator. ¡
44 ¡ How ¡do ¡you ¡know ¡it ¡ really ¡works? ¡
45 ¡Test ¡it. ¡On ¡guinea ¡pigs ¡
Stanford ¡CS244 ¡Spring ¡’12: ¡ Advanced ¡Topics ¡in ¡Networking ¡
→ ¡Pick ¡a ¡paper. ¡ ¡ → ¡Reproduce ¡a ¡key ¡result, ¡or ¡ challenge ¡it ¡(with ¡data). ¡ → ¡You ¡have: ¡ $100 ¡EC2 ¡credit, ¡ 3 ¡weeks, ¡and ¡ must ¡use ¡Mininet-‑HiFi. ¡
47 ¡ CoDel ¡ HULL ¡ MPTCP ¡ Outcast ¡ Jellyfish ¡ DCTCP ¡ Incast ¡ Flow ¡CompleKon ¡Time ¡ Hedera ¡ DCell ¡ TCP ¡IniKal ¡CongesKon ¡ Window ¡ Misbehaving ¡TCP ¡Receivers ¡ RED ¡
Project ¡Topics: ¡ Transport, ¡ ¡ Data ¡Center, ¡ Queuing ¡
48 ¡ CoDel ¡ HULL ¡ MPTCP ¡ Outcast ¡ Jellyfish ¡ DCTCP ¡ Incast ¡ Flow ¡CompleKon ¡Time ¡ Hedera ¡ DCell ¡ TCP ¡IniKal ¡CongesKon ¡ Window ¡ Misbehaving ¡TCP ¡Receivers ¡ RED ¡
49 ¡37 ¡students ¡ 18 ¡projects ¡ 16 ¡replicated ¡
CoDel ¡ HULL ¡ MPTCP ¡ Outcast ¡ Jellyfish ¡ DCTCP ¡ Incast ¡ Flow ¡CompleKon ¡Time ¡ Hedera ¡ DCell ¡ TCP ¡IniKal ¡CongesKon ¡ Window ¡ Misbehaving ¡TCP ¡Receivers ¡ RED ¡
37 ¡students ¡ 18 ¡projects ¡ 16 ¡replicated ¡ 4 ¡beyond ¡
50 ¡ CoDel ¡ HULL ¡ MPTCP ¡ Outcast ¡ Jellyfish ¡ DCTCP ¡ Incast ¡ Flow ¡CompleKon ¡Time ¡ Hedera ¡ DCell ¡ TCP ¡IniKal ¡CongesKon ¡ Window ¡ Misbehaving ¡TCP ¡Receivers ¡ RED ¡
37 ¡students ¡ 18 ¡projects ¡ 16 ¡replicated ¡ 4 ¡beyond ¡ 2 ¡not ¡replicated ¡
51 ¡ CoNEXT ¡‘12 ¡runnable ¡papers? ¡ 15/31 ¡seem ¡like ¡candidates: ¡ ¡ ¡
NOT: ¡Wireless, ¡Modeling, ¡Hardware, ¡Social ¡ Networking, ¡Security ¡
Related ¡Work ¡
All ¡are ¡complementary ¡techniques ¡that ¡ could ¡be ¡added ¡to ¡Mininet-‑HiFi. ¡ None ¡measure ¡event ¡fidelity ¡(S1) ¡ Last ¡two ¡use ¡full-‑system ¡virtualizaKon ¡(S2) ¡ ¡ ¡ None ¡evaluate ¡reproducibility ¡at ¡scale ¡(S3) ¡
54 ¡ Runnable ¡Paper ¡Existence ¡Proof ¡
56 ¡ ( a ) B e n c h m a r k t e s t s f rread, ¡click, ¡reproduce ¡
Reproduced ¡Research ¡Examples ¡
reproducingnetworkresearch.wordpress.com ¡ (or ¡Google ¡“reproducing ¡network ¡research”) ¡
57 ¡20 ¡and ¡counKng ¡
Open-‑Source ¡System ¡w/AcKve ¡User ¡Community ¡
58 ¡Fall ¡2013: ¡~10K ¡users ¡ mininet.github.com ¡
New ¡Workflows ¡
Idea ¡ ¡Simulate ¡ ¡Run(Testbed) ¡ ¡Publish ¡
59 ¡Idea ¡ ¡Run(EmulaKon) ¡ ¡Publish ¡
Reproduce(EmulaKon) ¡ Idea ¡ ¡Simulate ¡ ¡Run(Testbed) ¡ ¡Publish ¡ Run(EmulaKon) ¡ ¡
(aside) ¡ ¡ Why ¡God ¡doesn't ¡ have ¡a ¡Ph.D. ¡
1) ¡ ¡He ¡had ¡only ¡one ¡major ¡publicaKon. ¡ 2) ¡ ¡It ¡was ¡in ¡Hebrew. ¡ 3) ¡ ¡It ¡had ¡no ¡references. ¡ 4) ¡ ¡It ¡wasn't ¡published ¡in ¡a ¡referreed ¡journal. ¡ 5) ¡ ¡Some ¡even ¡doubt ¡he ¡wrote ¡it ¡by ¡himself. ¡ 6) ¡ ¡It ¡may ¡be ¡true ¡that ¡he ¡created ¡the ¡world, ¡but ¡what ¡has ¡he ¡done ¡since ¡then? ¡ 7) ¡ ¡His ¡cooperaKve ¡efforts ¡have ¡been ¡quite ¡limited. ¡ 8) ¡ ¡The ¡scien<fic ¡community ¡has ¡had ¡a ¡hard ¡<me ¡replica<ng ¡his ¡results. ¡ 9) ¡ ¡He ¡never ¡applied ¡to ¡the ¡ethics ¡board ¡for ¡permission ¡to ¡use ¡human ¡subjects. ¡ 10) ¡When ¡one ¡experiment ¡went ¡awry ¡he ¡tried ¡to ¡cover ¡it ¡up ¡by ¡drowning ¡his ¡subjects. ¡ 11) ¡When ¡subjects ¡didn't ¡behave ¡as ¡predicted, ¡he ¡deleted ¡them ¡from ¡the ¡sample. ¡ 12) ¡Some ¡say ¡he ¡had ¡his ¡son ¡teach ¡the ¡class. ¡ 13) ¡He ¡expelled ¡his ¡first ¡two ¡students ¡for ¡learning. ¡ 14) ¡He ¡rarely ¡came ¡to ¡class, ¡and ¡he ¡just ¡told ¡students ¡to ¡read ¡the ¡book. ¡ 15) ¡Although ¡there ¡were ¡only ¡10 ¡requirements, ¡most ¡of ¡his ¡students ¡failed ¡his ¡tests. ¡ 16) ¡His ¡office ¡hours ¡were ¡infrequent ¡and ¡usually ¡held ¡on ¡a ¡mountaintop. ¡ Source: ¡hZp://www-‑psych.stanford.edu/~pinto/god.html ¡
60 ¡ Look ¡for ¡the ¡shirt. ¡ ¡QuesKons? ¡
61 ¡mininet.github.com ¡ reproducingnetworkresearch.wordpress.com ¡
Doesn’t ¡a ¡simulator ¡guarantee ¡these ¡ invariants? ¡
emulator ¡to ¡match ¡a ¡simulator ¡with ¡virtual ¡
What ¡about ¡an ¡RTOS? ¡
system ¡too ¡resource-‑limited ¡to ¡be ¡useful. ¡
could ¡be ¡used. ¡
64 ¡ Host ¡Invariants ¡
host ¡with ¡capacity ¡C ¡
Cmeasured ¡≤ ¡Cconfigured ¡? ¡ C
emulator ¡ hardware ¡
C ¡ C ¡x ¡5 ¡
¡ ¡ ¡ ¡host ¡capacity: ¡ 20% ¡? ¡
log ¡scheduler ¡events ¡
Host ¡Invariants ¡
C
emulator ¡ hardware ¡
C ¡x ¡2 ¡
¡ ¡ ¡ ¡ ¡scheduler ¡intervals ¡
host ¡with ¡capacity ¡C ¡
C ¡ C ¡
log ¡scheduler ¡events ¡