Evalua&ng the Feasibility of Using Memory Content - - PowerPoint PPT Presentation
Department of Computer Science Evalua&ng the Feasibility of Using Memory Content Similarity to Improve System Resilience Sco> Levy, Kurt B. Ferreira, Patrick G.
Department of Computer Science
Scalable Systems Lab
} In ¡large-‑scale ¡systems, ¡errors ¡are ¡propor&onal ¡to ¡socket ¡
} Current ¡systems ¡have ¡10s ¡of ¡1000s ¡of ¡sockets; ¡the ¡first ¡
} Tradi&onal ¡resilience ¡strategies ¡(e.g., ¡coordinated ¡
} Either: ¡(a) ¡develop ¡more ¡efficient ¡ways ¡to ¡recover ¡from ¡
Scalable Systems Lab
} One ¡of ¡the ¡most ¡common ¡sources ¡of ¡node ¡failure ¡is ¡
} On ¡an ¡x86 ¡system, ¡a ¡DRAM ¡ECC ¡error ¡results ¡in ¡a ¡
} The ¡consequence ¡of ¡an ¡MCE ¡varies ¡by ¡opera&ng ¡system ¡ } In ¡modern ¡Linux, ¡several ¡mi&ga&on ¡strategies ¡are ¡
} If ¡none ¡of ¡these ¡strategies ¡work, ¡the ¡kernel ¡terminates ¡
Scalable Systems Lab
} DUPLICATE ¡: ¡pages ¡with ¡at ¡least ¡on ¡non-‑zero ¡byte ¡whose ¡
} ZERO ¡: ¡all-‑zero ¡pages ¡ } SIMILAR ¡: ¡pages ¡that ¡: ¡(a) ¡are ¡neither ¡duplicate ¡nor ¡zero; ¡and ¡
} UNIQUE: ¡all ¡other ¡pages ¡
cxbsdiff ¡patch ¡that ¡is ¡smaller ¡than ¡1024 ¡bytes ¡
Scalable Systems Lab
Begin with uncorrupted block of memory in which we've colored memory to reflect similarity.
Scalable Systems Lab
Begin with uncorrupted block of memory in which we've colored memory to reflect similarity. DRAM ECC error is detected indicating that the contents
XXX
Scalable Systems Lab
Begin with uncorrupted block of memory in which we've colored memory to reflect similarity. DRAM ECC error is detected indicating that the contents
Using the contents of a similar page in memory we can reconstruct the contents of the corrupted page.
XXX
Scalable Systems Lab
Begin with uncorrupted block of memory in which we've colored memory to reflect similarity. DRAM ECC error is detected indicating that the contents
Using the contents of a similar page in memory we can reconstruct the contents of the corrupted page. After the faulted page has been repaired, the application can continue without requiring a restart.
Scalable Systems Lab
} Objec&ve ¡is ¡to ¡evaluate ¡feasibility ¡ } Approximate ¡the ¡cost ¡and ¡benefit ¡of ¡exploi&ng ¡
} BENEFIT ¡: ¡ ¡
} COSTS: ¡
Scalable Systems Lab
ASC ¡Sequoia ¡ Marquee ¡ Performance ¡Codes ¡ AMG ¡ Parallel ¡algebraic ¡mul&grid ¡solver ¡ IRS ¡ Implicit ¡Radia&on ¡Solver; ¡radia&on ¡transport ¡ DOE ¡ ¡ Produc&on ¡ Applica&ons ¡ CTH ¡ Mul&-‑material, ¡large ¡deforma&on, ¡strong ¡shock ¡ wave, ¡solid ¡mechanics ¡code ¡ LAMMPS ¡ Molecular ¡dynamics ¡simulator ¡ Mantevo ¡ Mini-‑Applica&ons ¡ HPCCG ¡ Mimics ¡finite ¡element ¡genera&on, ¡assembly ¡and ¡ solu&on ¡for ¡an ¡unstructured ¡grid ¡problem ¡ phdMesh ¡ Mimics ¡the ¡contact ¡search ¡applica&ons ¡in ¡an ¡ explicit ¡finite ¡element ¡applica&on ¡ Miscellaneous ¡ Applica&ons ¡ SAMRAI ¡ Enables ¡applica&on ¡of ¡structured ¡adap&ve ¡mesh ¡ refinement ¡to ¡large-‑scale ¡mul&-‑physics ¡problems ¡ ¡ Sweep3D ¡ Neutron ¡transport ¡problem ¡
Scalable Systems Lab
} Collected ¡memory ¡snapshots ¡using ¡libmemstate, ¡a ¡
} ¡Periodically, ¡it ¡wakes ¡up ¡and, ¡based ¡on ¡the ¡contents ¡
} Analysis ¡is ¡performed ¡off-‑line ¡
Scalable Systems Lab
} Naively, ¡iden&fying ¡similar ¡and ¡duplicate ¡pages ¡is ¡a ¡
} Hashing ¡can ¡reduce ¡the ¡cost ¡of ¡iden&fying ¡duplicate ¡
} Similar ¡pages ¡are ¡trickier; ¡we ¡borrow ¡from ¡the ¡
Scalable Systems Lab
Suppose the memory of an application consists of these seven pages
Scalable Systems Lab
Suppose the memory of an application consists of these seven pages During initialization, we choose four random offsets. The 128 byte blocks at each offset is a "signature" of the page
Scalable Systems Lab
We compute patches between
by signature If any of these five patches are smaller than a pre-determined threshold (e.g., 1024 bytes) we classify our candidate page as similar Using hash values, we find up to four pages that match
page's signatures
Let's suppose we are trying to determine whether this page is similar to any other page in the application's memory
Scalable Systems Lab
Using hash values, we find up to four pages that match
page's signatures
Scalable Systems Lab
We compute patches between
by signature
patch ¡1 ¡ patch ¡2 ¡ patch ¡4 ¡ patch ¡3 ¡
Scalable Systems Lab
We also compute a patch between
at the next lowest virtual address
patch ¡1 ¡ patch ¡2 ¡ patch ¡4 ¡ patch ¡3 ¡ patch ¡5 ¡
Scalable Systems Lab
patch ¡1 ¡ patch ¡2 ¡ patch ¡4 ¡ patch ¡3 ¡ patch ¡5 ¡ If any of these five patches are smaller than a pre-determined threshold (e.g., 1024 bytes) we classify our candidate page as similar
Scalable Systems Lab
} For ¡5 ¡out ¡of ¡8 ¡applica&ons ¡less ¡than ¡half ¡of ¡their ¡memory ¡is ¡
20 40 60 80 100 AMG2006 CTH IRS LAMMPS SAMRAI HPCCG phdMesh Sweep3D Percent of memory pages Duplicate Pages Similar Pages Zero Pages Unique Pages
Scalable Systems Lab
0.05 0.1 0.15 0.2 0.25 0.3 0.35 LJ EAM Rhodo SNAP Fraction of memory pages Similar Pages Duplicate Pages
Scalable Systems Lab
10 20 30 40 50 Conical Charge Fragmenting Pipe Percent of memory pages Similar Pages Duplicate Pages
Scalable Systems Lab
} The ¡patch ¡data ¡for ¡6 ¡out ¡of ¡8 ¡applica&ons ¡occupies ¡less ¡than ¡
Application Metadata Size
(as % of application memory)
AMG2006 3.99 % CTH 0.31 % IRS 0.57 % LAMMPS 1.34 % SAMRAI 1.36 % HPCCG 1.15 % phdMesh 5.81 % Sweep3D 0.46 %
Scalable Systems Lab
20 40 60 80 100 5 10 15 20 25 30 Percent of Similar and Duplicate Pages Metadata Size (percent of application memory) AMG2006 phdMesh IRS 1024 byte threshold
Scalable Systems Lab
} In ¡the ¡memory ¡of ¡5 ¡out ¡of ¡8 ¡applica&ons, ¡more ¡than ¡84% ¡of ¡
20 40 60 80 100 AMG2006 CTH IRS LAMMPS SAMRAI HPCCG phdMesh Sweep3D Percent of similar and duplicate pages Zero modifications One modification
Scalable Systems Lab
} The ¡results ¡are ¡promising ¡ } For ¡many ¡applica&ons, ¡we ¡can ¡poten&ally ¡protect ¡a ¡
} Based ¡on ¡our ¡ini&al ¡examina&on, ¡the ¡overhead ¡of ¡
} More ¡detail ¡in: ¡An ¡Examina3on ¡of ¡Content ¡Similarity ¡
Scalable Systems Lab
slevy@cs.unm.edu ¡