Visualiza(on of Memory Performance Paul Rosen Research - - PowerPoint PPT Presentation

Visualiza(on ¡of ¡Memory ¡Performance ¡

Paul ¡Rosen ¡ Research ¡Assistant ¡Professor ¡ Scien(fic ¡Compu(ng ¡and ¡Imaging ¡Ins(tute ¡ School ¡of ¡Compu(ng ¡ University ¡of ¡Utah ¡

High ¡Throughput ¡Compu(ng ¡

Source: ¡NVIDIA ¡

Moore’s Law

OPTIMIZING MEMORY ACCESS IS INCREASINGLY IMPORTANT!

Visualiza(on ¡of ¡SoFware ¡Memory ¡Behavior ¡

• Challenging ¡to ¡

analyze ¡

• Huge ¡quan(ty ¡of ¡

transac(ons ¡

• Complex ¡

interconnected ¡ behavior ¡

Available ¡Data ¡

• Hardware ¡Performance ¡Counters ¡
• Cache ¡hits/misses, ¡TLB ¡hits/misses, ¡etc. ¡
• Instruc(on ¡sampling ¡
• Low ¡resolu(on, ¡manageable ¡quan(ty ¡of ¡data ¡ ¡
• Memory ¡Reference ¡Trace ¡
• Richer, ¡more ¡versa(le ¡data ¡source ¡
• Incomplete ¡informa(on ¡requiring ¡addi(onal ¡analysis ¡(e.g. ¡

hardware ¡simula(on) ¡

Memory ¡Reference ¡Trace ¡

. . . W 0x7fffac539ed8 W 0x7fffac539ed0 W 0x7fffac539ecc W 0x7fffac539ec8 R 0x7fffac539ecc R 0x7fffac539ec8 W 0x7fffac539eb8 W 0x7fffac539eb0 . . . ¡

A.N.M ¡Imroz ¡Choudhury ¡and ¡Paul ¡Rosen. ¡Abstract ¡visualiza(on ¡of ¡run(me ¡memory ¡behavior. ¡In ¡6th ¡IEEE ¡Interna+onal ¡Workshop ¡on ¡Visualizing ¡So8ware ¡for ¡Understanding ¡ and ¡Analysis, ¡VisSoF, ¡pages ¡22-­‑29, ¡2011. ¡

Abstract ¡Visualiza(on ¡of ¡Run(me ¡Memory ¡Behavior ¡

• Challenge: ¡see ¡the ¡mo(on ¡of ¡

data ¡between ¡cache ¡levels ¡

• Layout ¡data ¡in ¡concentric ¡

rings ¡represen(ng ¡levels ¡of ¡ memory ¡hierarchy ¡

• Use ¡our ¡ability ¡to ¡iden(fy ¡

good/bad ¡memory ¡access ¡ paXerns ¡

A.N.M ¡Imroz ¡Choudhury ¡and ¡Paul ¡Rosen. ¡Abstract ¡visualiza(on ¡of ¡run(me ¡memory ¡behavior. ¡In ¡6th ¡IEEE ¡Interna+onal ¡Workshop ¡on ¡Visualizing ¡So8ware ¡for ¡Understanding ¡ and ¡Analysis, ¡VisSoF, ¡pages ¡22-­‑29, ¡2011. ¡

Naïve Matrix Multiply Blocked Matrix Multiply

Abstract ¡Visualiza(on ¡of ¡Run(me ¡Memory ¡Behavior ¡

A.N.M. ¡Imroz ¡Choudhury, ¡Bei ¡Wang, ¡Paul ¡Rosen, ¡and ¡Valerio ¡Pascucci. ¡Topological ¡analysis ¡and ¡visualiza(on ¡of ¡cyclical ¡behavior ¡in ¡memory ¡reference ¡traces. ¡In ¡IEEE ¡Pacific ¡ Visualiza+on ¡Symposium, ¡PacificVis, ¡pages ¡9 ¡-­‑16, ¡2012. ¡

TOPOLOGICAL ANALYSIS AND VISUALIZATION OF CYCLICAL MEMORY BEHAVIOR

• Challenge: ¡iden(fy ¡repe((ve ¡

memory ¡ac(vity ¡

• Use ¡topological ¡analysis ¡to ¡

iden(fy ¡similar ¡features ¡that ¡ repeat ¡

• Works ¡at ¡many ¡scales ¡without ¡

any ¡parameter ¡tuning ¡

Bubble ¡Sort ¡

Bubble ¡Sort ¡

A Visual Approach to Investigating Memory Behavior in CUDA

• Challenge: ¡many ¡threads ¡

with ¡interconnected ¡ behavior ¡

• Use ¡a ¡drill-­‑down ¡

approach ¡to ¡inves(gate ¡ performance ¡across ¡ 100k’s ¡of ¡threads ¡

• See ¡memory ¡paXerns ¡

that ¡result ¡in ¡bad ¡ performance ¡

Paul ¡Rosen. ¡A ¡visual ¡approach ¡to ¡inves(ga(ng ¡shared ¡and ¡global ¡memory ¡behavior ¡of ¡cuda ¡kernels. ¡In ¡Computer ¡Graphics ¡Forum ¡(EuroVis), ¡2013. ¡

Matrix ¡Transpose ¡

Challenges ¡

• Performance ¡Counters ¡
• Most ¡accurate ¡informa(on ¡about ¡performance ¡
• Detail ¡is ¡limited ¡
• Memory ¡Reference ¡Traces ¡
• Lack ¡of ¡hardware ¡valida(on ¡
• Poten(ally ¡rich ¡source ¡of ¡informa(on ¡
• Size ¡of ¡data ¡difficult ¡to ¡visualize ¡

THANK ¡YOU ¡