Rollback-Free Value Predic2on with Approximate Loads - - PowerPoint PPT Presentation

▶

Feb 12, 2024 274 likes •356 views

Rollback-Free Value Predic2on with Approximate Loads Bradley Thwaites Gennady Pekhimenko Amir Yazdanbakhsh Jongse Park Girish Mururu Hadi Esmaeilzadeh

SLIDE 1

Rollback-‑Free ¡Value ¡Predic2on ¡ with ¡Approximate ¡Loads ¡

Georgia ¡Ins2tute ¡of ¡Technology ¡ Carnegie ¡Mellon ¡University ¡

Amir ¡Yazdanbakhsh ¡ Jongse ¡Park ¡ ¡Girish ¡Mururu ¡ Hadi ¡Esmaeilzadeh ¡ ¡ Onur ¡Mutlu ¡ Todd ¡Mowry ¡ Bradley ¡Thwaites ¡ Gennady ¡Pekhimenko ¡

SLIDE 2

Mi2ga2ng ¡Memory ¡Wall ¡with ¡ Approxima2on ¡

Rollback-‑Free ¡Value ¡Predic2on ¡

– Microarchitecturally ¡triggered ¡approxima2on ¡ – Predict ¡the ¡value ¡of ¡an ¡approximate ¡load ¡when ¡it ¡ misses ¡in ¡the ¡cache ¡ – Do ¡not ¡check ¡for ¡mispredic2ons ¡ – Do ¡not ¡rollback ¡from ¡mispredic2ons ¡ Mi2gate ¡long ¡latency ¡memory ¡accesses ¡

SLIDE 3

Rollback ¡Free ¡Value ¡Predic2on ¡

Core

D$ I$

LLC

Value& Predictor

)Main Memory

Data Request Misses in D$ Quickly Predict Data Avoid Long-Latency Memory Access

SLIDE 4

Design ¡Principles ¡

¡ Maximize ¡opportuni2es ¡for ¡performance ¡ and ¡energy ¡benefits ¡ ¡ Minimize ¡the ¡adverse ¡effects ¡of ¡ approxima2on ¡on ¡quality ¡degrada2on ¡

¡

SLIDE 5

Design ¡Challenges ¡and ¡Solu2ons ¡

Target ¡Performance-‑Cri2cal ¡Safe ¡ Loads ¡

– Profile-‑directed ¡compila2on ¡ – Usually, ¡< ¡32 ¡loads ¡cause ¡80% ¡of ¡ cache ¡misses ¡

¡ U2lize ¡Fast-‑Learning ¡Predictors ¡

– Two-‑delta ¡stride ¡predictor ¡ – Predic2on: ¡table ¡lookup ¡plus ¡an ¡ addi2on ¡

¡ Integrate ¡RFVP ¡with ¡exis2ng ¡ architecture ¡ ¡

Hash(PC) Predicted/ Value

Last/Value Stride/1 Stride/2

SLIDE 6

Experimental ¡Results ¡with ¡a ¡Modern ¡ OoO ¡Processor ¡

Speedup

0.8 0.9 1 1.1 1.2 1.3 1.4 2)MB)+)4)wide)issue 2)MB)+)2)wide)issue 512)KB))+)4)wide)issue 512)KB)+)2)wide)issue 171.swim 410.bwaves 429.mcf 436.cactusADM 450.soplex 459.gemsFDTD geomean 191.fma3d

Error

0% 25% 50% 75% 100%

Stride TwoDelta

171.swim 410.bwaves 429.mcf 436.cactusADM 450.soplex 459.gemsFDTD average 191.fma3d

Performance ¡Improvement: ¡

8% ¡ 19% ¡

Average ¡ Maximum ¡

Quality ¡Loss: ¡

0.8% ¡ 1.8% ¡