Branch Predic,on J. Nelson Amaral Why Branch Predic,on? - - PowerPoint PPT Presentation

Branch ¡Predic,on ¡

• J. ¡Nelson ¡Amaral ¡

Why ¡Branch ¡Predic,on? ¡

• Every ¡5-­‑7 ¡instruc,on ¡of ¡a ¡program ¡is ¡a ¡branch ¡
• Not ¡predic,ng, ¡or ¡miss-­‑predic,ng, ¡is ¡very ¡

costly ¡in ¡architectures ¡with ¡deep ¡pipelines ¡or ¡ with ¡many ¡func,onal ¡units. ¡

Baer ¡p. ¡129 ¡

Anatomy ¡of ¡a ¡Predictor ¡

Baer ¡p. ¡130 ¡

Anatomy ¡of ¡a ¡Branch ¡Predictor ¡

• Event ¡Source: ¡the ¡execu,on ¡of ¡the ¡program ¡

– Predic,ve ¡informa,on: ¡

• Can ¡be ¡encoded ¡in ¡the ¡instruc,on ¡code ¡ ¡

– a ¡bit ¡indicates ¡most ¡likely ¡outcome ¡ – forward/backward ¡branch ¡

• Obtained ¡from ¡some ¡profiling ¡informa,on ¡

Baer ¡p. ¡130 ¡

• Prog. ¡Exec. ¡

Anatomy ¡of ¡a ¡Branch ¡Predictor ¡(cont.) ¡

• Event ¡Selec-on: ¡when ¡to ¡predict? ¡

– Simple ¡solu,on: ¡compute ¡the ¡predic,on ¡for ¡every ¡ instruc,on ¡(even ¡non-­‑branches) ¡

• Only ¡use ¡the ¡result ¡of ¡the ¡predic,on ¡for ¡branches ¡

Baer ¡p. ¡130 ¡

Event ¡Selec. ¡

Anatomy ¡of ¡a ¡Branch ¡Predictor ¡(cont.) ¡

• Predic-on ¡Indexing: ¡

– Use ¡part ¡of ¡the ¡PC ¡to ¡index ¡predic,on ¡tables: ¡

• history ¡of ¡outcome ¡of ¡previous ¡branches ¡at ¡this ¡PC ¡
• history ¡of ¡execu,on ¡path ¡leading ¡to ¡this ¡PC ¡

Baer ¡p. ¡130 ¡

• Pred. ¡Index. ¡

Anatomy ¡of ¡a ¡Branch ¡Predictor ¡(cont.) ¡

• Predictor ¡Mechanism: ¡

– Sta,c ¡(example): ¡

• forward: ¡always ¡not ¡taken ¡
• backward: ¡always ¡taken ¡

– Dynamic: ¡

• Finite ¡State ¡Machine ¡predictor: ¡satura,ng ¡counters ¡
• Markov ¡predictor: ¡correla,on ¡

Baer ¡p. ¡131 ¡

• Pred. ¡Mechan. ¡

Anatomy ¡of ¡a ¡Branch ¡Predictor ¡(cont.) ¡

• Feedback ¡and ¡Recovery: ¡

– Use ¡real ¡outcome ¡to ¡reinforce ¡predic,on ¡ – Must ¡recover ¡from ¡miss-­‑predic,ons ¡

Baer ¡p. ¡131 ¡

Feedback ¡

Control ¡Flow ¡Sta,s,cs ¡

Applica'on ¡ % ¡control ¡ flow ¡ % ¡cond. ¡branches ¡ ¡(% ¡taken) ¡ % ¡Uncond. ¡ (% ¡direct) ¡ % ¡calls ¡ % ¡returns ¡ SPEC95int ¡ 20.4 ¡ 14.9 ¡(46) ¡ 1.1 ¡(77) ¡ 2.2 ¡ 2.1 ¡ Desktop ¡ 18.7 ¡ 13 ¡(39) ¡ 1.1 ¡(92) ¡ 2.4 ¡ 2.1 ¡

A ¡4-­‑way ¡superscalar ¡has ¡to ¡predict ¡a ¡branch, ¡on ¡average, ¡ every ¡other ¡cycle. ¡ ¡

Baer ¡p. ¡131 ¡

Interbranch ¡Distances ¡

40% ¡of ¡the ¡,me ¡there ¡is ¡1 ¡or ¡0 ¡cycles ¡between ¡ predic,ons ¡ ¡ Branch ¡resolu,on ¡takes ¡+/-­‑ ¡10 ¡cycles ¡ If ¡the ¡predic,on ¡is ¡wrong, ¡up ¡to ¡40 ¡wrong ¡ instruc,ons ¡are ¡in ¡flight ¡by ¡the ¡,me ¡the ¡ resolu,on ¡occurs. ¡ Simula,on ¡for ¡a ¡4-­‑way ¡out-­‑of-­‑order ¡architecture ¡ Baer ¡p. ¡131 ¡

Sta,c ¡Predic,ons ¡ ¡

Always ¡Taken ¡ Always ¡Not ¡Taken ¡

OR ¡

Baer ¡p. ¡132 ¡

Sta,c ¡Predic,ons ¡ ¡

• Early ¡studies ¡indicated ¡that ¡2/3 ¡
• f ¡branches ¡are ¡taken ¡

– but ¡30% ¡of ¡those ¡branches ¡were ¡ uncondi,onal! ¡

• For ¡condi,onal ¡branches ¡there ¡

appears ¡to ¡be ¡no ¡preferred ¡ direc,on. ¡

Always ¡Taken ¡

Baer ¡p. ¡132 ¡

Alterna,ve ¡Sta,c ¡Predic,ons ¡ ¡

Forward ¡Always ¡Not ¡Taken ¡ Backward ¡Always ¡Taken ¡

Accuracy ¡improvements ¡ are ¡barely ¡no,ceable. ¡ Sta,c ¡predic,on ¡based ¡on ¡ profiling ¡is ¡slightly ¡beber. ¡ Sta,c ¡branch-­‑not-­‑taken ¡ has ¡no ¡implementa,on ¡ cost ¡on ¡pipeline. ¡

Baer ¡p. ¡132 ¡

Dynamic ¡Predictors ¡

• Predic,on ¡of ¡a ¡given ¡branch ¡changes ¡with ¡the ¡

execu,on ¡of ¡the ¡program. ¡

– Simple: ¡a ¡finite-­‑state ¡machine ¡encodes ¡the ¡

• utcome ¡of ¡a ¡few ¡recent ¡execu,ons ¡of ¡the ¡branch. ¡

– Elaborate: ¡Not ¡only ¡early ¡branch ¡outcomes, ¡but ¡

• ther ¡correlated ¡parts ¡of ¡the ¡programs ¡are ¡
• considered. ¡ ¡

Baer ¡p. ¡132 ¡

When ¡to ¡predict? ¡

• Sta,c ¡predic,on: ¡at ¡the ¡

Instruc,on ¡Decode ¡stage ¡

– Know ¡that ¡the ¡instruc,on ¡ is ¡a ¡branch ¡

• Dynamic ¡predic,on: ¡at ¡the ¡

Instruc,on ¡Fetch ¡stage ¡

– Calculate ¡predic,on ¡for ¡ every ¡instruc,on, ¡even ¡ non-­‑branch ¡ones. ¡

Baer ¡p. ¡133 ¡

What ¡to ¡Predict? ¡

• Branch ¡Direc'on: ¡Is ¡branch ¡taken ¡on ¡not? ¡
• Branch ¡Target: ¡Address ¡of ¡next ¡instruc,on ¡for ¡

a ¡taken ¡branch ¡

Baer ¡p. ¡133 ¡

Predic,ng ¡Direc,on ¡

• Where ¡we ¡find ¡the ¡predic,on? ¡
• How ¡to ¡encode ¡the ¡predic,on? ¡

Look ¡at ¡the ¡recent ¡past: ¡ What ¡was ¡the ¡direc,on ¡the ¡last ¡,me ¡this ¡same ¡ branch ¡was ¡executed? ¡ A ¡single ¡bit ¡encodes ¡the ¡predic,on: ¡ Predic,on ¡bit ¡is ¡set ¡at ¡predic,on ¡,me. ¡ ¡

Baer ¡p. ¡133 ¡

Predic,on ¡Hysteresis ¡

• Look ¡at ¡the ¡last ¡two ¡

resolu,ons ¡

– Two ¡wrong ¡predic,ons ¡ are ¡necessary ¡to ¡change ¡ the ¡predic,on ¡ – Mo,vated ¡by ¡wrong ¡ predic,ons ¡at ¡the ¡end ¡of ¡ inner ¡loops. ¡

Baer ¡p. ¡133 ¡

2-­‑Bit ¡Satura,ng ¡Counter ¡

Last ¡two ¡instances ¡ were ¡taken ¡ Last ¡instance ¡ was ¡taken ¡but ¡the ¡ previous ¡was ¡not ¡ Last ¡two ¡instances ¡ were ¡not ¡taken ¡ Last ¡instance ¡ was ¡not ¡taken ¡but ¡the ¡ previous ¡was ¡taken ¡ Baer ¡p. ¡134 ¡

2-­‑Bit ¡Satura,ng ¡Counter ¡(Example) ¡

for(i=0 ¡; ¡i ¡< ¡m ¡; ¡i++) ¡ ¡ ¡ ¡ ¡ ¡ ¡for(j=0; ¡j<n ¡; ¡j++) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡begin ¡S1; ¡S2; ¡…; ¡Sk ¡end; ¡ i ¡← ¡0 ¡ m ¡≤ ¡0 ¡ n ¡≥ ¡0 ¡ j ¡← ¡0 ¡ S1; ¡S2; ¡…; ¡Sk ¡ j ¡< ¡n ¡ j←j+1 ¡ i←i+1 ¡ i ¡< ¡m ¡ i←i+1 ¡ i ¡ j ¡ Pred ¡ Outc ¡ 1-­‑bit ¡ 0 ¡ 0 ¡ NT ¡ T ¡ 0 ¡ 1 ¡ T ¡ T ¡ 0 ¡ n ¡ T ¡ NT ¡ 1 ¡ 0 ¡ NT ¡ T ¡ 1 ¡ 1 ¡ T ¡ T ¡ T ¡ NT ¡ 2 ¡× ¡m ¡misspredic,ons ¡ Baer ¡p. ¡134 ¡

2-­‑Bit ¡Satura,ng ¡Counter ¡(Example) ¡

for(i=0 ¡; ¡i ¡< ¡m ¡; ¡i++) ¡ ¡ ¡ ¡ ¡ ¡ ¡for(j=0; ¡j<n ¡; ¡j++) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡begin ¡S1; ¡S2; ¡…; ¡Sk ¡end; ¡ i ¡← ¡0 ¡ m ¡≤ ¡0 ¡ n ¡≥ ¡0 ¡ j ¡← ¡0 ¡ S1; ¡S2; ¡…; ¡Sk ¡ j ¡< ¡n ¡ j←j+1 ¡ i←i+1 ¡ i ¡< ¡m ¡ i←i+1 ¡ i ¡ j ¡ Pred ¡ Outc ¡ 1-­‑bit ¡ State ¡ Pred ¡ 2-­‑bit ¡ 0 ¡ 0 ¡ NT ¡ T ¡ wNT ¡ NT ¡ 0 ¡ 1 ¡ T ¡ T ¡ sT ¡ T ¡ Outc ¡ T ¡ T ¡ 0 ¡ n ¡ T ¡ NT ¡ sT ¡ T ¡ 1 ¡ 0 ¡ NT ¡ T ¡ wT ¡ T ¡ NT ¡ T ¡ 1 ¡ 1 ¡ T ¡ T ¡ sT ¡ T ¡ T ¡ m ¡+ ¡1 ¡misspredic,ons ¡ T ¡ NT ¡ Baer ¡p. ¡134 ¡

Accuracy ¡of ¡Branch ¡Predic,on ¡

• Includes ¡uncondi,onal ¡branches ¡
• Predic,ons ¡are ¡associated ¡with ¡branches ¡aoer ¡each ¡branch’s ¡

first ¡execu,on ¡

3-­‑bit ¡counters ¡yield ¡only ¡ minor ¡improvements ¡ Baer ¡p. ¡135 ¡ Average ¡of ¡26 ¡traces ¡(IBM ¡379, ¡DEC ¡PDP-­‑11, ¡CDC ¡6400) ¡ Average ¡of ¡32 ¡traces ¡(MIPS ¡R2000, ¡Sun ¡SPARC, ¡DEC ¡VAX, ¡Motorola ¡68000) ¡ ¡ Fix ¡predic,on. ¡Determined ¡by ¡the ¡first ¡execu,on ¡of ¡the ¡branch. ¡ ¡

Where ¡to ¡store ¡the ¡Predic,on ¡

Need ¡one ¡(or ¡two) ¡bit ¡for ¡each ¡ ¡ possible ¡branch ¡address. ¡ Storing ¡predic,on ¡bits ¡ ¡ with ¡instruc,ons. ¡ Use ¡a ¡cache ¡(Branch ¡ ¡ Predic-on ¡Buffer ¡– ¡BPB). ¡ Solu'on: ¡ditch ¡the ¡tags. ¡ 32-­‑bit ¡address ¡ ¡ → ¡230 ¡ ¡entries ¡ Need ¡to ¡modify ¡ code ¡every ¡5 ¡instruc,ons. ¡ Many ¡more ¡bits ¡for ¡ tags ¡than ¡for ¡predic,ons. ¡

Baer ¡p. ¡136 ¡

Pabern ¡History ¡Table ¡(PHT) ¡

Use ¡selected ¡bits ¡from ¡PC ¡ to ¡index ¡ ¡(or ¡hash) ¡the ¡PHT. ¡ Aliasing: ¡mul,ple ¡branches ¡ may ¡index ¡the ¡same ¡PHT ¡entry. ¡ Performance ¡degrades ¡slightly. ¡ Baer ¡p. ¡136 ¡ Each ¡entry ¡of ¡the ¡PHP ¡ stores ¡the ¡state ¡of ¡a ¡ finite ¡state ¡machine ¡ associated ¡with ¡a ¡branch. ¡

Accuracy ¡of ¡Bimodal ¡Predictor ¡ (based ¡on ¡PHT) ¡

Based ¡on ¡10 ¡SPEC89 ¡traces. ¡ Baer ¡p. ¡137 ¡

Separate ¡PHT ¡ Embedded ¡in ¡Instruc,on ¡cache ¡

Where ¡the ¡Predictor ¡is ¡Stored? ¡

Alpha ¡21264: ¡1 ¡counter ¡per ¡ ¡ instruc,on? ¡(2K ¡counters) ¡ Sun ¡UltraSPARC: ¡ 2 ¡counters/cache ¡line ¡ (2K ¡counters) ¡ AMD ¡K5: ¡ 1 ¡counter/cache ¡line ¡ (1K ¡counters) ¡ MIPS ¡R10000: ¡ ¡ (512 ¡counters) ¡ IBM ¡PowerPC ¡620: ¡ ¡ (512 ¡counters) ¡ Intel ¡Pen'um: ¡ ¡ Combines ¡PHP ¡ ¡ with ¡Branch ¡Target ¡Buffer ¡ (512 ¡entries) ¡ Baer ¡p. ¡137 ¡

Feedback ¡and ¡Recovery ¡

Baer ¡p. ¡137 ¡ Feedback ¡

Feedback: ¡Bimodal ¡Predictor ¡

• Feedback: ¡update ¡2-­‑bit ¡counter ¡for ¡execu,ng ¡

branch ¡

• When ¡the ¡upda,ng ¡is ¡done? ¡

– When ¡the ¡actual ¡direc,on ¡is ¡found ¡(EX ¡stage) ¡

Other ¡predic,ons ¡of ¡the ¡same ¡branch ¡are ¡done. ¡

– When ¡the ¡branch ¡commits ¡

Even ¡more ¡predic,ons ¡are ¡done. ¡

– Specula,vely ¡when ¡the ¡predic,on ¡is ¡done ¡

Only ¡reinforces ¡predic,on ¡in ¡bimodal ¡predictor. ¡

Textbook ¡typo ¡(p. ¡137): ¡choice ¡for ¡the ¡,ming ¡of ¡the ¡“update”. ¡ ¡ Baer ¡p. ¡137 ¡

EX/commit ¡upda,ng ¡makes ¡lible ¡difference ¡in ¡performance. ¡

Local ¡× ¡Global ¡Predictor ¡

• Local: ¡ ¡

– Only ¡use ¡history ¡of ¡the ¡branch ¡to ¡be ¡predicted ¡

• Global: ¡

– Use ¡history ¡of ¡other ¡branches ¡that ¡precede ¡the ¡ branch ¡to ¡be ¡predicted. ¡ ¡

Baer ¡p. ¡138 ¡

Mo,va,on ¡for ¡Global ¡Predic,on ¡

• Example ¡from ¡SPEC ¡program ¡eqntoB: ¡

if ¡(aa ¡== ¡2) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡/* ¡b1 ¡*/ ¡ ¡ ¡ ¡ ¡aa ¡= ¡0; ¡ if ¡(bb ¡== ¡2) ¡ ¡ ¡ ¡ ¡ ¡ ¡/* ¡b2 ¡*/ ¡ ¡ ¡ ¡ ¡bb ¡= ¡0; ¡ if(aa ¡!= ¡bb){ ¡ ¡ ¡ ¡ ¡ ¡/* ¡b3 ¡*/ ¡ ¡ ¡ ¡ ¡ ¡ ¡…. ¡ } ¡

If ¡b1 ¡and ¡b2 ¡are ¡taken, ¡ then ¡b3 ¡is ¡not ¡taken. ¡

Baer ¡p. ¡138 ¡

Correlator ¡Predictor ¡

History ¡Register ¡

1 ¡inserted ¡to ¡the ¡ ¡ right ¡when ¡a ¡branch ¡ is ¡taken ¡(0 ¡otherwise) ¡ Shioed-­‑out ¡bits ¡ ¡ are ¡lost ¡

Two-­‑level ¡predictor. ¡

Baer ¡p. ¡139 ¡

Update ¡Problem ¡in ¡the ¡ Correlator ¡Predictor ¡

• PHT ¡is ¡updated ¡non-­‑

specula,vely ¡at ¡commit ¡

• stage. ¡
• What ¡is ¡the ¡problem ¡

with ¡non-­‑specula,ve ¡ updates ¡of ¡the ¡global ¡ register? ¡

Baer ¡p. ¡139 ¡

Upda,ng ¡the ¡Global ¡Register ¡in ¡the ¡ Correlator ¡Predictor ¡

if ¡(aa ¡== ¡2) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡/* ¡b1 ¡*/ ¡ ¡ ¡ ¡ ¡aa ¡= ¡0; ¡ if ¡(bb ¡== ¡2) ¡ ¡ ¡ ¡ ¡ ¡ ¡/* ¡b2 ¡*/ ¡ ¡ ¡ ¡ ¡bb ¡= ¡0; ¡ if(aa ¡!= ¡bb){ ¡ ¡ ¡ ¡ ¡ ¡/* ¡b3 ¡*/ ¡ ¡ ¡ ¡ ¡ ¡ ¡…. ¡ } ¡

Event ¡ Time ¡ Predic,on ¡of ¡b1 ¡ t ¡ Predic,on ¡of ¡b2 ¡ t+1 ¡ Predic,on ¡of ¡b3 ¡ t+2 ¡ Commit ¡of ¡b1 ¡ t+5 ¡ Branches ¡b1 ¡and ¡b2 ¡are ¡not ¡ include ¡in ¡the ¡predic,on ¡of ¡ branch ¡b3! ¡

Baer ¡p. ¡139 ¡

Upda,ng ¡the ¡Global ¡Register ¡in ¡the ¡ Correlator ¡Predictor ¡

if ¡(aa ¡== ¡2) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡/* ¡b1 ¡*/ ¡ ¡ ¡ ¡ ¡aa ¡= ¡0; ¡ if ¡(bb ¡== ¡2) ¡ ¡ ¡ ¡ ¡ ¡ ¡/* ¡b2 ¡*/ ¡ ¡ ¡ ¡ ¡bb ¡= ¡0; ¡ if(aa ¡!= ¡bb){ ¡ ¡ ¡ ¡ ¡ ¡/* ¡b3 ¡*/ ¡ ¡ ¡ ¡ ¡ ¡ ¡…. ¡ } ¡

Mispredic,ons ¡and ¡cache ¡misses ¡ affect ¡the ¡commit ¡,me ¡of ¡earlier ¡

• branches. ¡
• Two ¡consecu,ve ¡predic,ons ¡ ¡

¡ ¡of ¡a ¡branch ¡b ¡may ¡use ¡different ¡ ¡ ¡ancestors ¡of ¡b. ¡

• ¡Even ¡if ¡the ¡path ¡leading ¡to ¡ ¡

¡ ¡ ¡b ¡is ¡the ¡same ¡

Baer ¡p. ¡139 ¡

Solu,on ¡to ¡the ¡Update ¡Problem ¡in ¡the ¡ Correlator ¡Predictor ¡

• Update ¡Global ¡Register ¡

specula,vely ¡when ¡ predic,on ¡is ¡made. ¡ ¡

• New ¡problem: ¡ ¡

– Need ¡a ¡repair ¡mechanism ¡ – All ¡bits ¡aoer ¡a ¡mispredic,on ¡ are ¡from ¡branches ¡in ¡the ¡ wrong ¡path. ¡

Baer ¡p. ¡139 ¡

Repair ¡Mechanism ¡for ¡Global ¡Register ¡ in ¡the ¡Correlator ¡Predictor ¡

• Decode ¡Stage: ¡

– Checkpoint ¡current ¡GR ¡into ¡a ¡ FIFO ¡queue ¡

• Commit ¡Stage: ¡ ¡

– H: ¡head ¡of ¡the ¡queue ¡ – The ¡corresponding ¡check-­‑ pointed ¡GR ¡is ¡H. ¡ – Correct ¡predic,on: ¡discard ¡H ¡ – Incorrect ¡predic,on: ¡shio ¡ branch ¡outcome ¡into ¡H ¡and ¡ make ¡it ¡the ¡new ¡GR. ¡ ¡

Baer ¡p. ¡144 ¡

Op,miza,on ¡to ¡GR ¡Checkpoin,ng ¡

Put ¡into ¡the ¡queue ¡a ¡GR ¡ that ¡has ¡the ¡corrected ¡ bit ¡shioed ¡into ¡it. ¡

Baer ¡p. ¡144 ¡

Issues ¡with ¡Correlator ¡Predictor ¡

• For ¡small ¡PHTs ¡

– Performance ¡is ¡worse ¡than ¡local ¡predictors ¡

• It ¡does ¡not ¡use ¡the ¡loca,on ¡of ¡the ¡branch ¡in ¡

the ¡program ¡for ¡the ¡predic,on ¡

– May ¡introduce ¡excessive ¡aliasing ¡

• Solu,on ¡to ¡the ¡aliasing ¡problem: ¡

– Reintroduce ¡the ¡PC ¡in ¡the ¡indexing ¡of ¡PHT ¡

Baer ¡p. ¡140 ¡

gshare ¡Predictor ¡

A ¡common ¡hash ¡is ¡an ¡XOR ¡func,on. ¡

Baer ¡p. ¡141 ¡

Accuracy ¡and ¡Use ¡of ¡gshare ¡

• Almost ¡perfect ¡for ¡SPEC ¡
• FP95. ¡
• 0.83 ¡accuracy ¡for ¡SPEC ¡

INT95 ¡

– 0.65 ¡for ¡program ¡go ¡

AMD ¡K5 ¡ Sun ¡UltraSPARC ¡ IBM ¡Power4 ¡ Baer ¡p. ¡141 ¡

Example ¡

• Assume ¡n=4: ¡

– bimodal ¡mispredicts ¡1/5 ¡,mes ¡ – global ¡mispredicts ¡from ¡0 ¡to ¡5 ¡ ,mes ¡depending ¡on ¡other ¡ branches ¡in ¡the ¡loop ¡

• This ¡branch ¡has ¡a ¡fix ¡pabern: ¡

– “4 ¡taken, ¡1 ¡not ¡taken” ¡

• How ¡can ¡this ¡pabern ¡be ¡

learned? ¡

– Remember ¡the ¡history ¡of ¡ individual ¡branches ¡

• We ¡need ¡predictors ¡more ¡

abuned ¡to ¡locality ¡of ¡individual ¡ branches ¡

i ¡← ¡0 ¡ m ¡≤ ¡0 ¡ n ¡≥ ¡0 ¡ j ¡← ¡0 ¡ S1; ¡S2; ¡…; ¡Sk ¡ j ¡< ¡n ¡ j←j+1 ¡ i←i+1 ¡ i ¡< ¡m ¡ i←i+1 ¡ T ¡ NT ¡ Baer ¡p. ¡142 ¡

global-­‑set ¡predictor ¡

• First ¡Level: ¡A ¡global ¡shio ¡register ¡for ¡correla,ons ¡
• Second ¡Level: ¡A ¡set ¡of ¡mul,ple ¡PHTs ¡to ¡prevent ¡

aliasing ¡

– expensive ¡in ¡terms ¡of ¡storage ¡

• must ¡use ¡few ¡PHTs ¡to ¡be ¡viable ¡

Baer ¡p. ¡142/143 ¡

set-­‑global ¡predictor ¡

• Set ¡of ¡Branch ¡History ¡registers ¡(BHT) ¡
• A ¡single ¡global ¡PHT ¡

Baer ¡p. ¡143 ¡

set-­‑set ¡predictor ¡

• A ¡set ¡of ¡branch ¡history ¡registers ¡(BHT) ¡
• A ¡set ¡of ¡PHTs ¡

Baer ¡p. ¡143 ¡

Predic,ng ¡the ¡Branch ¡Target ¡

• When ¡is ¡the ¡target ¡of ¡a ¡branch ¡computed? ¡

– In ¡a ¡superscalar ¡architecture ¡(p.e., ¡the ¡IA-­‑32 ¡of ¡the ¡ Intel ¡P6) ¡aoer ¡several ¡pipeline ¡stages. ¡

• What ¡is ¡the ¡point ¡of ¡predic,ng ¡direc,on ¡early ¡

if ¡we ¡don’t ¡know ¡where ¡the ¡branch ¡goes? ¡

– Need ¡to ¡also ¡predict ¡the ¡branch ¡target ¡address. ¡

Baer ¡p. ¡145 ¡

Branch ¡Target ¡Buffer ¡(BTB) ¡

• A ¡cachelike ¡storage ¡that ¡records ¡branch ¡

addresses ¡and ¡associated ¡targets ¡

• If ¡there ¡is ¡a ¡hit ¡in ¡BTB ¡for ¡branch ¡predicted ¡

taken: ¡

– PC ¡← ¡Target ¡in ¡BTB ¡for ¡branch ¡

Baer ¡p. ¡146 ¡

Integrated ¡BTB-­‑PHT ¡

• BTB ¡needs ¡much ¡more ¡space ¡than ¡the ¡PHT ¡

– # ¡of ¡entries ¡is ¡limited ¡by ¡BTB. ¡ ¡

• BTB ¡must ¡be ¡accessed ¡on ¡a ¡single ¡cycle ¡

Baer ¡p. ¡146 ¡

Decoupled ¡BTB-­‑PHT ¡

• Parallel ¡BTB ¡and ¡PHT ¡access ¡
• if ¡ ¡PHT ¡say ¡‘taken’ ¡and ¡hit ¡in ¡BTB ¡

¡then ¡PC ¡← ¡Address ¡in ¡BTB ¡ ¡

Baer ¡p. ¡146 ¡

Decoupled ¡BTB-­‑PHT ¡

• For ¡space ¡efficiency: ¡

– Only ¡taken ¡branches ¡are ¡added ¡ to ¡BTB ¡

• They ¡are ¡added ¡at ¡the ¡backend ¡

when ¡the ¡outcome ¡is ¡known. ¡

IBM ¡PowerPC ¡620: ¡ ¡ 256-­‑entry, ¡2-­‑way ¡ ¡ set-­‑associa,ve ¡BTB ¡ 2K ¡counter ¡PHT ¡ Baer ¡p. ¡146 ¡

Integra,ng ¡the ¡BTB ¡with ¡the ¡Branch ¡ History ¡Table ¡(BHT) ¡

• ¡The ¡history ¡of ¡all ¡branches ¡needs ¡to ¡be ¡recorded ¡in ¡BTB+BHT ¡
• ¡Taken ¡and ¡not ¡taken ¡branches ¡need ¡to ¡be ¡included ¡

Most ¡likely, ¡it ¡is ¡not ¡the ¡ same ¡bit ¡field ¡from ¡the ¡PC ¡ that ¡is ¡used ¡to ¡index ¡the ¡BTB+BHT ¡ and ¡to ¡select ¡the ¡PHT ¡

Intel ¡P6 ¡ 4-­‑bit ¡local ¡history ¡ 512 ¡BTB ¡entries ¡ # ¡of ¡PHTs ¡not ¡published ¡

What ¡happens ¡on ¡a ¡BTB ¡miss? ¡ “Backward ¡taken, ¡forward ¡not ¡taken” ¡predic,on. ¡

Baer ¡p. ¡147 ¡

Two ¡Instances ¡of ¡Mispredic,ons ¡

• Direc,on ¡of ¡branch ¡b ¡is ¡mispredicted ¡

– Recovery ¡only ¡when ¡b ¡is ¡at ¡the ¡head ¡of ¡the ¡ reorder ¡buffer ¡

• lots ¡of ¡instruc,ons ¡to ¡be ¡nullified ¡
• BTB ¡miss ¡for ¡branch ¡b ¡(direc,on ¡is ¡correctly ¡

predicted ¡taken) ¡

– Cannot ¡fetch ¡instruc,ons ¡un,l ¡target ¡is ¡computed ¡

• only ¡affect ¡the ¡filling ¡of ¡the ¡front ¡end ¡

Baer ¡p. ¡147 ¡

misfetch ¡

• Branch ¡is ¡correctly ¡predicted ¡taken ¡and ¡
• There ¡is ¡a ¡hit ¡in ¡the ¡BTB ¡
• but ¡target ¡address ¡is ¡wrong ¡

– caused ¡by ¡indirect ¡jumps ¡

• more ¡common ¡in ¡object-­‑oriented ¡languages ¡

– can ¡modify ¡a ¡BTB ¡entry ¡aoer ¡two ¡misfetches ¡

• need ¡a ¡counter ¡with ¡each ¡BTB ¡entry ¡

Intel ¡Pen'um ¡M ¡ Has ¡an ¡indirect ¡branch ¡predictor ¡ ¡ associates ¡global ¡history ¡registers ¡ with ¡target ¡address ¡ ¡

Baer ¡p. ¡148 ¡

Chapter 2 — Instructions: Language of the Computer — 53

CMPUT ¡229 ¡Flashback: ¡ Procedure ¡Call ¡Instruc,ons ¡

• Procedure ¡call: ¡jump ¡and ¡link ¡

– Address ¡of ¡following ¡instruc,on ¡put ¡in ¡$ra ¡ – Jumps ¡to ¡target ¡address ¡

• Procedure ¡return: ¡jump ¡register ¡

– Copies ¡$ra ¡to ¡program ¡counter ¡ – Can ¡also ¡be ¡used ¡for ¡computed ¡jumps ¡

• e.g., ¡for ¡case/switch ¡statements ¡

jal ¡ ¡ ¡ProcedureLabel ¡ ¡ ¡ ¡ ¡ ¡ ¡ jr ¡ ¡ ¡$ra ¡ ¡ ¡ ¡ ¡ ¡ ¡

P-­‑H ¡p. ¡113 ¡

Chapter 2 — Instructions: Language of the Computer — 54

Example ¡fact(3) ¡

MIPS ¡assembly: ¡ fact: ¡ ¡sub ¡$sp, ¡$sp, ¡8 ¡ ¡# ¡Make ¡room ¡in ¡stack ¡for ¡2 ¡more ¡items ¡ ¡sw ¡ ¡$ra, ¡4($sp) ¡# ¡save ¡the ¡return ¡address ¡ ¡sw ¡ ¡$a0, ¡0($sp) ¡# ¡save ¡the ¡argument ¡n ¡ ¡slt ¡ ¡$t0, ¡$a0, ¡1 ¡# ¡if ¡($a0<1) ¡then ¡$t0←1 ¡else ¡$t0 ¡← ¡0 ¡ ¡beq ¡$t0, ¡$zero, ¡L1 ¡# ¡ ¡if ¡n ¡≥ ¡1, ¡go ¡to ¡L1 ¡ ¡add ¡$v0, ¡$zero, ¡1 ¡# ¡ ¡return ¡1 ¡ ¡add ¡$sp, ¡$sp, ¡8 ¡# ¡ ¡pop ¡two ¡items ¡from ¡the ¡stack ¡ ¡jr ¡ ¡ ¡ ¡ ¡$ra ¡ ¡# ¡ ¡return ¡to ¡the ¡instruc,on ¡aoer ¡jal ¡ L1: ¡ ¡ ¡ ¡sub ¡ ¡ ¡$a0, ¡$a0, ¡1 ¡# ¡ ¡subtract ¡1 ¡from ¡argument ¡ ¡jal ¡ ¡ ¡fact: ¡ ¡# ¡ ¡call ¡fact(n-­‑1) ¡ ¡lw ¡$a0, ¡0($sp) ¡# ¡ ¡just ¡returned ¡from ¡jal: ¡restore ¡n ¡ ¡lw ¡$ra, ¡4($sp) ¡# ¡ ¡restore ¡the ¡return ¡address ¡ ¡add ¡$sp, ¡$sp, ¡8 ¡# ¡ ¡pop ¡two ¡items ¡from ¡the ¡stack ¡ ¡mul ¡$v0, ¡$a0, ¡$v0 ¡# ¡return ¡n*fact(n-­‑1) ¡ ¡jr ¡ ¡$ra ¡ ¡# ¡return ¡to ¡the ¡caller ¡

$t0 ¡ $v0 ¡ 3 ¡ $a0 ¡

Processor ¡

0x1000 ¡2000 ¡ $sp ¡ $ra ¡

$sp ¡

Memory ¡

↑ ¡High ¡Address ¡

0x1000 ¡3FFB ¡ ¡addi ¡$a0,$zero,3 ¡ 0x1000 ¡4000 ¡ ¡jal ¡fact ¡ 0x1000 ¡4004 ¡ ¡…. ¡

↓ ¡Low ¡Address ¡

Pat.-­‑Hen. ¡pp. ¡136-­‑138 ¡ and ¡A-­‑26/A-­‑29 ¡

int ¡fact ¡( ¡int ¡n ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡{ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡if ¡(n ¡< ¡1) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡return(1); ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡else ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡return(n ¡* ¡fact(n-­‑1)); ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡} ¡

Chapter 2 — Instructions: Language of the Computer — 55

Example ¡fact(3) ¡

MIPS ¡assembly: ¡ fact: ¡ ¡sub ¡$sp, ¡$sp, ¡8 ¡ ¡# ¡Make ¡room ¡in ¡stack ¡for ¡2 ¡more ¡items ¡ ¡sw ¡ ¡$ra, ¡4($sp) ¡# ¡save ¡the ¡return ¡address ¡ ¡sw ¡ ¡$a0, ¡0($sp) ¡# ¡save ¡the ¡argument ¡n ¡ ¡slt ¡ ¡$t0, ¡$a0, ¡1 ¡# ¡if ¡($a0<1) ¡then ¡$t0←1 ¡else ¡$t0 ¡← ¡0 ¡ ¡beq ¡$t0, ¡$zero, ¡L1 ¡# ¡ ¡if ¡n ¡≥ ¡1, ¡go ¡to ¡L1 ¡ ¡add ¡$v0, ¡$zero, ¡1 ¡# ¡ ¡return ¡1 ¡ ¡add ¡$sp, ¡$sp, ¡8 ¡# ¡ ¡pop ¡two ¡items ¡from ¡the ¡stack ¡ ¡jr ¡ ¡ ¡ ¡ ¡$ra ¡ ¡# ¡ ¡return ¡to ¡the ¡instruc,on ¡aoer ¡jal ¡ L1: ¡ ¡ ¡ ¡sub ¡ ¡ ¡$a0, ¡$a0, ¡1 ¡# ¡ ¡subtract ¡1 ¡from ¡argument ¡ ¡jal ¡ ¡ ¡fact: ¡ ¡# ¡ ¡call ¡fact(n-­‑1) ¡ ¡lw ¡$a0, ¡0($sp) ¡# ¡ ¡just ¡returned ¡from ¡jal: ¡restore ¡n ¡ ¡lw ¡$ra, ¡4($sp) ¡# ¡ ¡restore ¡the ¡return ¡address ¡ ¡add ¡$sp, ¡$sp, ¡8 ¡# ¡ ¡pop ¡two ¡items ¡from ¡the ¡stack ¡ ¡mul ¡$v0, ¡$a0, ¡$v0 ¡# ¡return ¡n*fact(n-­‑1) ¡ ¡jr ¡ ¡$ra ¡ ¡# ¡return ¡to ¡the ¡caller ¡

$t0 ¡ $v0 ¡ 3 ¡ $a0 ¡

Processor ¡

0x1000 ¡2000 ¡ $sp ¡ 0x1000 ¡4004 ¡ $ra ¡

Memory ¡

↑ ¡High ¡Address ¡

0x1000 ¡3FFB ¡ ¡addi ¡$a0,$zero,3 ¡ 0x1000 ¡4000 ¡ ¡jal ¡fact ¡ 0x1000 ¡4004 ¡ ¡…. ¡

↓ ¡Low ¡Address ¡

Pat.-­‑Hen. ¡pp. ¡136-­‑138 ¡ and ¡A-­‑26/A-­‑29 ¡

$sp ¡ int ¡fact ¡( ¡int ¡n ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡{ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡if ¡(n ¡< ¡1) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡return(1); ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡else ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡return(n ¡* ¡fact(n-­‑1)); ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡} ¡

Chapter 2 — Instructions: Language of the Computer — 56

Example ¡fact(3) ¡

MIPS ¡assembly: ¡ fact: ¡ ¡sub ¡$sp, ¡$sp, ¡8 ¡ ¡# ¡Make ¡room ¡in ¡stack ¡for ¡2 ¡more ¡items ¡ ¡sw ¡ ¡$ra, ¡4($sp) ¡# ¡save ¡the ¡return ¡address ¡ ¡sw ¡ ¡$a0, ¡0($sp) ¡# ¡save ¡the ¡argument ¡n ¡ ¡slt ¡ ¡$t0, ¡$a0, ¡1 ¡# ¡if ¡($a0<1) ¡then ¡$t0←1 ¡else ¡$t0 ¡← ¡0 ¡ ¡beq ¡$t0, ¡$zero, ¡L1 ¡# ¡ ¡if ¡n ¡≥ ¡1, ¡go ¡to ¡L1 ¡ ¡add ¡$v0, ¡$zero, ¡1 ¡# ¡ ¡return ¡1 ¡ ¡add ¡$sp, ¡$sp, ¡8 ¡# ¡ ¡pop ¡two ¡items ¡from ¡the ¡stack ¡ ¡jr ¡ ¡ ¡ ¡ ¡$ra ¡ ¡# ¡ ¡return ¡to ¡the ¡instruc,on ¡aoer ¡jal ¡ L1: ¡ ¡ ¡ ¡sub ¡ ¡ ¡$a0, ¡$a0, ¡1 ¡# ¡ ¡subtract ¡1 ¡from ¡argument ¡ ¡jal ¡ ¡ ¡fact: ¡ ¡# ¡ ¡call ¡fact(n-­‑1) ¡ ¡lw ¡$a0, ¡0($sp) ¡# ¡ ¡just ¡returned ¡from ¡jal: ¡restore ¡n ¡ ¡lw ¡$ra, ¡4($sp) ¡# ¡ ¡restore ¡the ¡return ¡address ¡ ¡add ¡$sp, ¡$sp, ¡8 ¡# ¡ ¡pop ¡two ¡items ¡from ¡the ¡stack ¡ ¡mul ¡$v0, ¡$a0, ¡$v0 ¡# ¡return ¡n*fact(n-­‑1) ¡ ¡jr ¡ ¡$ra ¡ ¡# ¡return ¡to ¡the ¡caller ¡

1 ¡ $t0 ¡ 6 ¡ $v0 ¡ 3 ¡ $a0 ¡

Processor ¡

0x1000 ¡2000 ¡ $sp ¡ 0x1000 ¡4004 ¡ $ra ¡

0x1000 ¡4004 ¡ 3 ¡ 0x1000 ¡6FEC ¡ 2 ¡ 0x1000 ¡6FEC ¡ 1 ¡

$sp ¡

Memory ¡

↑ ¡High ¡Address ¡

0x1000 ¡3FFB ¡ ¡addi ¡$a0,$zero,3 ¡ 0x1000 ¡4000 ¡ ¡jal ¡fact ¡ 0x1000 ¡4004 ¡ ¡…. ¡

↓ ¡Low ¡Address ¡

0x1000 ¡6FEC ¡ 0 ¡

Pat.-­‑Hen. ¡pp. ¡136-­‑138 ¡ and ¡A-­‑26/A-­‑29 ¡

int ¡fact ¡( ¡int ¡n ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡{ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡if ¡(n ¡< ¡1) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡return(1); ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡else ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡return(n ¡* ¡fact(n-­‑1)); ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡} ¡

Chapter 2 — Instructions: Language of the Computer — 57

Example ¡fact(3) ¡

MIPS ¡assembly: ¡ fact: ¡ ¡sub ¡$sp, ¡$sp, ¡8 ¡ ¡# ¡Make ¡room ¡in ¡stack ¡for ¡2 ¡more ¡items ¡ ¡sw ¡ ¡$ra, ¡4($sp) ¡# ¡save ¡the ¡return ¡address ¡ ¡sw ¡ ¡$a0, ¡0($sp) ¡# ¡save ¡the ¡argument ¡n ¡ ¡slt ¡ ¡$t0, ¡$a0, ¡1 ¡# ¡if ¡($a0<1) ¡then ¡$t0←1 ¡else ¡$t0 ¡← ¡0 ¡ ¡beq ¡$t0, ¡$zero, ¡L1 ¡# ¡ ¡if ¡n ¡≥ ¡1, ¡go ¡to ¡L1 ¡ ¡add ¡$v0, ¡$zero, ¡1 ¡# ¡ ¡return ¡1 ¡ ¡add ¡$sp, ¡$sp, ¡8 ¡# ¡ ¡pop ¡two ¡items ¡from ¡the ¡stack ¡ ¡jr ¡ ¡ ¡ ¡ ¡$ra ¡ ¡# ¡ ¡return ¡to ¡the ¡instruc,on ¡aoer ¡jal ¡ L1: ¡ ¡ ¡ ¡sub ¡ ¡ ¡$a0, ¡$a0, ¡1 ¡# ¡ ¡subtract ¡1 ¡from ¡argument ¡ ¡jal ¡ ¡ ¡fact: ¡ ¡# ¡ ¡call ¡fact(n-­‑1) ¡ ¡lw ¡$a0, ¡0($sp) ¡# ¡ ¡just ¡returned ¡from ¡jal: ¡restore ¡n ¡ ¡lw ¡$ra, ¡4($sp) ¡# ¡ ¡restore ¡the ¡return ¡address ¡ ¡add ¡$sp, ¡$sp, ¡8 ¡# ¡ ¡pop ¡two ¡items ¡from ¡the ¡stack ¡ ¡mul ¡$v0, ¡$a0, ¡$v0 ¡# ¡return ¡n*fact(n-­‑1) ¡ ¡jr ¡ ¡$ra ¡ ¡# ¡return ¡to ¡the ¡caller ¡

1 ¡ $t0 ¡ 6 ¡ $v0 ¡ 3 ¡ $a0 ¡

Processor ¡

0x1000 ¡2000 ¡ $sp ¡ 0x1000 ¡4004 ¡ $ra ¡

0x1000 ¡4004 ¡ 3 ¡ 0x1000 ¡6FEC ¡ 2 ¡ 0x1000 ¡6FEC ¡ 1 ¡

$sp ¡

Memory ¡

↑ ¡High ¡Address ¡

0x1000 ¡3FFB ¡ ¡addi ¡$a0,$zero,3 ¡ 0x1000 ¡4000 ¡ ¡jal ¡fact ¡ 0x1000 ¡4004 ¡ ¡…. ¡

↓ ¡Low ¡Address ¡

0x1000 ¡6FEC ¡ 0 ¡

Pat.-­‑Hen. ¡pp. ¡136-­‑138 ¡ and ¡A-­‑26/A-­‑29 ¡

int ¡fact ¡( ¡int ¡n ¡) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡{ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡if ¡(n ¡< ¡1) ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡return(1); ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡else ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡return(n ¡* ¡fact(n-­‑1)); ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡} ¡

Call/Return ¡Mechanisms ¡

foo(….) ¡ { ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x10001000 ¡ ¡jal ¡bar ¡ 0x10001004 ¡ ¡ ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x10001800 ¡ ¡jal ¡bar ¡ 0x10001804 ¡ ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x10001CE4 ¡ ¡jal ¡bar ¡ 0x10001CE8 ¡ ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡... ¡ } ¡ bar(….) ¡ { ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x1000F0E0 ¡jal ¡baz ¡ 0x1000F0E4 ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡... ¡ ¡jar ¡$ra ¡ } ¡ baz(….) ¡ { ¡ ¡ ¡ ¡ ¡ ¡... ¡ ¡ ¡jar ¡$ra ¡ } ¡

How ¡to ¡predict ¡the ¡next ¡instruc,on ¡ to ¡be ¡executed ¡aoer ¡the ¡return? ¡ We ¡know ¡that ¡the ¡branch ¡is ¡always ¡taken. ¡ The ¡return ¡address ¡is ¡known ¡since ¡ the ¡,me ¡of ¡each ¡call! ¡

Baer ¡p. ¡150 ¡

Return ¡Address ¡Stack ¡

foo(….) ¡ { ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x10001000 ¡ ¡jal ¡bar ¡ 0x10001004 ¡ ¡ ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x10001800 ¡ ¡jal ¡bar ¡ 0x10001804 ¡ ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x10001CE4 ¡ ¡jal ¡bar ¡ 0x10001CE8 ¡ ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡... ¡ } ¡ bar(….) ¡ { ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x1000F0E0 ¡jal ¡baz ¡ 0x1000F0E4 ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡... ¡ ¡jar ¡$ra ¡ } ¡ baz(….) ¡ { ¡ ¡ ¡ ¡ ¡ ¡... ¡ ¡ ¡jar ¡$ra ¡ } ¡

Pop ¡address ¡from ¡stack ¡at ¡return. ¡ Push ¡return ¡address ¡into ¡stack ¡ at ¡the ¡func,on ¡call. ¡ Stack ¡is ¡a ¡circular ¡FIFO. ¡Wrong ¡address ¡on ¡overflow. ¡ ¡ What ¡is ¡the ¡best ¡strategy ¡to ¡handle ¡FIFO ¡overflow? ¡ Baer ¡p. ¡150 ¡

Specula,ve ¡calls ¡and ¡returns ¡

foo(….) ¡ { ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x10000FFC ¡ ¡beq ¡… ¡target ¡ 0x10001000 ¡ ¡jal ¡bar ¡ 0x10001004 ¡ ¡ ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ target: ¡ 0x10001800 ¡ ¡jal ¡baz ¡ 0x10001804 ¡ ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x10001CE4 ¡ ¡jal ¡bar ¡ 0x10001CE8 ¡ ¡… ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡... ¡ } ¡ bar(….) ¡ { ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡… ¡ 0x1000F0E0 ¡bne ¡… ¡next ¡ 0x1000F0E4 ¡jr ¡$ra ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡... ¡ next: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡…. ¡ } ¡

Func,on ¡calls ¡and ¡returns ¡executed ¡ in ¡the ¡predicted ¡path ¡of ¡a ¡branch ¡ change ¡the ¡return ¡address ¡stack. ¡ ¡ ¡ Need ¡a ¡recovery ¡ mechanism ¡for ¡the ¡ return ¡address ¡

• stack. ¡ ¡ ¡

If ¡a ¡single ¡path ¡is ¡followed, ¡save ¡the ¡ pointer ¡to ¡the ¡top ¡of ¡the ¡stack ¡on ¡a ¡ branch ¡predic,on ¡and ¡restore ¡it ¡in ¡ case ¡of ¡mispredic,on. ¡

Baer ¡p. ¡150 ¡

Return ¡Stacks ¡

MIPS ¡R10000: ¡1-­‑entry ¡return ¡stack ¡ DEC ¡Alpha ¡21164: ¡ 12-­‑entry ¡return ¡stack ¡ Intel ¡Pen,um ¡III: ¡16-­‑entry ¡return ¡stack ¡

Baer ¡p. ¡151 ¡

A ¡different ¡way ¡of ¡doing ¡things… ¡

Don’t ¡know ¡which ¡way ¡to ¡go? ¡ “Some ¡people ¡go ¡both ¡ways.” ¡

(Scarecrow, ¡The ¡Wizard ¡of ¡Oz) ¡

Baer ¡p. ¡151 ¡

IBM ¡System ¡360/91 ¡

• Upon ¡decoding ¡a ¡branch: ¡

– fetch, ¡decode, ¡and ¡enqueue ¡both ¡the ¡taken ¡and ¡ the ¡not ¡taken ¡paths ¡into ¡separate ¡buffers ¡

• Upon ¡branch ¡resolu,on: ¡

– one ¡buffer ¡becomes ¡the ¡execu,on ¡path ¡ – the ¡other ¡is ¡discarded ¡

Baer ¡p. ¡151 ¡

In ¡a ¡restricted ¡version ¡… ¡

Branch ¡is ¡ ¡ predicted ¡ ¡ taken ¡ There ¡is ¡a ¡ BTB ¡hit ¡ Instruc,on ¡Cache ¡Line: ¡

Branch ¡Instruc,on ¡ Resume ¡Buffer: ¡

@#$&% ¡ mispredic,on! ¡

Fetch ¡from ¡Resume ¡Buffer! ¡ MIPS ¡R10000 ¡

Intel ¡P6 ¡

Fall-­‑through ¡instruc,ons ¡in ¡cache ¡line ¡ Baer ¡p. ¡151 ¡

Loop ¡Detector ¡

• A ¡separate ¡loop ¡predictor ¡detects ¡loop ¡

paberns: ¡

– TTTTTTTNTTTTTTTNTTTTTTTNTTTTTTTNTT…. ¡

• Uses ¡a ¡separate ¡counter ¡for ¡each ¡recognized ¡

loop ¡

Intel ¡Pen,um ¡M ¡

Baer ¡p. ¡151 ¡

Sophis,cated ¡Predictors ¡

• Tension: ¡

– Branch ¡Correla,on ¡(global ¡informa,on) ¡× ¡Individual ¡Branch ¡ Paberns ¡(local ¡informa,on) ¡

• neutral ¡aliasing ¡

– ¡between ¡branches ¡biased ¡the ¡same ¡way ¡

• destruc-ve ¡aliasing ¡

– between ¡branches ¡with ¡opposite ¡bias ¡

• bias ¡bit ¡

– added ¡to ¡BTB ¡ – PHT ¡predicts ¡if ¡direc,on ¡agrees ¡with ¡the ¡bias ¡bit ¡

• two ¡branches ¡with ¡strong ¡opposite ¡bias ¡that ¡alias ¡do ¡not ¡destroy ¡

each ¡other ¡predic,on. ¡

Baer ¡p. ¡152 ¡

skewed ¡predictor ¡

• Goal: ¡reduce ¡aliasing ¡
• Use ¡three ¡PHTs ¡

– different ¡hashing ¡func,on ¡for ¡each ¡PHT ¡ – Take ¡majority ¡vote ¡ ¡

Baer ¡p. ¡153 ¡

hybrid ¡(or ¡combining) ¡predictor ¡

Two ¡different ¡predic,on ¡strategies ¡ Tournament ¡predictor: ¡ predicts ¡which ¡strategy ¡ should ¡be ¡used ¡

Baer ¡p. ¡156 ¡

Tournament ¡Predictor ¡

Baer ¡p. ¡155 ¡