Energy-Efficient Circuit Design Kirk Pruhs with - - PowerPoint PPT Presentation

Energy-­‑Efficient ¡Circuit ¡Design ¡ ¡

Kirk ¡Pruhs ¡

¡ with ¡Antonios ¡Antoniadis, ¡Neal ¡Barcelo, ¡ Michael ¡Nugent, ¡and ¡Michele ¡Scquizzato ¡

Moore’s ¡Gap ¡

• Moore’s ¡Law: ¡Transistor ¡density ¡doubles ¡every ¡18-­‑24 ¡
• months. ¡
• Computer ¡performance ¡has ¡not ¡kept ¡pace ¡over ¡the ¡last ¡10 ¡

years ¡due ¡to ¡the ¡prohibiRve ¡cost ¡of ¡cooling ¡such ¡a ¡high ¡ density ¡of ¡switches. ¡ ¡The ¡result ¡is ¡“Moore’s ¡Gap”. ¡

• One ¡possible ¡parRal ¡soluRon: ¡Near ¡Threshold ¡CompuRng ¡

Transistors ¡101 ¡

• The ¡building ¡blocks ¡of ¡computers ¡
• Acts ¡as ¡a ¡switch ¡when ¡supplied ¡

with ¡a ¡high ¡voltage ¡

• Threshold ¡Voltage: ¡The ¡lowest ¡

voltage ¡at ¡which ¡the ¡switch ¡works ¡ (ideally) ¡

• In ¡reality, ¡the ¡probability ¡that ¡the ¡

switch ¡works ¡depends ¡on ¡the ¡ difference ¡between ¡the ¡supply ¡and ¡ threshold ¡voltages. ¡

High ¡Voltage: ¡ Low ¡Voltage: ¡ Open ¡or ¡ Closed? ¡ ?? ¡ Threshold ¡ ¡ Voltage ¡ Voltage ¡to ¡turn ¡“on” ¡

Choosing ¡the ¡Supply ¡Voltage ¡

• TradiRonal ¡soluRon: ¡Increase ¡supply ¡voltage ¡

so ¡that ¡the ¡probability ¡of ¡error ¡is ¡negligible. ¡

• Benefits: ¡

– Increased ¡reliability ¡ – Decreased ¡delays ¡

Near-­‑Threshold ¡CompuRng ¡

• Set ¡the ¡supply ¡voltage ¡

closer ¡to ¡the ¡threshold ¡ voltage ¡

• Save ¡energy ¡per ¡

transistor ¡

• How ¡to ¡handle ¡the ¡

decreased ¡transistor ¡ reliability? ¡

Voltage ¡ Failure ¡ Probability ¡

SoluRon: ¡Fault-­‑Tolerant ¡Circuits ¡

• TradiRonal ¡Approach: ¡

– Smaller ¡number ¡of ¡ transistors ¡ – Less ¡fault ¡tolerant ¡ – Higher ¡energy ¡per ¡ transistor ¡

• Near-­‑Threshold ¡

Approach ¡

– Larger ¡number ¡of ¡ transistors ¡ – More ¡fault ¡tolerant ¡ – Lower ¡energy ¡per ¡ transistor ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

• vs. ¡

SRAM ¡circuits ¡

Balancing ¡Act ¡

How ¡can ¡we ¡design ¡fault-­‑tolerant ¡circuits ¡that ¡ balance ¡the ¡conflicRng ¡demands ¡of ¡energy ¡ efficiency ¡per ¡transistor ¡and ¡the ¡number ¡of ¡ transistors? ¡

Modeling: ¡Abstract ¡from ¡Transistors ¡to ¡ Gates ¡

• Gates ¡are ¡composed ¡of ¡

transistors, ¡e.g., ¡

– High ¡Voltage: ¡1 ¡ – Low ¡Voltage: ¡0 ¡

Two ¡transistor ¡AND ¡gate ¡

Modeling: ¡Energy-­‑Error ¡RelaRonship ¡

• For ¡each ¡gate ¡g ¡we ¡can ¡

choose ¡voltage ¡supply ¡ v ¡

– Induces ¡energy ¡usage ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ – Probability ¡of ¡failure ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ εg ¡= ¡2-­‑v ¡ – Therefore, ¡failure-­‑to-­‑ energy ¡funcRon ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ E(ε) ¡= ¡log2 ¡(1/ε) ¡

Voltage ¡ Failure ¡ Probability ¡

Modeling: ¡Error ¡ Example ¡– ¡3 ¡AND ¡Gates ¡

Each ¡gate ¡fails ¡independently ¡with ¡probability ¡𝜗 ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

0 ¡ 1 ¡ 1 ¡ 1 ¡

Modeling: ¡Error ¡ Example ¡– ¡3 ¡AND ¡Gates ¡

Each ¡gate ¡fails ¡independently ¡with ¡probability ¡𝜗 ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

0 ¡ 1 ¡ 1 ¡ 1 ¡

Modeling: ¡Error ¡ Example ¡– ¡3 ¡AND ¡Gates ¡

Each ¡gate ¡fails ¡independently ¡with ¡probability ¡𝜗 ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

0 ¡ 1 ¡ 1 ¡ 1 ¡

0 ¡

Modeling: ¡Error ¡ Example ¡– ¡3 ¡AND ¡Gates ¡

Each ¡gate ¡fails ¡independently ¡with ¡probability ¡𝜗 ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

0 ¡ 1 ¡ 1 ¡ 1 ¡

0 ¡

Modeling: ¡Error ¡ Example ¡– ¡3 ¡AND ¡Gates ¡

Each ¡gate ¡fails ¡independently ¡with ¡probability ¡𝜗 ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

0 ¡ 1 ¡ 1 ¡ 1 ¡

0 ¡ 0 ¡

Modeling: ¡Error ¡ Example ¡– ¡3 ¡AND ¡Gates ¡

Each ¡gate ¡fails ¡independently ¡with ¡probability ¡𝜗 ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

0 ¡ 1 ¡ 1 ¡ 1 ¡

0 ¡ 0 ¡

Modeling: ¡Error ¡ Example ¡– ¡3 ¡AND ¡Gates ¡

Each ¡gate ¡fails ¡independently ¡with ¡probability ¡𝜗 ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

𝜗 ¡

¡ ¡

0 ¡ 1 ¡ 1 ¡ 1 ¡

0 ¡ 0 ¡ 0 ¡

• What ¡are ¡some ¡interesRng ¡

quesRons ¡in ¡this ¡sehng ¡that ¡might ¡ be ¡tractable? ¡

– Most ¡natural: ¡Given ¡a ¡funcRon/ relaRon, ¡what ¡is ¡the ¡least ¡energy ¡ circuit ¡layout ¡and ¡threshold ¡voltage ¡ sehng ¡to ¡compute ¡that ¡funcRon? ¡

• Way ¡too ¡hard ¡even ¡without ¡gate ¡faults! ¡

First ¡QuesRon ¡We ¡Asked ¡Ourselves ¡ Aker ¡Modeling ¡

Our ¡Results ¡

[ITCS ¡14] ¡

• General ¡lower ¡bound ¡on ¡energy ¡required ¡to ¡reliably ¡

compute ¡a ¡relaRon. ¡

• General ¡upper ¡bound ¡on ¡energy ¡required ¡to ¡reliably ¡

compute ¡a ¡relaRon. ¡

• Instances ¡where ¡heterogeneous ¡voltages ¡are ¡not ¡helpful. ¡
• Instances ¡where ¡heterogeneous ¡voltages ¡are ¡helpful. ¡

[To ¡be ¡submi6ed ¡to ¡Green ¡Compu;ng ¡Conference ¡14] ¡

• Hardness ¡and ¡approximaRon ¡for ¡compuRng ¡the ¡minimum ¡

energy ¡for ¡a ¡given ¡circuit. ¡

Our ¡Results ¡

[ITCS ¡14] ¡

• General ¡lower ¡bound ¡on ¡energy ¡required ¡to ¡reliably ¡

compute ¡a ¡relaRon. ¡

• General ¡upper ¡bound ¡on ¡energy ¡required ¡to ¡reliably ¡

compute ¡a ¡relaRon. ¡

• Instances ¡where ¡heterogeneous ¡voltages ¡are ¡not ¡helpful. ¡
• Instances ¡where ¡heterogeneous ¡voltages ¡are ¡helpful. ¡

[To ¡be ¡submi6ed ¡to ¡Green ¡Compu;ng ¡Conference ¡14] ¡

• Hardness ¡and ¡approximaRon ¡for ¡compuRng ¡the ¡minimum ¡

energy ¡for ¡a ¡given ¡circuit. ¡

Lower ¡Bound ¡ Our ¡Results ¡

Theorem: ¡Given ¡ ¡and ¡a ¡relaRon ¡ ¡with ¡sensiRvity ¡, ¡ any ¡circuit ¡that ¡computes ¡ ¡w.p. ¡ ¡requires ¡Ω(s ¡log ¡s ¡ (1-­‑2√δ)/δ) ¡energy. ¡ ¡

• The ¡sensiRvity ¡of ¡ ¡on ¡an ¡input ¡ ¡is ¡the ¡number ¡of ¡

bits ¡of ¡ ¡that, ¡if ¡flipped, ¡change ¡the ¡output ¡of ¡. ¡ ¡

• The ¡sensiRvity ¡of ¡ ¡is ¡the ¡maximum ¡sensiRvity ¡of ¡ ¡
• ver ¡all ¡inputs. ¡

¡ . ¡

Energy ¡Lower ¡Bound ¡ Proof ¡Idea ¡

• Fault-­‑tolerant ¡lower ¡bound ¡gives ¡a ¡lower ¡bound ¡on ¡

circuit ¡size ¡for ¡each ¡fixed ¡𝜗. ¡

• Energy ¡lower ¡bound ¡follows ¡from ¡finding ¡the ¡𝜗 ¡that ¡

minimizes ¡the ¡circuit ¡energy. ¡

Energy ¡

𝜗 ¡

Our ¡Results ¡

[ITCS ¡14] ¡

• General ¡lower ¡bound ¡on ¡energy ¡required ¡to ¡reliably ¡

compute ¡a ¡relaRon. ¡

• General ¡upper ¡bound ¡on ¡energy ¡required ¡to ¡reliably ¡

compute ¡a ¡relaRon. ¡

• Instances ¡where ¡heterogeneous ¡voltages ¡are ¡not ¡helpful. ¡
• Instances ¡where ¡heterogeneous ¡voltages ¡are ¡helpful. ¡

[To ¡be ¡submi6ed ¡to ¡Green ¡Compu;ng ¡Conference ¡14] ¡

• Hardness ¡and ¡approximaRon ¡for ¡compuRng ¡the ¡minimum ¡

energy ¡for ¡a ¡given ¡circuit. ¡

Upper ¡Bound ¡

Theorem: ¡Given ¡a ¡circuit ¡with ¡ ¡gates ¡that ¡ computes ¡a ¡relaRon ¡ ¡(with ¡no ¡failures), ¡there ¡is ¡a ¡ circuit ¡that ¡uses ¡O(N ¡log ¡(N/δ)) ¡energy ¡and ¡ correctly ¡computes ¡the ¡relaRon ¡with ¡probability ¡ 1-­‑δ ¡ ¡ ¡

Energy ¡Upper ¡Bound ¡ Proof ¡Idea ¡

• Fault-­‑tolerant ¡upper ¡bound ¡gives ¡a ¡construcRon ¡with ¡

different ¡circuit ¡size ¡for ¡each ¡fixed ¡𝜗. ¡

• Energy ¡upper ¡bound ¡follows ¡from ¡finding ¡the ¡𝜗 ¡that ¡

minimizes ¡the ¡circuit ¡energy. ¡

Energy ¡

𝜗 ¡

Our ¡Results ¡

[ITCS ¡14] ¡

• General ¡lower ¡bound ¡on ¡energy ¡required ¡to ¡reliably ¡

compute ¡a ¡relaRon. ¡

• General ¡upper ¡bound ¡on ¡energy ¡required ¡to ¡reliably ¡

compute ¡a ¡relaRon. ¡

• Instances ¡where ¡heterogeneous ¡voltages ¡are ¡not ¡helpful. ¡
• Instances ¡where ¡heterogeneous ¡voltages ¡are ¡helpful. ¡

[To ¡be ¡submi6ed ¡to ¡Green ¡Compu;ng ¡Conference ¡14] ¡

• Hardness ¡and ¡approximaRon ¡for ¡compuRng ¡the ¡minimum ¡

energy ¡for ¡a ¡given ¡circuit. ¡

Heterogeneous ¡vs. ¡Homogeneous ¡ Voltage ¡Supply ¡

• Homogeneous ¡Voltage ¡Supply: ¡supply ¡voltage ¡must ¡be ¡

the ¡same ¡for ¡all ¡gates ¡g ¡ ¡

• Heterogeneous ¡Voltage ¡Supply: ¡Each ¡gate ¡ ¡may ¡have ¡a ¡

different ¡supply ¡voltage, ¡and ¡hence ¡difference ¡failure ¡ rate ¡εg ¡

• Previous ¡upper ¡bound ¡uses ¡homogeneous ¡voltages. ¡
• Previous ¡lower ¡bound ¡holds ¡for ¡heterogeneous ¡
• voltages. ¡

Simple ¡Example ¡

Goal: ¡Minimize ¡energy ¡while ¡obtaining ¡probability ¡of ¡ correctness ¡0.75 ¡with ¡E(ε)=log2 ¡1/ε ¡ ¡ ¡ ¡ ¡ ¡

¡ OpRmal ¡energy ¡with ¡homogeneous ¡supply ¡voltages ¡= ¡33.39 ¡ ¡ OpRmal ¡energy ¡with ¡heterogeneous ¡supply ¡voltages ¡= ¡33.35 ¡ Beser! ¡

𝜗=.099 ¡

¡

𝜗=.099 ¡

¡

𝜗=.099 ¡

¡

• Are ¡there ¡circuits ¡where ¡

heterogeneity ¡helps ¡by ¡more ¡ than ¡a ¡constant? ¡

• i.e. ¡certain ¡parts ¡of ¡the ¡

computaRon ¡in ¡the ¡circuit ¡ “more ¡important” ¡than ¡

• thers? ¡
• Are ¡there ¡circuits ¡where ¡

heterogeneity ¡doesn’t ¡help? ¡

– i.e. ¡all ¡parts ¡of ¡the ¡computaRon ¡ in ¡the ¡circuit ¡are ¡equally ¡ important ¡

Low ¡ “SensiRvity” ¡ High ¡ “SensiRvity” ¡ High ¡ “SensiRvity” ¡

A ¡Case ¡Where ¡ ¡ Heterogeneity ¡Does ¡Not ¡Help ¡

Theorem: ¡The ¡minimum ¡energy ¡circuit ¡(up ¡to ¡a ¡constant) ¡for ¡ compuRng ¡the ¡parity ¡funcRon ¡uses ¡homogeneous ¡failure ¡

• rates. ¡
• Parity ¡has ¡sensiRvity ¡ ¡so ¡the ¡lower ¡bound ¡says ¡that ¡ ¡energy ¡

is ¡required. ¡

• This ¡circuit ¡computes ¡the ¡parity ¡ ¡

funcRon ¡

• It ¡has ¡size ¡ ¡so ¡the ¡upper ¡bound ¡says ¡ ¡energy ¡ ¡sufficient ¡(and ¡

it ¡uses ¡homogeneous ¡failure ¡rates). ¡

A ¡Circuit ¡Where ¡Heterogeneity ¡Helps: ¡ Supermajority ¡Circuit ¡

0 ¡ 1 ¡ 1 ¡ 0 ¡ 0 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡

Input ¡ Majority ¡Gates ¡ Output ¡

A ¡Circuit ¡Where ¡Heterogeneity ¡Helps: ¡ Supermajority ¡Circuit ¡

0 ¡ 1 ¡ 1 ¡ 0 ¡ 0 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡

Input ¡ Majority ¡Gates ¡ Output ¡

1 ¡

A ¡Circuit ¡Where ¡Heterogeneity ¡Helps: ¡ Supermajority ¡Circuit ¡

0 ¡ 1 ¡ 1 ¡ 0 ¡ 0 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡

Input ¡ Majority ¡Gates ¡ Output ¡

1 ¡ 0 ¡

A ¡Circuit ¡Where ¡Heterogeneity ¡Helps: ¡ Supermajority ¡Circuit ¡

0 ¡ 1 ¡ 1 ¡ 0 ¡ 0 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡

Input ¡ Majority ¡Gates ¡ Output ¡

1 ¡ 0 ¡ 1 ¡

A ¡Circuit ¡Where ¡Heterogeneity ¡Helps: ¡ Supermajority ¡Circuit ¡

0 ¡ 1 ¡ 1 ¡ 0 ¡ 0 ¡ 1 ¡ 1 ¡ 1 ¡ 1 ¡

Input ¡ Majority ¡Gates ¡ Output ¡

1 ¡ 0 ¡ 1 ¡ 1 ¡

A ¡Circuit ¡Where ¡Heterogeneity ¡Helps: ¡ Supermajority ¡Circuit ¡

• Root ¡is ¡more ¡“sensiRve” ¡to ¡failures. ¡

Low ¡ “SensiRvity” ¡ ¡ High ¡ “SensiRvity” ¡

A ¡Circuit ¡Where ¡Heterogeneity ¡Helps: ¡ Supermajority ¡Circuit ¡

• Theorem: ¡A ¡ternary ¡tree ¡of ¡majority ¡gates ¡

computes ¡LSR, ¡and ¡every ¡homogeneous ¡ sehng ¡of ¡the ¡supply ¡voltages ¡uses ¡energy ¡ω(1) ¡ Rmes ¡opRmal ¡. ¡

– logarithmic ¡supermajority ¡relaRon ¡LSR ¡= ¡ ¡the ¡ majority ¡of ¡the ¡bits ¡if ¡the ¡minority ¡is ¡< ¡log3 ¡n/2, ¡ and ¡arbitrary ¡otherwise ¡

Proof ¡Sketch ¡ ¡

¡ 𝜗: ¡failure ¡rate ¡ 𝜀: ¡must ¡be ¡correct ¡with ¡probability ¡1−𝜀 ¡

Low ¡ energy ¡ High ¡ energy ¡ ¡ ¡

Lower ¡bound ¡on ¡opRmal ¡ homogeneous ¡sehng ¡ Upper ¡bound ¡on ¡one ¡ ¡ heterogeneous ¡sehng ¡

Our ¡Results ¡

[ITCS ¡14] ¡

• General ¡lower ¡bound ¡on ¡energy ¡required ¡to ¡reliably ¡

compute ¡a ¡relaRon. ¡

• General ¡upper ¡bound ¡on ¡energy ¡required ¡to ¡reliably ¡

compute ¡a ¡relaRon. ¡

• Instances ¡where ¡heterogeneous ¡voltages ¡are ¡not ¡helpful. ¡
• Instances ¡where ¡heterogeneous ¡voltages ¡are ¡helpful. ¡

[To ¡be ¡submi6ed ¡to ¡Green ¡Compu;ng ¡Conference ¡14] ¡

• Hardness ¡and ¡approximaRon ¡for ¡compuRng ¡the ¡minimum ¡

energy ¡for ¡a ¡given ¡circuit. ¡

The ¡Problem ¡

• Given ¡a ¡circuit ¡ ¡C ¡with ¡ ¡gates ¡that ¡computes ¡a ¡

relaRon ¡R, ¡and ¡circuit ¡error ¡bound ¡δ, ¡output ¡a ¡ gate ¡failure ¡probability ¡ ¡ε ¡such ¡that ¡on ¡every ¡ input ¡, ¡the ¡circuit‘s ¡output ¡is ¡correct ¡w.p. ¡ ¡1-­‑δ ¡ when ¡gates ¡fail ¡w.p. ¡ε ¡

• Goal: ¡Minimize ¡the ¡energy ¡of ¡the ¡circuit ¡(i.e., ¡

maximize ¡) ¡

C ¡ , ¡𝜀 ¡

𝜗 ¡

R, ¡

An ¡Algorithm ¡

• The ¡tradiRonal ¡approach: ¡turn ¡up ¡the ¡energy ¡

unRl ¡the ¡union ¡bound ¡says ¡the ¡probability ¡that ¡ even ¡one ¡gate ¡fails ¡is ¡less ¡than ¡𝜀. ¡ ¡

It ¡is ¡NP-­‑hard ¡to ¡Improve ¡on ¡the ¡ ¡ TradiRonal ¡Approach ¡

Theorem: ¡The ¡tradiRonal ¡approach ¡has ¡approximaRon ¡ raRo ¡Θ(log2 ¡n) ¡with ¡respect ¡to ¡energy ¡(and ¡approximaRon ¡ raRo ¡2 ¡with ¡respect ¡to ¡circuit ¡error). ¡ ¡ Theorem: ¡It ¡is ¡NP-­‑hard ¡to ¡obtain ¡a ¡beser ¡approximaRon ¡ than ¡O(log2 ¡n) ¡with ¡respect ¡to ¡energy ¡(and ¡O(1) ¡ approximaRon ¡with ¡respect ¡to ¡circuit ¡error). ¡ ¡ Proof: ¡reducRon ¡from ¡gapped ¡SAT ¡instance ¡ ¡ Assuming ¡E(ε)=log2 ¡1/ε ¡ ¡ ¡ ¡

Open ¡QuesRon ¡

• We ¡showed ¡some ¡circuits ¡benefit ¡from ¡heterogeneous ¡

voltage ¡supplies. ¡ ¡Are ¡there ¡relaRons ¡where ¡every ¡circuit ¡with ¡ homogeneous ¡supply ¡voltages ¡is ¡far ¡from ¡opRmal ¡in ¡terms ¡of ¡ energy? ¡

Low ¡ “SensiRvity” ¡ High ¡ “SensiRvity” ¡

Log ¡Supermajority ¡Revisited ¡

Ternary ¡tree ¡of ¡majority ¡gates ¡ Lower ¡energy ¡circuit ¡that ¡takes ¡ the ¡true ¡majority ¡of ¡the ¡first ¡​log⁠𝑜 ¡ bits ¡of ¡input ¡(and ¡ignores ¡the ¡ rest). ¡

The ¡circuit ¡we ¡analyzed ¡is ¡ certainly ¡not ¡the ¡best ¡circuit ¡ for ¡this ¡relaRon. ¡

Summary ¡

• Our ¡Results ¡

– General ¡upper ¡and ¡lower ¡bounds ¡on ¡energy ¡ required ¡to ¡compute ¡a ¡relaRon ¡ – Cases ¡where ¡heterogeneity ¡is ¡both ¡helpful ¡and ¡not ¡ helpful ¡ – Show ¡computaRonal ¡hardness ¡for ¡improving ¡on ¡ the ¡tradiRonal ¡approach ¡to ¡minimizing ¡ ¡the ¡energy ¡

• f ¡an ¡arbitrary ¡circuit ¡

QuesRons? ¡