Rico Angell, Ben Oztalay, and Andrew DeOrio University of - - PowerPoint PPT Presentation

▶

Jun 29, 2023 1.09k likes •1.35k views

Rico Angell, Ben Oztalay, and Andrew DeOrio University of Michigan X X X X X X X X X X X X X X X X X

SLIDE 1

Rico ¡Angell, ¡Ben ¡Oztalay, ¡and ¡Andrew ¡DeOrio ¡ ¡ University ¡of ¡Michigan ¡

SLIDE 2

SLIDE 3

X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡ X ¡

Post-‑silicon ¡platform ¡ Many ¡failure ¡reports ¡ ¡ Goal: ¡debug ¡root ¡causes ¡

SLIDE 4

X ¡

test ¡ failure ¡ reports ¡

SAME ROOT CAUSE

Wasted ¡ Effort ¡

X ¡

SLIDE 5

¡ Goal: ¡Create ¡a ¡model ¡by ¡

learning ¡from ¡input ¡data ¡

¡ Supervised ¡requires ¡

labeled ¡training ¡data ¡to ¡ create ¡the ¡model ¡

¡ Unsupervised ¡creates ¡

model ¡from ¡unlabeled ¡ input ¡data ¡

Sports ¡ Politics ¡

Classification ¡of ¡News ¡Articles ¡

Markets ¡

SLIDE 6

¡ Novel ¡approach ¡to ¡choosing ¡features ¡for ¡

clustering ¡failure ¡reports ¡

¡ New ¡metric, ¡Unique ¡Debugging ¡Instances ¡

(UDI), ¡for ¡measuring ¡verification ¡efficiency ¡ with ¡respect ¡to ¡triaging ¡failure ¡reports ¡ ¡

SLIDE 7

SLIDE 8

¡ How ¡do ¡we ¡describe ¡failure ¡reports ¡to ¡a ¡

Machine ¡Learning ¡algorithm? ¡à ¡Features ¡

¡ Use ¡ParMETIS ¡ ¡ Scalability ¡is ¡important ¡

¡

Partition ¡ ¡ Closely ¡ connected ¡ subset ¡of ¡ design ¡

SLIDE 9

¡ Input: ¡k ¡and ¡set ¡of ¡points ¡ ¡ Output: ¡k ¡groups ¡of ¡points ¡ ¡ NMI: ¡metric ¡measuring ¡

mutual ¡dependence ¡ ¡

¡ NMI ¡of ¡0 ¡à ¡

¡ ¡

¡ NMI ¡of ¡1 ¡à ¡Perfect ¡

¡

Feature ¡Space ¡ Cluster ¡of ¡failure ¡ reports ¡sharing ¡ root ¡cause ¡bug ¡ Failure ¡ report ¡ All ¡failure ¡reports ¡

Entirely ¡ Imperfect ¡

SLIDE 10

¡ Industrial-‑size ¡OpenSPARC ¡T2 ¡ ¡ ¡ ¡ Bug ¡Injection: ¡ ¡ § Force ¡control ¡signal ¡to ¡1 ¡ § 50 ¡total ¡bugs, ¡evenly ¡spread ¡across ¡10 ¡modules ¡ ¡ Injected ¡a ¡bug ¡at ¡cycle ¡10,000 ¡ ¡ At ¡cycle ¡10,100, ¡record ¡the ¡control ¡signal ¡

values ¡from ¡10 ¡modules ¡

¡ 5000 ¡simulations ¡

SLIDE 11

0.1 0.2 0.3 0.4 2 6 10 14 18 22 26 30 34 38 42 46 50

NMI Number of clusters

Dichotomy ¡in ¡ data ¡ ¡k ¡becomes ¡more ¡accurate ¡

SLIDE 12

Realization ¡of ¡ secondary ¡ characteristics ¡ ¡

SLIDE 13

¡ Goal: ¡A ¡metric ¡to ¡measure ¡verification ¡

efficiency ¡ ¡

¡ Measured ¡by ¡aggregating ¡the ¡number ¡of ¡

unique ¡root ¡causes ¡represented ¡by ¡failure ¡ reports ¡in ¡each ¡cluster ¡

¡ Low ¡UDI ¡è ¡Triaged ¡well ¡ ¡ High ¡UDI ¡è ¡Triaged ¡poorly ¡

¡

SLIDE 14

SLIDE 15

¡ Partitioning ¡graph ¡representations ¡of ¡

software ¡systems ¡[Mancoridis ¡‘99] ¡

¡ Triaging ¡software ¡bug ¡reports ¡using ¡

supervised ¡Machine ¡Learning ¡[Cubranic ¡‘04] ¡

¡ Utilizing ¡assertions ¡and ¡SAT-‑based ¡debugging ¡

data ¡to ¡automatically ¡triage ¡failure ¡reports ¡ [Veneris ¡‘14] ¡

SLIDE 16