Tutorial on Interpreting and Explaining Deep Models in Computer - - PowerPoint PPT Presentation

SLIDE 1

Tutorial on Interpreting and Explaining Deep Models in Computer Vision

Wojciech Samek (Fraunhofer HHI) Grégoire Montavon (TU Berlin) Klaus-Robert Müller (TU Berlin) 08:30 - 09:15 Introduction KRM 09:15 - 10:00 Techniques for Interpretability GM 10:00 - 10:30 Coffee Break ALL 10:30 - 11:15 Applications of Interpretability WS 11:15 - 12:00 Further Applications and Wrap-Up KRM

SLIDE 2

2 / 3 3

O v e r v i e w

• f

E x p l a n a t i

• n

M e t h

• d

s

Q u e s t i

• n

: W h i c h

• n

e t

• c

h

• s

e ?

SLIDE 3

3 / 3 3

F i r s t A t t e mp t : D i s t a n c e t

• G

r

• u

n d T r u t h

D N N g r

• u

n d t r u t h e x p l a n a t i

• n

i n p u t e v i d e n c e f

• r

“ t r u c k ” e r r

• r

? ? ?

SLIDE 4

4 / 3 3

F i r s t A t t e mp t : D i s t a n c e t

• G

r

• u

n d T r u t h

D N N g r

• u

n d t r u t h e x p l a n a t i

• n

i n p u t e r r

• r

e v i d e n c e f

• r

“ c a r ”

? ? ? ? ? ?

SLIDE 5

5 / 3 3 D N N

F r

• m

G r

• u

n d T r u t h E x p l a n a t i

• n

s t

• A

x i

• ms

I d e a : E v a l u a t e t h e e x p l a n a t i

• n

t e c h n i q u e a x i

• m

a t i c a l l y , i . e . i t m u s t p a s s a n u m b e r

• f

p r e d e fi n e d “ u n i t t e s t s ” .

[ S u n ’ 1 1 , B a c h ’ 1 5 , M

• n

t a v

• n

’ 1 7 , S a m e k ’ 1 7 , S u n d a r a j a n ’ 1 7 , K i n d e r m a n s ’ 1 7 , M

• n

t a v

• n

’ 1 8 ] .

e x p l a n a t i

• n

t e c h n i q u e

SLIDE 6

6 / 3 3

P r

• p

e r t i e s 1

• 2

: C

• n

s e r v a t i

• n

a n d P

• s

i t i v i t y

[ M

• n

t a v

• n

’ 1 7 , s e e a l s

• S

u n ’ 1 1 , L a n d e c k e r ’ 1 3 , B a c h ’ 1 5 ]

C

• n

s e r v a t i

• n

: T

• t

a l a t t r i b u t i

• n
• n

t h e i n p u t f e a t u r e s s h

• u

l d b e p r

• p
• r

t i

• n

a l t

• t

h e a m

• u

n t

• f

( e x p l a i n a b l e ) e v i d e n c e a t t h e

• u

t p u t . P

• s

i t i v i t y : I f t h e n e u r a l n e t w

• r

k i s c e r t a i n a b

• u

t i t s p r e d i c t i

• n

, i n p u t f e a t u r e s a r e e i t h e r r e l e v a n t ( p

• s

i t i v e )

• r

i r r e l e v a n t ( z e r

• )

.

D N N e x p l a n a t i

• n

SLIDE 7

7 / 3 3

P r

• p

e r t y 3 : C

• n

t i n u i t y

[ M

• n

t a v

• n

’ 1 8 ]

I f t w

• i

n p u t s a r e t h e a l m

• s

t t h e s a m e , a n d t h e p r e d i c t i

• n

i s a l s

• a

l m

• s

t t h e s a m e , t h e n t h e e x p l a n a t i

• n

s h

• u

l d a l s

• b

e a l m

• s

t t h e s a m e .

M e t h

• d

1 M e t h

• d

2

E x a mp l e :

SLIDE 8

8 / 3 3

T e s t i n g C

• n

t i n u i t y

S e n s i t i v i t y a n a l y s i s f ( x ) R

i

i n p u t e x p l a n a t i

• n

s c

• r

e s L R P

• α

1

β

SLIDE 9

9 / 3 3

P r

• p

e r t y 4 : S e l e c t i v i t y

[ B a c h ’ 1 5 , S a m e k ’ 1 7 ]

M

• d

e l m u s t a g r e e w i t h t h e e x p l a n a t i

• n

: I f i n p u t f e a t u r e s a r e a t t r i b u t e d r e l e v a n c e , r e m

• v

i n g t h e m s h

• u

l d r e d u c e e v i d e n c e a t t h e

• u

t p u t .

M e t h

• d

1 M e t h

• d

2

E x a mp l e :

SLIDE 10

1 / 3 3

T e s t i n g S e l e c t i v i t y w i t h P i x e l

• F

l i p p i n g

[ B a c h ’ 1 5 , S a m e k ’ 1 7 ]

L R P

• α

1

β S e n s i t i v i t y a n a l y s i s f ( x ) i n p u t e x p l a n a t i

• n

s c

• r

e s f ( x )

SLIDE 11

1 1 / 3 3

1 . C

• n

s e r v a t i

• n

2 . P

• s

i t i v i t y 3 . C

• n

t i n u i t y 4 . S e l e c t i v i t y P r

• p

e r t i e s E x p l a n a t i

• n

t e c h n i q u e s

U n i f

• r

m ( G r a d i e n t )

2

( G u i d e d B P )

2

G r a d i e n t x I n p u t G u i d e d B P x I n p u t L R P

• α

1

β

✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔

. . .

. . .

✔ ✔

SLIDE 12

1 2 / 3 3

Q u e s t i

• n

: C a n w e d e d u c e s

• m

e p r

• p

e r t i e s w i t h

• u

t e x p e r i m e n t s , d i r e c t l y f r

• m

t h e e q u a t i

• n

s ?

SLIDE 13

1 3 / 3 3

R e mi n d e r

B a c k p r

• p

i n t e r n a l s ( f

• r

p r

• p

a g a t i n g g r a d i e n t ) L R P

• α

1

β i n t e r n a l s ( f

• r

p r

• p

a g a t i n g r e l e v a n c e )

SLIDE 14

1 4 / 3 3

E x a mp l e : D e d u c i n g C

• n

s e r v a t i

• n

S u m m i n g g i v e s t h e p r

• p

e r t y

L R P

• α

1

β p r

• p

a g a t i

• n

r u l e

v s . g r a d × i n p u t

W h e n b i a s i s n e g a t i v e , g r a d × i n p u t w i l l t e n d t

• i

n fl a t e s c

• r

e s .

× i n p u t

SLIDE 15

1 5 / 3 3

E x a mp l e : D e d u c i n g C

• n

t i n u i t y

v s . g r a d × i n p u t

L R P

• α

1

β p r

• p

a g a t i

• n

r u l e

( w h e n b i a s n e g a t i v e , c

• n

t i n u i t y d u e t

• d

e n

• m

i n a t

• r

u p p e r

• b
• u

n d i n g n u m e r a t

• r

. )

SLIDE 16

1 6 / 3 3

I n t e r me d i a t e C

• n

c l u s i

• n

G r

• u

n d

• t

r u t h e x p l a n a t i

• n

s a r e e l u s i v e . I n p r a c t i c e , w e a r e r e d u c e d t

• v

i s u a l a s s e s s m e n t

• r

t

• t

e s t t h e e x p l a n a t i

• n

f

• r

a n u m b e r

• f

a x i

• m

s . S

• m

e p r

• p

e r t i e s c a n b e d e d u c e d f r

• m

t h e s t r u c t u r e

• f

t h e e x p l a n a t i

• n

m e t h

• d

. O t h e r c a n b e t e s t e d e m p i r i c a l l y . L R P

• α1β0

s a t i s fi e s k e y p r

• p

e r t i e s

• f

a n e x p l a n a t i

• n

. S e n s i t i v i t y a n a l y s i s a n d g r a d i e n t × i n p u t h a v e c r u c i a l l i m i t a t i

• n

s .

SLIDE 17

1 7 / 3 3

F r

• m

L R P t

• D

e e p T a y l

• r

D e c

• mp
• s

i t i

• n

T h e L R P

• α

1

β r u l e c a n b e s e e n a s a d e e p T a y l

• r

d e c

• m

p

• s

i t i

• n

( D T D ) w h i c h t h e n y i e l d s d

• m

a i n

• a

n d l a y e r

• s

p e c i fi c r u l e s [ M

• n

t a v

• n

’ 1 7 ]

SLIDE 18

1 8 / 3 3

D T D : T h e S t r u c t u r e

• f

R e l e v a n c e

P r

• p
• s

i t i

• n

: R e l e v a n c e a t e a c h l a y e r i s a p r

• d

u c t

• f

t h e a c t i v a t i

• n

a n d a n a p p r

• x

i m a t e l y c

• n

s t a n t t e r m .

SLIDE 19

1 9 / 3 3

D T D : T h e R e l e v a n c e a s a N e u r

• n

SLIDE 20

2 / 3 3

D T D : T a y l

• r

E x p a n s i

• n
• f

t h e R e l e v a n c e

SLIDE 21

2 1 / 3 3

D T D : D e c

• mp
• s

i n g t h e R e l e v a n c e

T a y l

• r

e x p a n s i

• n

a t r

• t

p

• i

n t : R e l e v a n c e c a n n

• w

b e b a c k w a r d p r

• p

a g a t e d

SLIDE 22

2 2 / 3 3

D T D : C h

• s

i n g t h e R

• t

P

• i

n t

✔ ✔ ✔ ✔

1 . n e a r e s t r

• t

2 . r e s c a l e d a c t i v a t i

• n

3 . r e s c a l e d e x c i t a t i

• n

s C h

• i

c e

• f

r

• t

p

• i

n t

( L R P

• α

1

β ) ( D e e p T a y l

• r

g e n e r i c )

SLIDE 23

2 3 / 3 3

D T D : V e r i f y i n g t h e P r

• d

u c t S t r u c t u r e

2 . a p p l y L R P

• α

1

β r u l e 1 . a s s u m e i t h

• l

d s i n h i g h e r

• l

a y e r 3 .

• b

s e r v e i t a l s

• h
• l

d s i n l

• w

e r

• l

a y e r B u t w a s i t t r u e ?

SLIDE 24

2 4 / 3 3

F r

• m

L R P t

• D

e e p T a y l

• r

D e c

• mp
• s

i t i

• n

T h e L R P

• α

1

β r u l e c a n b e s e e n a s a d e e p T a y l

• r

d e c

• m

p

• s

i t i

• n

( D T D ) w h i c h t h e n y i e l d s d

• m

a i n

• a

n d l a y e r

• s

p e c i fi c r u l e s [ M

• n

t a v

• n

’ 1 7 ]

SLIDE 25

2 5 / 3 3

D T D : A p p l i c a t i

• n

t

• I

n p u t L a y e r s

1 . C h

• s

e a r

• t

p

• i

n t t h a t i s n e a r b y a n d s a t i s fi e s d

• m

a i n c

• n

s t r a i n t s 2 . I n j e c t i t i n t h e g e n e r i c D T D r u l e t

• g

e t t h e s p e c i fi c r u l e P i x e l s : E mb e d d i n g s :

i m a g e s

• u

r c e : T e n s

• r

fl

• w

t u t

• r

i a l

SLIDE 26

2 6 / 3 3

D T D : A p p l i c a t i

• n

t

• P
• l

i n g L a y e r s

A s u m

• p
• l

i n g l a y e r

• v

e r p

• s

i t i v e a c t i v a t i

• n

s i s e q u i v a l e n t t

• a

R e L U l a y e r w i t h w e i g h t s 1 . A p

• n
• r

m p

• l

i n g l a y e r c a n b e a p p r

• x

i m a t e d a s a s u m

• p
• l

i n g l a y e r m u l t i p l i e d b y a r a t i

• f

n

• r

m s t h a t w e t r e a t a s c

• n

s t a n t [ M

• n

t a v

• n

’ 1 7 ] .

→ T r e a t p

• l

i n g l a y e r s a s R e L U d e t e c t i

• n

l a y e r s

SLIDE 27

2 7 / 3 3

B a s i c R e c

• mme

n d a t i

• n

f

• r

C N N s

L R P

• α

1

β D T D f

• r

p i x e l s L R P

• α

1

β L R P

• α

1

β L R P

• α

1

β L R P

• α

1

β L R P

• α

1

β *

* F

• r

t

• p
• l

a y e r s ,

• t

h e r r u l e s m a y i m p r

• v

e s e l e c t i v i t y f

• r

w a r d p a s s b a c k w a r d p a s s

SLIDE 28

2 8 / 3 3

D T D f

• r

K e r n e l M

• d

e l s

[ K a u f f ma n n ’ 1 8 ]

1 . B u i l d a n e u r a l n e t w

• r

k e q u i v a l e n t

• f

t h e O n e

• C

l a s s S V M :

G a u s s i a n / L a p l a c e K e r n e l S t u d e n t K e r n e l

2 . C

• mp

u t e s i t s d e e p T a y l

• r

d e c

• mp
• s

i t i

• n

O u t l i e r s c

• r

e

SLIDE 29

2 9 / 3 3

I mp l e me n t i n g t h e L R P

• α

1

β r u l e

S e q u e n c e

• f

e l e m e n t

• w

i s e c

• m

p u t a t i

• n

s S e q u e n c e

• f

v e c t

• r

c

• m

p u t a t i

• n

s P r

• p

a g a t i

• n

r u l e t

• i

m p l e m e n t :

SLIDE 30

3 / 3 3

I mp l e me n t i n g t h e L R P

• α

1

β r u l e

P r

• p

a g a t i

• n

r u l e t

• i

m p l e m e n t : C

• d

e t h a t r e u s e s f

• r

w a r d a n d g r a d i e n t c

• m

p u t a t i

• n

s :

SLIDE 31

3 1 / 3 3

H

• w

L R P S c a l e s

N

• n

e e d f

• r

m u c h c

• m

p u t i n g p

• w

e r . G

• g

l e N e t e x p l a n a t i

• n

f

• r

s i n g l e i m a g e c a n b e d

• n

e

• n

t h e C P U . L i n e a r t i m e s c a l i n g a l l

• w

s t

• u

s e L R P f

• r

r e a l

• t

i m e p r

• c

e s s i n g ,

• r

a s p a r t

• f

t r a i n i n g .

SLIDE 32

3 2 / 3 3

C

• n

c l u s i

• n

G r

• u

n d

• t

r u t h e x p l a n a t i

• n

s a r e e l u s i v e . I n p r a c t i c e , w e a r e r e d u c e d t

• v

i s u a l a s s e s s m e n t

• r

t

• t

e s t t h e e x p l a n a t i

• n

f

• r

a n u m b e r

• f

a x i

• m

s . S

• m

e p r

• p

e r t i e s c a n b e d e d u c e d f r

• m

t h e s t r u c t u r e

• f

t h e e x p l a n a t i

• n

m e t h

• d

. O t h e r c a n b e t e s t e d e m p i r i c a l l y . L R P

• α1β0

s a t i s fi e s k e y p r

• p

e r t i e s

• f

a n e x p l a n a t i

• n

. S e n s i t i v i t y a n a l y s i s a n d g r a d i e n t × i n p u t h a v e c r u c i a l l i m i t a t i

• n

s . T h i s s u i t a b l e L R P

• α1β0

p r

• p

a g a t i

• n

r u l e c a n b e s e e n a s p e r f

• r

m i n g a d e e p T a y l

• r

d e c

• m

p

• s

i t i

• n

f

• r

d e e p R e L U n e t s . T h e d e e p T a y l

• r

d e c

• m

p

• s

i t i

• n

a l l

• w

s t

• c
• n

s i s t e n t l y e x t e n d t h e f r a m e w

• r

k t

• n

e w m

• d

e l s a n d n e w t y p e s

• f

d a t a .

SLIDE 33

3 3 / 3 3

R e f e r e n c e s

S B a c h , A B i n d e r , G M

• n

t a v

• n

, F K l a u s c h e n , K R M ü l l e r , W S a m e k . O n P i x e l

• w

i s e E x p l a n a t i

• n

s f

• r

N

• n
• L

i n e a r C l a s s i fi e r D e c i s i

• n

s b y L a y e r

• w

i s e R e l e v a n c e P r

• p

a g a t i

• n

. P L O S O N E , 1 ( 7 ) : e 1 3 1 4 ( 2 1 5 ) J K a u f f m a n n , K R M ü l l e r , G M

• n

t a v

• n

: T

• w

a r d s E x p l a i n i n g A n

• m

a l i e s : A D e e p T a y l

• r

D e c

• m

p

• s

i t i

• n
• f

O n e

• C

l a s s M

• d

e l s . C

• R

R a b s / 1 8 5 . 6 2 3 ( 2 1 8 ) P J K i n d e r m a n s , S H

• k

e r , J A d e b a y

• ,

M A l b e r , K S c h ü t t , S D ä h n e , D E r h a n , B K i m : T h e ( U n ) r e l i a b i l i t y

• f

s a l i e n c y m e t h

• d

s . C

• R

R a b s / 1 7 1 1 . 8 6 7 ( 2 1 7 ) W L a n d e c k e r , M T h

• m

u r e , L B e t t e n c

• u

r t , M M i t c h e l l , G K e n y

• n

, S B r u m b y : I n t e r p r e t i n g i n d i v i d u a l c l a s s i fi c a t i

• n

s

• f

h i e r a r c h i c a l n e t w

• r

k s . C I D M 2 1 3 : 3 2

• 3

8 G M

• n

t a v

• n

, S L a p u s c h k i n , A B i n d e r , W S a m e k , K R M ü l l e r : E x p l a i n i n g n

• n

l i n e a r c l a s s i fi c a t i

• n

d e c i s i

• n

s w i t h d e e p T a y l

• r

d e c

• m

p

• s

i t i

• n

. P a t t e r n R e c

• g

n i t i

• n

6 5 : 2 1 1

• 2

2 2 ( 2 1 7 ) G M

• n

t a v

• n

, W S a m e k , K R M ü l l e r : M e t h

• d

s f

• r

i n t e r p r e t i n g a n d u n d e r s t a n d i n g d e e p n e u r a l n e t w

• r

k s . D i g i t a l S i g n a l P r

• c

e s s i n g 7 3 : 1

• 1

5 ( 2 1 8 ) W S a m e k , A B i n d e r , G M

• n

t a v

• n

, S L a p u s c h k i n , K R M ü l l e r : E v a l u a t i n g t h e V i s u a l i z a t i

• n
• f

W h a t a D e e p N e u r a l N e t w

• r

k H a s L e a r n e d . I E E E T r a n s . N e u r a l N e t w . L e a r n i n g S y s t . 2 8 ( 1 1 ) : 2 6 6

• 2

6 7 3 ( 2 1 7 ) Y S u n , M S u n d a r a r a j a n . A x i

• m

a t i c a t t r i b u t i

• n

f

• r

m u l t i l i n e a r f u n c t i

• n

s . E C 2 1 1 : 1 7 7

• 1

7 8 M S u n d a r a r a j a n , A T a l y , Q Y a n : A x i

• m

a t i c A t t r i b u t i

• n

f

• r

D e e p N e t w

• r

k s . I C M L 2 1 7 : 3 3 1 9

• 3

3 2 8