I mp r o v i n g V a r i a t i o n a l A u t o - - PowerPoint PPT Presentation

SLIDE 1

I mp r

• v

i n g V a r i a t i

• n

a l A u t

• E

n c

• d

e r s u s i n g V

• l

u me

• P

r e s e r v i n g F l

• w

s

A p r e l i mi n a r y s t u d y

T h e p r e s e n t e d r e s e a r c h w a s f u n d e d b y t h e E u r

• p

e a n C

• m

m i s s i

• n

w i t h i n t h e Ma r i e S k ł

• d
• w

s k a

• C

u r i e I n d i v i d u a l F e l l

• w

s h i p ( G r a n t N

• .

7 2 6 6 6 , ' ' D e e p l e a r n i n g a n d B a y e s i a n i n f e r e n c e f

• r

m e d i c a l i m a g i n g ' ' ) .

J a k u b M. T

• mc

z a k

A ML A B S e m i n a r 1 4 / 2 / 2 1 7 J

• i

n t w

• r

k w i t h Ma x We l l i n g

SLIDE 2

Mo t i v a t i

• n
• G

e n e r a t i v e mo d e l s a r e a p p e a l i n g → g e n e r a t i n g i m a g e s → d a t a a u g m e n t a t i

• n

→ . . .

• T

w

• c
• m

p

• n

e n t s :

– E

n c

• d

e r p ( z | x )

– D

e c

• d

e r p ( x | z )

SLIDE 3

V a r i a t i

• n

a l A u t

• E

n c

• d

e r s ( V A E )

• H
• w

t

• r

e p r e s e n t d i s t r i b u t i

• n

s ? → n e u r a l n e t w

• r

k

• u

t p u t s p a r a m e t e r s

• E

n c

• d

e r a p p r

• x

i m a t e d b y v a r i a t i

• n

a l p

• s

t e r i

• r

:

• T

r a i n i n g

• b

j e c t i v e :

SLIDE 4

V a r i a t i

• n

a l A u t

• E

n c

• d

e r s ( V A E )

• H
• w

t

• r

e p r e s e n t d i s t r i b u t i

• n

s ? → n e u r a l n e t w

• r

k

• u

t p u t s p a r a m e t e r s

• E

n c

• d

e r a p p r

• x

i m a t e d b y v a r i a t i

• n

a l p

• s

t e r i

• r

:

• T

r a i n i n g

• b

j e c t i v e :

+ reparameterization trick

SLIDE 5

N

• r

ma l i z i n g f l

• w

s

• D

i a g

• n

a l p

• s

t e r i

• r
• i

n s u f f i c i e n t a n d i n f l e x i b l e .

• H
• w

t

• g

e t m

• r

e f l e x i b l e p

• s

t e r i

• r

? → a p p l y a s e r i e s

• f

T i n v e r t i b l e t r a n s f

• r

ma t i

• n

s .

• N

e w

• b

j e c t i v e :

SLIDE 6

N

• r

ma l i z i n g f l

• w

s

• D

i a g

• n

a l p

• s

t e r i

• r
• i

n s u f f i c i e n t a n d i n f l e x i b l e .

• H
• w

t

• g

e t m

• r

e f l e x i b l e p

• s

t e r i

• r

? → a p p l y a s e r i e s

• f

T i n v e r t i b l e t r a n s f

• r

ma t i

• n

s .

• N

e w

• b

j e c t i v e :

SLIDE 7

N

• r

ma l i z i n g f l

• w

s

• D

i a g

• n

a l p

• s

t e r i

• r
• i

n s u f f i c i e n t a n d i n f l e x i b l e .

• H
• w

t

• g

e t m

• r

e f l e x i b l e p

• s

t e r i

• r

? → a p p l y a s e r i e s

• f

T i n v e r t i b l e t r a n s f

• r

ma t i

• n

s .

• N

e w

• b

j e c t i v e :

SLIDE 8

N

• r

ma l i z i n g f l

• w

s

• D

i a g

• n

a l p

• s

t e r i

• r
• i

n s u f f i c i e n t a n d i n f l e x i b l e .

• H
• w

t

• g

e t m

• r

e f l e x i b l e p

• s

t e r i

• r

? → a p p l y a s e r i e s

• f

T i n v e r t i b l e t r a n s f

• r

ma t i

• n

s .

• N

e w

• b

j e c t i v e :

R e z e n d e , D . J . , & Mo h a m e d , S . ( 2 1 5 ) . V a r i a t i

• n

a l i n f e r e n c e w i t h n

• r

m a l i z i n g f l

• w

s . a r X i v p r e p r i n t a r X i v : 1 5 5 . 5 7 7 . I C ML 2 1 5

SLIDE 9

N

• r

ma l i z i n g f l

• w

s

• D

i a g

• n

a l p

• s

t e r i

• r
• i

n s u f f i c i e n t a n d i n f l e x i b l e .

• H
• w

t

• g

e t m

• r

e f l e x i b l e p

• s

t e r i

• r

? → a p p l y a s e r i e s

• f

T i n v e r t i b l e t r a n s f

• r

ma t i

• n

s .

• N

e w

• b

j e c t i v e :

L a w

• f

U n c

• n

s c i

• u

s S t a t i s t i c i a n ( L O T U S ) : g i v e s u s t h e f

• l

l

• w

i n g :

R e z e n d e , D . J . , & Mo h a m e d , S . ( 2 1 5 ) . V a r i a t i

• n

a l i n f e r e n c e w i t h n

• r

m a l i z i n g f l

• w

s . a r X i v p r e p r i n t a r X i v : 1 5 5 . 5 7 7 . I C ML 2 1 5

SLIDE 10

N

• r

ma l i z i n g f l

• w

s

• D

i a g

• n

a l p

• s

t e r i

• r
• i

n s u f f i c i e n t a n d i n f l e x i b l e .

• H
• w

t

• g

e t m

• r

e f l e x i b l e p

• s

t e r i

• r

? → a p p l y a s e r i e s

• f

T i n v e r t i b l e t r a n s f

• r

ma t i

• n

s .

• N

e w

• b

j e c t i v e :

R e z e n d e , D . J . , & Mo h a m e d , S . ( 2 1 5 ) . V a r i a t i

• n

a l i n f e r e n c e w i t h n

• r

m a l i z i n g f l

• w

s . a r X i v p r e p r i n t a r X i v : 1 5 5 . 5 7 7 . I C ML 2 1 5

SLIDE 11

N

• r

ma l i z i n g f l

• w

s

• D

i a g

• n

a l p

• s

t e r i

• r
• i

n s u f f i c i e n t a n d i n f l e x i b l e .

• H
• w

t

• g

e t m

• r

e f l e x i b l e p

• s

t e r i

• r

? → a p p l y a s e r i e s

• f

T i n v e r t i b l e t r a n s f

• r

ma t i

• n

s .

• N

e w

• b

j e c t i v e :

J a c

• b

i a n

• d

e t e r mi n a n t : ( i ) g e n e r a l n

• r

m a l i z i n g f l

• w

( | d e t J | i s e a s y t

• c
• m

p u t e ) ( i i ) v

• l

u me

• p

r e s e r v i n g f l

• w

, i . e . , | d e t J | = 1

SLIDE 12

V

• l

u me

• p

r e s e r v i n g f l

• w

s

• H
• w

t

• b

t a i n m

• r

e f l e x i b l e p

• s

t e r i

• r

a n d p r e s e r v e | d e t J | = 1 ?

• Mo

d e l f u l l

• c
• v

a r i a n c e ma t r i x :

– u

s i n g

• r

t h

• g
• n

a l ma t r i c e s → H

• u

s e h

• l

d e r f l

• w

– u

s i n g l

• w

e r

• t

r i a n g u l a r ma t r i x ( w i t h

• n

e s

• n

t h e d i a g

• n

a l ) → l i n e a r I n v e r s e A u t

• r

e g r e s s i v e F l

• w

SLIDE 13

H

• u

s e h

• l

d e r F l

• w

: mo t i v a t i

• n
• T

h e e i g e n d e c

• m

p

• s

i t i

• n
• f

a f u l l

• c
• v

a r i a n c e m a t r i x :

• P

r

• p
• s

i t i

• n

: A p p l y a n d s i n c e U i s

• r

t h

• g
• n

a l , t h e J a c

• b

i a n

• d

e t e r m i n a n t w

• u

l d b e 1 .

• Q

u e s t i

• n

: I s i t p

• s

s i b l e t

• m
• d

e l t h e

• r

t h

• g
• n

a l m a t r i x U i n a p r i n c i p l e d m a n n e r ? Y E S !

SLIDE 14

H

• u

s e h

• l

d e r F l

• w

: mo t i v a t i

• n
• T

h e e i g e n d e c

• m

p

• s

i t i

• n
• f

a f u l l

• c
• v

a r i a n c e m a t r i x :

• P

r

• p
• s

i t i

• n

: A p p l y a n d s i n c e U i s

• r

t h

• g
• n

a l , t h e J a c

• b

i a n

• d

e t e r m i n a n t w

• u

l d b e 1 .

• Q

u e s t i

• n

: I s i t p

• s

s i b l e t

• m
• d

e l t h e

• r

t h

• g
• n

a l m a t r i x U i n a p r i n c i p l e d m a n n e r ? Y E S !

T h e

• r

e m

A n y

• r

t h

• g
• n

a l m a t r i x w i t h t h e b a s i s a c t i n g

• n

t h e K

• d

i m e n s i

• n

a l s u b s p a c e c a n b e e x p r e s s e d a s a p r

• d

u c t

• f

e x a c t l y K H

• u

s e h

• l

d e r t r a n s f

• r

ma t i

• n

s .

S u n , X . , & B i s c h

• f

, C . ( 1 9 9 5 ) . A b a s i s

• k

e r n e l r e p r e s e n t a t i

• n
• f
• r

t h

• g
• n

a l m a t r i c e s . S I A M J

• u

r n a l

• n

Ma t r i x A n a l y s i s a n d A p p l i c a t i

• n

s , 1 6 ( 4 ) , 1 1 8 4

• 1

1 9 6 .

SLIDE 15

H

• u

s e h

• l

d e r F l

• w

: f

• r

mu l a t i

• n
• I

n t h e H

• u

s e h

• l

d e r t r a n s f

• r

ma t i

• n

w e r e f l e c t a v e c t

• r

a r

• u

n d a h y p e r p l a n e d e f i n e d b y a H

• u

s e h

• l

d e r v e c t

• r

:

SLIDE 16

L i n e a r I n v e r s e A u t

• r

e g r e s s i v e F l

• w
• A

d i f f e r e n t a p p r

• a

c h : → m

• d

e l t h e f u l l

• c
• v

a r i a n c e m a t r i x d i r e c t l y u s i n g a l

• w

e r

• t

r i a n g u l a r ma t r i x w i t h

• n

e s

• n

t h e d i a g

• n

a l L :

• T

h i s c

• r

r e s p

• n

d s t

• t

h e s i m p l e s t c a s e

• f

I n v e r s e A u t

• r

e g r e s s i v e F l

• w

.

K i n g m a , D . P . , S a l i m a n s , T . , J

• z

e f

• w

i c z , R . , C h e n , X . , S u t s k e v e r , I . , & We l l i n g , M. I m p r

• v

i n g V a r i a t i

• n

a l I n f e r e n c e w i t h I n v e r s e A u t

• r

e g r e s s i v e F l

• w

. N I P S 2 1 6

SLIDE 17

C

• n

v e x c

• mb

i n a t i

• n
• f

l

• w

e r t r i a n g u l a r ma t r i c e s i n l i n e a r I A F

• C

a n w e f u r t h e r i m p r

• v

e

• n

l i n e a r I A F ? → s e v e r a l L ’ s → c

• n

v e x c

• mb

i n a t i

• n
• f

L ’ s

• E

n c

• d

e r r e t u r n s :

• T

h i s i s s t i l l v

• l

u m e

• p

r e s e r v i n g f l

• w

:

• I

n t u i t i

• n

: t a k i n g i n t

• a

c c

• u

n t s m a l l v a r i a t i

• n

s a m

• n

g i m a g e s .

SLIDE 18

O t h e r v

• l

u me

• p

r e s e r v i n g f l

• w

s

• N

I C E : N

• n
• l

i n e a r i n d e p e n d e n t c

• m

p

• n

e n t s e s t i m a t i

• n

D i n h , L . , K r u e g e r , D . , & B e n g i

• ,

Y . ( 2 1 4 ) . N I C E : N

• n
• l

i n e a r i n d e p e n d e n t c

• m

p

• n

e n t s e s t i m a t i

• n

. a r X i v p r e p r i n t a r X i v : 1 4 1 . 8 5 1 6 . Wo r k s h

• p

p a p e r a t I C L R 2 1 5

• H

V I : H a m i l t

• n

i a n V a r i a t i

• n

a l I n f e r e n c e

S a l i m a n s , T . , K i n g m a , D . P . , & We l l i n g , M. ( 2 1 5 ) . Ma r k

• v

C h a i n Mo n t e C a r l

• a

n d V a r i a t i

• n

a l I n f e r e n c e : B r i d g i n g t h e G a p . I C ML 2 1 5 ( V

• l

. 3 7 , p p . 1 2 1 8

• 1

2 2 6 ) .

SLIDE 19

E x p e r i me n t s

• E

n c

• d

e r : 7 8 4 – 3 – 3 – 4

• D

e c

• d

e r : 4 – 3 – 3 – 7 8 4

• A

c t i v a t i

• n

f u n c t i

• n

: g a t e u n i t s

• Wa

r m

• u

p f

• r

2 e p

• c

h s ( a n n e a l i n g K L f r

• m

t

• 1

)

SLIDE 20

E x p e r i me n t s : MN I S T

Me t h

• d

E L B O V A E

• 9

3 . 9 V A E + H F ( T = 1 )

• 8

7 . 8 V A E + H F ( T = 1 )

• 8

7 . 7 V A E + l i n I A F

• 8

5 . 8 V A E + c c l i n I A F ( K = 5 )

• 8

5 . 3 V A E + N I C E ( T = 1 )

• 8

8 . 6 V A E + N I C E ( T = 8 )

• 8

7 . 2 V A E + H V I ( T = 1 )

• 9

1 . 7 V A E + H V I ( T = 8 )

• 8

8 . 3 V A E + N F ( T = 1 )

• 8

7 . 5 V A E + N F ( T = 8 )

• 8

5 . 1

SLIDE 21

SLIDE 22

SLIDE 23

E x p e r i me n t s : H i s t

• p

a t h

• l
• g

y d a t a

• A

d a t a s e t

• f

h i s t

• p

a t h

• l
• g

i c a l i m a g e p a t c h e s ( 2 8 x 2 8 ) .

• 6

, 8 : t r a i n i n g , 2 , : v a l i d a t i

• n

, 2 , : t e s t

• S
• u

r c e : h t t p : / / w w w . e n j

• y

p a t h . c

• m

SLIDE 24

E x p e r i me n t s : H i s t

• p

a t h

• l
• g

y d a t a

Me t h

• d

E L B O V A E 1 3 7 1 . 4 + /

• 3

2 . 1 V A E + H F ( T = 1 ) 1 3 8 8 . + /

• 2

2 . 1 V A E + H F ( T = 1 ) 1 3 9 7 . + /

• 1

5 . 2 V A E + H F ( T = 2 ) 1 3 9 8 . 3 + /

• 8

. 1 V A E + l i n I A F 1 3 8 8 . 6 + /

• 7

. 1 V A E + c c l i n I A F ( K = 5 ) 1 4 1 3 . 8 + /

• 2

2 . 9

SLIDE 25

C

• n

c l u s i

• n
• N
• r

m a l i z i n g f l

• w

s : i t i s a n i c e i d e a t

• e

n r i c h t h e p

• s

t e r i

• r

.

• V
• l

u m e

• p

r e s e r v i n g f l

• w

s s i mp l i f y t h e

• b

j e c t i v e a n d a l l

• w

t

• b

t a i n c

• mp

e t i t i v e r e s u l t s .

• T

w

• n

e w n

• r

m a l i z i n g f l

• w

s w e r e p r

• p
• s

e d .

• G

a t e u n i t s – t h e y i m p r

• v

e l e a r n i n g !

SLIDE 26

R e f e r e n c e :

J . M. T

• m

c z a k , M. We l l i n g , I m p r

• v

i n g V a r i a t i

• n

a l A u t

• E

n c

• d

e r s u s i n g H

• u

s e h

• l

d e r F l

• w

, N I P S Wo r k s h

• p
• n

B a y e s i a n D e e p L e a r n i n g , 2 1 6 , h t t p s : / / a r x i v .

• r

g / a b s / 1 6 1 1 . 9 6 3

C

• d

e

• n

g i t h u b :

h t t p s : / / g i t h u b . c

• m

/ j m t

• m

c z a k / v a e _ h

• u

s e h

• l

d e r _ f l

• w

C

• n

t a c t :

J . M. T

• m

c z a k @ u v a . n l

T h e p r e s e n t e d r e s e a r c h w a s f u n d e d b y t h e E u r

• p

e a n C

• m

m i s s i

• n

w i t h i n t h e Ma r i e S k ł

• d
• w

s k a

• C

u r i e I n d i v i d u a l F e l l

• w

s h i p ( G r a n t N

• .

7 2 6 6 6 , ' ' D e e p l e a r n i n g a n d B a y e s i a n i n f e r e n c e f

• r

m e d i c a l i m a g i n g ' ' ) .