I mp r o v i n g V a r i a t i o n a l A u t o - PowerPoint PPT Presentation

I mp r o v i n g V a r i a t i o n a l A u t o - E n c o d e r s u s i n g V o l u me - P r e s e r v i n g F l o w s A p r e l i mi n a r y s t u d y J a k u b M. T o mc z a k J o i n t w o r k w i t h Ma x We l l i n g A ML A B S e m i n a r 1 4 / 0 2 / 2 0 1 7 T h e p r e s e n t e d r e s e a r c h w a s f u n d e d b y t h e E u r o p e a n C o m m i s s i o n w i t h i n t h e Ma r i e S k ł o d o w s k a - C u r i e I n d i v i d u a l F e l l o w s h i p ( G r a n t N o . 7 0 2 6 6 6 , ' ' D e e p l e a r n i n g a n d B a y e s i a n i n f e r e n c e f o r m e d i c a l i m a g i n g ' ' ) .

Mo t i v a t i o n ● G e n e r a t i v e mo d e l s a r e a p p e a l i n g → g e n e r a t i n g i m a g e s → d a t a a u g m e n t a t i o n → . . . ● T w o c o m p o n e n t s : – E n c o d e r p ( z | x ) – D e c o d e r p ( x | z )

V a r i a t i o n a l A u t o - E n c o d e r s ( V A E ) ● H o w t o r e p r e s e n t d i s t r i b u t i o n s ? → n e u r a l n e t w o r k o u t p u t s p a r a m e t e r s ● E n c o d e r a p p r o x i m a t e d b y v a r i a t i o n a l p o s t e r i o r : ● T r a i n i n g o b j e c t i v e :

V a r i a t i o n a l A u t o - E n c o d e r s ( V A E ) ● H o w t o r e p r e s e n t d i s t r i b u t i o n s ? → n e u r a l n e t w o r k o u t p u t s p a r a m e t e r s ● E n c o d e r a p p r o x i m a t e d b y v a r i a t i o n a l p o s t e r i o r : ● T r a i n i n g o b j e c t i v e : + reparameterization trick

N o r ma l i z i n g f l o w s ● D i a g o n a l p o s t e r i o r - i n s u f f i c i e n t a n d i n f l e x i b l e . ● H o w t o g e t m o r e f l e x i b l e p o s t e r i o r ? → a p p l y a s e r i e s o f T i n v e r t i b l e t r a n s f o r ma t i o n s . ● N e w o b j e c t i v e :

N o r ma l i z i n g f l o w s ● D i a g o n a l p o s t e r i o r - i n s u f f i c i e n t a n d i n f l e x i b l e . ● H o w t o g e t m o r e f l e x i b l e p o s t e r i o r ? → a p p l y a s e r i e s o f T i n v e r t i b l e t r a n s f o r ma t i o n s . ● N e w o b j e c t i v e :

N o r ma l i z i n g f l o w s ● D i a g o n a l p o s t e r i o r - i n s u f f i c i e n t a n d i n f l e x i b l e . ● H o w t o g e t m o r e f l e x i b l e p o s t e r i o r ? → a p p l y a s e r i e s o f T i n v e r t i b l e t r a n s f o r ma t i o n s . ● N e w o b j e c t i v e :

N o r ma l i z i n g f l o w s ● D i a g o n a l p o s t e r i o r - i n s u f f i c i e n t a n d i n f l e x i b l e . ● H o w t o g e t m o r e f l e x i b l e p o s t e r i o r ? → a p p l y a s e r i e s o f T i n v e r t i b l e t r a n s f o r ma t i o n s . ● N e w o b j e c t i v e : R e z e n d e , D . J . , & Mo h a m e d , S . ( 2 0 1 5 ) . V a r i a t i o n a l i n f e r e n c e w i t h n o r m a l i z i n g f l o w s . a r X i v p r e p r i n t a r X i v : 1 5 0 5 . 0 5 7 7 0 . I C ML 2 0 1 5

N o r ma l i z i n g f l o w s L a w o f U n c o n s c i o u s S t a t i s t i c i a n ( L O T U S ) : ● D i a g o n a l p o s t e r i o r - i n s u f f i c i e n t a n d i n f l e x i b l e . g i v e s u s t h e f o l l o w i n g : ● H o w t o g e t m o r e f l e x i b l e p o s t e r i o r ? → a p p l y a s e r i e s o f T i n v e r t i b l e t r a n s f o r ma t i o n s . ● N e w o b j e c t i v e : R e z e n d e , D . J . , & Mo h a m e d , S . ( 2 0 1 5 ) . V a r i a t i o n a l i n f e r e n c e w i t h n o r m a l i z i n g f l o w s . a r X i v p r e p r i n t a r X i v : 1 5 0 5 . 0 5 7 7 0 . I C ML 2 0 1 5

N o r ma l i z i n g f l o w s ● D i a g o n a l p o s t e r i o r - i n s u f f i c i e n t a n d i n f l e x i b l e . ● H o w t o g e t m o r e f l e x i b l e p o s t e r i o r ? → a p p l y a s e r i e s o f T i n v e r t i b l e t r a n s f o r ma t i o n s . ● N e w o b j e c t i v e : R e z e n d e , D . J . , & Mo h a m e d , S . ( 2 0 1 5 ) . V a r i a t i o n a l i n f e r e n c e w i t h n o r m a l i z i n g f l o w s . a r X i v p r e p r i n t a r X i v : 1 5 0 5 . 0 5 7 7 0 . I C ML 2 0 1 5

N o r ma l i z i n g f l o w s ● D i a g o n a l p o s t e r i o r - i n s u f f i c i e n t a n d i n f l e x i b l e . ● H o w t o g e t m o r e f l e x i b l e p o s t e r i o r ? → a p p l y a s e r i e s o f T i n v e r t i b l e t r a n s f o r ma t i o n s . ● N e w o b j e c t i v e : J a c o b i a n - d e t e r mi n a n t : ( i ) g e n e r a l n o r m a l i z i n g f l o w ( | d e t J | i s e a s y t o c o m p u t e ) ( i i ) v o l u me - p r e s e r v i n g f l o w , i . e . , | d e t J | = 1

V o l u me - p r e s e r v i n g f l o w s ● H o w t o o b t a i n m o r e f l e x i b l e p o s t e r i o r a n d p r e s e r v e | d e t J | = 1 ? ● Mo d e l f u l l - c o v a r i a n c e ma t r i x : – u s i n g o r t h o g o n a l ma t r i c e s → H o u s e h o l d e r f l o w – u s i n g l o w e r - t r i a n g u l a r ma t r i x ( w i t h o n e s o n t h e d i a g o n a l ) → l i n e a r I n v e r s e A u t o r e g r e s s i v e F l o w

H o u s e h o l d e r F l o w : mo t i v a t i o n ● T h e e i g e n d e c o m p o s i t i o n o f a f u l l - c o v a r i a n c e m a t r i x : ● P r o p o s i t i o n : A p p l y a n d s i n c e U i s o r t h o g o n a l , t h e J a c o b i a n - d e t e r m i n a n t w o u l d b e 1 . ● Q u e s t i o n : I s i t p o s s i b l e t o m o d e l t h e o r t h o g o n a l m a t r i x U i n a p r i n c i p l e d m a n n e r ? Y E S !

H o u s e h o l d e r F l o w : mo t i v a t i o n ● T h e e i g e n d e c o m p o s i t i o n o f a f u l l - c o v a r i a n c e m a t r i x : T h e o r e m A n y o r t h o g o n a l m a t r i x w i t h t h e b a s i s a c t i n g o n t h e ● P r o p o s i t i o n : A p p l y K - d i m e n s i o n a l s u b s p a c e c a n b e e x p r e s s e d a s a p r o d u c t o f e x a c t l y K H o u s e h o l d e r t r a n s f o r ma t i o n s . S a u n n , d X . , s & i n B i c s c e h o U f , C . i s ( 1 9 o 9 r 5 ) t . h A o b g a s o i s n - k e a r n l , e l t r e h p e r e s J e n a t a c t i o o n b o i f a o n r t - h d o g e o t n a e l r m m a t i r i n c e a s . n t w o u l d S I A M J o u r n a l o n Ma t r i x A n a l y s i s a n d A p p l i c a t i o n s , 1 6 ( 4 ) , 1 1 8 4 - 1 1 9 6 . b e 1 . ● Q u e s t i o n : I s i t p o s s i b l e t o m o d e l t h e o r t h o g o n a l m a t r i x U i n a p r i n c i p l e d m a n n e r ? Y E S !