Deep Virtual Networks for Memory Efficient Inference of Multiple - PowerPoint PPT Presentation

Deep Virtual Networks for Memory Efficient Inference of Multiple Tasks (CVPR 2019) Reading Group August 21, 2019 Computer Vision Lab @ ETH Zurich Suman Saha (postdoc)

M o t t i i v v a a t i o n  i t i s w e l l - k n o w n t h a t D N N s h a v e a h i i g g h m m e e m m o r y y f f o o o t t p p r i i n n t [ 1 0 , 1 7 ] l i m i t i n g t h e i r p r a c t i c a l a p p l i c a t i o n s , s u c h a s m o b i l e p h o n e s , r o b o t s , a n d a u t o n o m o u s v e h i c l e s o f l o w c a p a c i t y  T o a d d r e s s t h i s , r e s e a r c h a i m e d a t r e d u c i i n n g t t h h e n n u m b e e r r o o f f p p a r a a m m e e t t e e r r s [ 1 2 , 1 4 ] , h o w e v e r , t h e r e i s a t r a d e - o fg b e t w e e n a c c u r a c y a n d t h e n u m b e r o f p a r a m e t e r s ( m e m o r y b u d g e t ) a t t e s t t i m e  w e e w w a a n n t t a a n n e e t t w w o o r r k k t t h h a a t t g g i i v v e e s s c c o m p e e t t i i t t i i v e p p e e r r f o o r r m a a n n c e e u n d e e r r a a g g i v e n m e e m m o o r r y y b u d g e e t t  B e s i d e s , g i v e n N d i fg e r e n t m e m o r y b u d g e t s , w e d e fj n e a n d t r a i n N d i fg e r e n t D N N m o d e l s w h i c h r e q u i r e a d d i i t t i i o o n a l t t r r a i i n n i i n n g c c o o s s t 2

M o t t i i v v a a t i o n  [ 1 9 , 2 2 ] p r o p o s e d s i n g l e D N N m o d e l s w h i c h c a n p e r f o r m m u l t t i i p p l e e i n f e e r r e e n n c e u n d e e r r d d i i fg fg e r e e n n t t m e e m m o o r r y y b b u d g e e t t s s a l l o w i n g fm e x i b l e a c c u r a c y - m e m o r y t r a d e - o fg s w i t h i n a s i i n n g l e e n n e t t w w o o r r k ( a l s o c a l l e d m e m o r y e ffj c i e n t i n f e r e n c e )  a n d t h u s , c a n a v o i d i n t r o d u c i n g m u l t i p l e n e t w o r k s f o r d i fg e r e n t m e m o r y b u d g e t ( n o t e , t h e s e a r e f o r a s i i n n g l e e t t a a s s k )  l e a r n i n g m u l t i p l e t a s k s s i m u l t a n e o u s l y i n a n e t w o r k a v o i d m u l t i - s t a g e t r a i n i n g [ 2 , 2 6 ] a n d i m p r o v e g e n e r a l i z a t i o n [ 5 , 7 , 3 9 ]  t h i s w o r k p r o p o s e s a n a p p r o a c h t h a t p e r f o r m s m e e m m o o r r y y e e ffj ffj c i i e e n n t t i n f e e r r e e n n c e f o r m u l t t i i p p l e e t t a a s k k s s [ [ * ] i n a s i i n n g l e e n n e e t t w w o o r r k [19] Eunwoo Kimet al. NestedNet : Learning nested sparse structures in deep neural networks. CVPR 2018 [22] Gustav Larsson et al. FractalNet : Ultra-deep neural networks without residuals. ICLR 2017 [*] Multiple tasks refer to multiple datasets, unless stated otherwise 3

A A p p p r o a c h  a r c h i t e c t u r e c o n t a i n i n g m u l t t i i p p l e e n n e e t t w w o o r r k k s s o f d d i i fg fg e r e e n n t c c o o n n fj fj g u r a a t t i i o o n n s t e r m e d d e e e p p v i i r r t t u u a a l l n n e t t w w o o r r k k s s ( D V N s )  E a c h D V N s h a r e s p a r a m e t e r s o f t h e a r c h i t e c t u r e a n d p e r f o r m s m e m o r y e ffj c i e n t i n f e r e n c e f o r i t s c o r r e s p o n d i n g t a s k 4

A A p p p r o a c h  t h e p r o p o s e d a r c h i t e c t u r e i s b a s e d o n a b a a c c k k b b o n e e n n e e t t w w o o r r k  t h e n e t w o r k p a r a m e t e r s a r e d i v i d e d i n t o m u l t i p l e d i s j o i n t u n i i t t s s  u n i i t t s a r e c o l l e c t e d b y d i v i d i n g  a s e t o f f e a t u r e m a p s i n e a c h  l a y e r i n t o m u l t i p l e s u b s e t s  A D V N i s s t r u c t u r e d h i e r a r c h i c a l l y  w h i c h c o n t a i n s m u l t i p l e l e v e l s  o f h i e r a r c h y c o r r e s p o n d i n g t o  d i fg e r e n t n u m b e r s o f u n i t s e n a b l i n g  m u l t i p l e i n f e r e n c e f o r d i fg e r e n t  m e m o r y b u d g e t s 5

A A p p p r o a c h  a u n i t c a n b e s h a r e d b y d i fg e r e n t D V N s a l l o w i n g m u l t i p l e D V N s i n a s i n g l e d e e p n e t w o r k t o p e r f o r m m u l t t i i - - t t a a s s k k i i n n g  E a c h D V N h a s a u n i i q q u e e c c o o n n fj fj g u r a a t t i i o o n ( S e c t i o n 3 . 2 ) ( i . e . , a h i e r a r c h i c a l s t r u c t u r e w i t h a d i fg e r e n t o r d e r o f u n i t s ) ,  a n d i s s p e c i a a l l i i z z e d f f o o r r a a s s i i n n g l e e t t a a s k  Tie a p p r o a c h i s r e a l i z e d i n a s i i n n g l e  t t r r a i i n n i i n n g s s t t a a g e b a s e d o n a s i n g l e  b a c k b o n e a r c h i t e c t u r e  ( e . g . , a r e s i d u a l n e t w o r k [ 1 3 ] ) ,  w h i c h s i g n i fj c a n t l y r e d u c e e s s  t t r r a i i n n i i n n g e e fg fg o r t t s s a n d  n e e t t w w o o r r k k s s t t o o r r a g e 6

A A p p p r o a c h – M M e m o r y e ffj ffj c c i i e n n t t l l e a r n n i i n n g g  g i v e n a b a c k b o n e , d i v i d e t h e n e t w o r k p a r a m e t e r s i n t o k d i s j o i n t s u b s e t s : i . e . W = [ W_ { 1 } , ../ , W_ { k } ]  l - t h l e v e l o f h i e r a r c h y ( l > = 2 ) c o n t a i n s t h e s u b s e t s i n t h e ( l - 1 ) - t h l e v e l a n d o n e a d d i t i o n a l s u b s e t  l e v e l - 1 ( l o w e s t l e v e l ) c o n t a i n s ( l = 1 )  a s i n g l e s u b s e t s  l e v e l n _ { h } ( h i g h e s t l e v e l ) c o n t a i n s  a l l s u b s e t s ( i . e . W)  n _ { h } : n u m b e r o f l e v e l s o f h i e r a r c h y  k : n u m b e r o f s u b s e t s  i n t h i s w o r k , k = n _ { h }  e a c h l e v e l o f h i e r a r c h y d e fj n e s  a n e t w o r k c o r r e s p o n d i n g t o t h e s u b s e t  a n d p r o d u c e s a n o u t p u t 7

A A p p p r o a c h – M M e m o r y e ffj ffj c c i i e n n t t l l e a r n n i i n n g g  L o s s f u n c t i o n :  : d a t a s e t - i m a g e - l a b e l p a i r s  : l e v e l s o f h i e r a r c h y  : s e t o f p a r a m e t e r s a n d c a n b e o p t i m i z e d b y t h e s u m o f t h e l o s s f u n c t i o n s  w h e r e :  i s a s e t o f p a r a m e t e r s o f t h a t a r e a s s i g n e d t o t h e l - t h l e v e l a n d d e s i g n e d b y f o l l o w i n g g r o u p - w i s e p r u n i n g a p p r o a c h e s [ 1 4 , 3 3 ]  N o o t t e e , E E q q . ( ( 1 ) i s a a p p p l i i e e d t t o o a a s i i n n g l e e t t a a s s k 8