I ma g e C a p t i o n i n g A mb a r P a l I I - PowerPoint PPT Presentation

I ma g e C a p t i o n i n g A mb a r P a l I I I T D e l h i M a y 2 3 , 2 0 1 6

P r o b l e m D e s c r i p t i o n - 1 I n n o v e l o b j e c t d i s c o v e r y , w e w a n t t o d e s c r i b e o b j e c t s i n t h e i ma g e w h i c h w e r e a r e n o t p r e s e n t i n t h e p a i r e d t r a i n i n g d a t a Cat Dogs Running in the Park Lots of fruits on the table A Cat is sitting on the table

P r o b l e m D e s c r i p t i o n - 2 A h a r d e r v e r s i o n o f t h e p r o b l e m Dogs Running in the Park Lots of fruits on the table An object like a dog is sitting on the table

P r e v i o u s A p p r o a c h e s - 1 T h i s i s a w o r k b y V i n y a l s e t a l ( 2 0 1 5 ) , S h o w a n d T e l l : A N e u r a l I ma g e C a p t i o n G e n e r a t o r Image taken from http://arxiv.org/abs/1411.4555

P r e v i o u s A p p r o a c h e s - 1 ● G e n e r a t e a f i x e d l e n g t h v e c t o r r e p r e s e n t a t i o n o f t h e i ma g e , s a y V . T h i s i r e p r e s e n t a t i o n i s t a k e n b y e x t r a c t i n g t h e f e a t u r e s f r o m a h i d d e n l a y e r o f a p r e t r a i n e d C N N ● C o n v e r t t h e c a p t i o n t o a v e c t o r r e p r e s e n t a t i o n , s a y V c ● V i s f e d t o a n L o n g S h o r t i T e r m M e mo r y R N N ( L S T M ) a s a u x i l i a r y i n p u t ● N o w V i s f e d , e l e me n t b y c e l e me n t t o t h e R N N t o t r a i n i t

P r e v i o u s A p p r o a c h e s - 2 T h i s i s a w o r k b y F a n g e t a l ( 2 0 1 5 ) , F r o m C a p t i o n s t o V i s u a l C o n c e p t s a n d B a c k Image taken from https://arxiv.org/abs/1411.4952

P r e v i o u s A p p r o a c h e s - 2 Wo r d D e t e c t i o n S t a g e T h e y f i l t e r o u t t h e mo s t c o mmo n w o r d s i n t h e t r a i n i n g s e t a n d t h e n u s e n o i s y - O R M u l t i p l e I n s t a n c e L e a r n i n g - t a k i n g a s l i d i n g w i n d o w o n t h e i ma g e a s t h e b a g s - t o d e t e r mi n e t h e r e g i a f o r e a c h w o r d f o r e a c h i ma g e . T h e n e e d f o r b o u n d i n g b o x e s i s e l i mi n a t e d b y t a k i n g t h e r e p r e s e n t a t i o n g e n e r a t e d b y a C N N t r a i n e d o n I ma g e N e t f o r t h e b a s e o f t h e M I L Image taken from https://arxiv.org/abs/1411.4952

P r e v i o u s A p p r o a c h e s - 2 S e n t e n c e G e n e r a t i o n S t a g e F o r e a c h i ma g e , w i t h t h e s u g g e s t e d p r o b a b i l i t y o f e a c h w o r d f o r t h e i ma g e , t h e y u s e a M a x i mu m E n t r o p y L a n g u a g e M o d e l t o p r e d i c t t h e b e s t s e n t e n c e s f i t t i n g t h e w o r d s . T h e f e a t u r e s u s e d f o r t h e L M a r e s p e c i f i e d R a n k i n g G e n e r a t e d S e n t e n c e s T h e y t h e n r a n k t h e s e n t e n c e s g e n e r a t e d

M o t i v a t i o n ● I d e a l l y , w e w o u l d l i k e t o c o mp l e t e l y e l i mi n a t e t h e n e e d f o r c a p t i o n s d u r i n g t r a i n t i me ● We w o u l d w a n t t o g e n e r a t e a mo d e l t h a t t a k e s a s i n p u t o n l y w h a t e a c h o b j e c t i s c a l l e d , a n d i n w h a t c o n t e x t i s a n o b j e c t d e s c r i b e d ● U s i n g t h e s e p i e c e s o f i n f o r ma t i o n , i t s h o u l d b e a b l e t o g e n e r a t e c o h e r e n t s e n t e n c e s w h i c h d e s c r i b e i ma g e s ● P r e r e q u i s i t e s a r e , a g o o d w a y t o l e a r n t h e r e p r e s e n t a t i o n s o f i ma g e s a n d a g o o d L a n g u a g e M o d e l ● T h o u g h D C C d o e s n o t e l i mi n a t e t h e n e e d o f p a i r e d i ma g e - t e x t d a t a , i t i s a s t e p i n t h i s d i r e c t i o n

D C C T h e D e e p C o mp o s i t i o n a l C a p t i o n e r i s a w o r k b y H e n d r i c k s e t a l . ( 2 0 1 6 ) Image taken from https://arxiv.org/abs/1511.05284

L e x i c a l C l a s s i f i e r I t s w o r k i s t o ma p i ma g e s t o mu l t i p l e l a b e l s i n f o r m o f “ V i s u a l C o n c e p t s ” A v i s u a l c o n c e p t ma y b e a n o b j e c t ( T a b l e ) o r a n a b s t r a c t f o r m( b e a u t i f u l ) T h e v i s u a l c o n c e p t s a r e mi n e d f r o m t e x t c o r p o r a b y u s i n g p r e v i o u s w o r k i n t h e a r e a o f p a r t - o f - s p e e c h i d e n t i f i c a t i o n N o w a p r e t r a i n e d D N N i s t a k e n , f o r e x a mp l e A l e x n e t a n d t h e p r o b a b i l i t y l a y e r i s r e mo v e d A c r o s s - e n t r o p y l a y e r i s n o w a d d e d t o t h e n e t a t t h e e n d t o h a n d l e mu l t i p l e l a b e l s T h i s i ma g e f e a t u r e v e c t o r F o f s i z e 1 x m i s t o b e u s e d l a t e r i

L a n g u a g e M o d e l I t c o n s i s t s o f a n e mb e d d i n g l a y e r , L S T M , a n d a w o r d p r e d i c t i o n l a y e r E mb e d d i n g L a y e r I n p u t i s a o n e h o t w o r d v e c t o r r e p r e s e n t a t i o n , < 0 , 0 , . . . , 0 , 1 , 0 , … , 0 > [ 1 x m ] T h e e mb e d d i n g l a y e r h a s a M a t r i x , M o f S i z e [ m x n ] a n d i t c o mp u t e s w * M t o g i v e a [ 1 x n ] w o r d v e c t o r r e p r e s e n t a t i o n i

L a n g u a g e M o d e l 1 . T h e w o r d i s f e d i n t o a n e mb e d d i n g l a y e r t o g e t a v e c t o r r e p r e s e n t a t i o n 2 . T h i s v e c t o r r e p r e s e n t a t i o n i s t h e n f e d a s i n p u t t o a n L S T M t h a t p r o d u c e s a n o u t p u t v e c t o r Image taken from https://arxiv.org/abs/1511.05284

L a n g u a g e M o d e l 3 . T h i s o u t p u t v e c t o r i s c o n c a t e n a t e d w i t h t h e w o r d e mb e d d i n g t o g i v e t h e L a n g u a g e F e a t u r e F l 4 . F i s t h e n i n p u t t o a f u l l y c o n n e c t e d l a y e r t o l p r e d i c t t h e n e x t w o r d i n t h e s e q u e n c e T h e y a l s o e n f o r c e a c o n s t r a i n t t h a t t h e s a me w o r d c a n n o t b e p r e d i c t e d t w i c e i n a r o w Image taken from https://arxiv.org/abs/1511.05284

C a p t i o n M o d e l Image taken from https://arxiv.org/abs/1511.05284

C a p t i o n M o d e l T h e c a p t i o n mo d e l c o mb i n e s t h e I ma g e f e a t u r e s a s w e l l a s t h e L a n g u a g e f e a t u r e s t o o u t p u t t h e p r o b a b i l i t y o f e a c h c o n c e p t i n t h e i ma g e Image taken from https://arxiv.org/abs/1511.05284