T h e S t a t i s t i c a l L e a r n i n g T - PowerPoint PPT Presentation

t h D I G S e mi n a r . S e p t e mb e r 6 , 2 0 1 8 T h e S t a t i s t i c a l L e a r n i n g T h e o r y i n P r a c t i c a l P r o b l e m s R o d r i g o F e r n a n d e s d e M e l l o U n i v e r s i d a d e d e S ã o P a u l o I n s t i t u t o d e C i ê n c i a s M a t e m á t i c a s e d e C o m p u t a ç ã o D e p a r t a m e n t o d e C i ê n c i a s d e C o m p u t a ç ã o h t t p : / / w w w . i c m c . u s p . b r / ~ m e l l o m e l l o @i c m c . u s p . b r

T h e o r e t i c a l A s p e c t s ● I n t e r e s t e d i n i n t r o d u c i n g m y r e s e a r c h i n t e r e s t s

T h e o r e t i c a l A s p e c t s ● I n t e r e s t e d i n i n t r o d u c i n g m y r e s e a r c h i n t e r e s t s ● Wh a t a b e t t e r w a y t h a n t h e S t a t i s t i c a l L e a r n i n g T h e o r y ?

S t a t i s t i c a l L e a r n i n g T h e o r y ● S o m a n y c l a s s i fi c a t i o n a l g o r i t h m s : ● H o w c a n w e a s s e s s a n y o f t h o s e ? K N N J 4 8 S V M M L P C 4 . 5 I D 3 C N N D WN N T e n s o r F l o w

S t a t i s t i c a l L e a r n i n g T h e o r y ● S o m a n y c l a s s i fi c a t i o n a l g o r i t h m s : ● H o w c a n w e a s s e s s a n y o f t h o s e ? – K - f o l d c r o s s v a l i d a t i o n , l e a v e - o n e - o u t , . . . ● H o w c a n w e p r o v e a n y o f t h o s e l e a r n ? K N N J 4 8 S V M M L P C 4 . 5 I D 3 C N N D WN N T e n s o r F l o w

S t a t i s t i c a l L e a r n i n g T h e o r y ● V a p n i k p r o p o s e d t h e S t a t i s t i c a l L e a r n i n g T h e o r y ● D e fi n e d i n t h e c o n t e x t o f s u p e r v i s e d l e a r n i n g ● L e a r n i n g g u a r a n t e e s a n d c o n d i t i o n s ● Wh a t i s t h e m a i n c a l l ? S a m p l e e r r o r E x p e c t e d e r r o r T h i s i s t h e c o n c e p t o f G e n e r a l i z a t i o n

S t a t i s t i c a l L e a r n i n g T h e o r y ● S o w h a t i s g e n e r a l i z a t i o n ? ● C o n s i d e r s o m e o n e h a s g i v e n y o u a t e x t b o o k

S t a t i s t i c a l L e a r n i n g T h e o r y : B i a s - V a r i a n c e D i l e mma A n e x a m p l e b a s e d o n r e g r e s s i o n : ● Wh i c h f u n c t i o n i s t h e b e s t ? T o a n s w e r i t w e n e e d t o a s s e s s t h e i r E x p e c t e d R i s k s F i g u r e f r o m L u x b u r g a n d S c h o l k o p f , S t a t i s t i c a l L e a r n i n g T h e o r y : M o d e l s , C o n c e p t s , a n d R e s u l t s

S t a t i s t i c a l L e a r n i n g T h e o r y : B i a s - V a r i a n c e D i l e mma ● T h e d i c h o t o m y a s s o c i a t e d t o t h e B i a s - V a r i a n c e D i l e m m a F F a l l a l l F F

D i s t a n c e - We i g h t e d N e a r e s t N e i g h b o r s ● B a s e d o n t h e s a m e p r i n c i p l e s a s t h e k - N e a r e s t N e i g h b o r s A t t r i b u t e 2 A t t r i b u t e 1

D i s t a n c e - We i g h t e d N e a r e s t N e i g h b o r s ● B a s e d o n t h e s a m e p r i n c i p l e s a s t h e k - N e a r e s t N e i g h b o r s N e w i n s t a n c e A t t r i b u t e 2 A t t r i b u t e 1

D i s t a n c e - We i g h t e d N e a r e s t N e i g h b o r s ● B a s e d o n t h e s a m e p r i n c i p l e s a s t h e k - N e a r e s t N e i g h b o r s S e t t i n g K = 3 N e w i n s t a n c e S e t t i n g K = 6 S e t t i n g K = 5

D i s t a n c e - We i g h t e d N e a r e s t N e i g h b o r s ● I t i s b a s e d o n R a d i a l f u n c t i o n s c e n t e r e d a t t h e n e w i n s t a n c e a . k . a . q u e r y p o i n t ● C l a s s i fi c a t i o n o u t p u t : ● G i v e n t h e w e i g h t f u n c t i o n :

D i s t a n c e - We i g h t e d N e a r e s t N e i g h b o r s ● A f t e r i m p l e m e n t i n g , t e s t i t o n t h i s s i m p l e e x a m p l e o f a n i d e n t i t y f u n c t i o n : T w o m a i n q u e s t i o n s : - Wh a t h a p p p e n s i f s i g m a i s t o o b i g ? - Wh a t h a p p e n s i f s i g m a i s t o o s m a l l ? S o , h o w c a n w e d e fi n e t h e b e s t v a l u e f o r s i g m a ?

D i s t a n c e - We i g h t e d N e a r e s t N e i g h b o r s ● Wh e n s i g m a t e n d s t o i n fi n i t y T h e s p a c e o f a d m i s s i b l e F f u n c t i o n s ( b i a s ) w i l l c o n t a i n a a l l s i n g l e f u n c t i o n I n t h i s c a s e , t h e a v e r a g e f u n c t i o n

D i s t a n c e - We i g h t e d N e a r e s t N e i g h b o r s ● Wh e n s i g m a t e n d s t o i n fi n i t y

D i s t a n c e - We i g h t e d N e a r e s t N e i g h b o r s ● Wh e n s i g m a t e n d s t o z e r o T h e s p a c e o f a d m i s s i b l e F f u n c t i o n s ( b i a s ) w i l l t e n d t o t h e a l l w h o l e s p a c e Wh a t i s t h e p r o b l e m w i t h t h a t ? I t w i l l m o s t p r o b a b l y c o n t a i n a t l e a s t o n e m e m o r y - b a s e d c l a s s i fi e r

D i s t a n c e - We i g h t e d N e a r e s t N e i g h b o r s ● Wh e n s i g m a t e n d s t o z e r o

T h e o r e t i c a l A s p e c t s ● P u t t i n g i n s i m p l e t e r m s :

T h e o r e t i c a l A s p e c t s ● P u t t i n g i n s i m p l e t e r m s : ● I n t e r e s t e d i n p r o v i n g l e a r n i n g i n d i ff e r e n t s c e n a r i o s

T h e o r e t i c a l A s p e c t s ● P u t t i n g i n s i m p l e t e r m s : ● I n t e r e s t e d i n p r o v i n g l e a r n i n g i n d i ff e r e n t s c e n a r i o s ● B u i l d i n g u p a t h e o r e t i c a l f r a m e w o r k t o p r o v e t i m e s e r i e s m o d e l i n g – I d e a : u s e i t t o e n s u r e c o n c e p t d r i f t d e t e c t i o n

T h e o r e t i c a l A s p e c t s ● P u t t i n g i n s i m p l e t e r m s : ● I n t e r e s t e d i n p r o v i n g l e a r n i n g i n d i ff e r e n t s c e n a r i o s ● B u i l d i n g u p a t h e o r e t i c a l f r a m e w o r k t o p r o v e t i m e s e r i e s m o d e l i n g – I d e a : u s e i t t o e n s u r e c o n c e p t d r i f t d e t e c t i o n ● T h e o r e t i c a l F r a m e w o r k t o d e s i g n D e e p L e a r n i n g a r c h i t e c t u r e s