T h e S t a t i s t i c a l L e a r n i n g T - - PowerPoint PPT Presentation

SLIDE 1

D I G S e mi n a r . S e p t e mb e r 6

t h

, 2 1 8

T h e S t a t i s t i c a l L e a r n i n g T h e

• r

y i n P r a c t i c a l P r

• b

l e m s

R

• d

r i g

• F

e r n a n d e s d e M e l l

• U

n i v e r s i d a d e d e S ã

• P

a u l

• I

n s t i t u t

• d

e C i ê n c i a s M a t e m á t i c a s e d e C

• m

p u t a ç ã

• D

e p a r t a m e n t

• d

e C i ê n c i a s d e C

• m

p u t a ç ã

• h

t t p : / / w w w . i c m c . u s p . b r / ~ m e l l

• m

e l l

• @i

c m c . u s p . b r

SLIDE 2

T h e

• r

e t i c a l A s p e c t s

• I

n t e r e s t e d i n i n t r

• d

u c i n g m y r e s e a r c h i n t e r e s t s

SLIDE 3

T h e

• r

e t i c a l A s p e c t s

• I

n t e r e s t e d i n i n t r

• d

u c i n g m y r e s e a r c h i n t e r e s t s

• Wh

a t a b e t t e r w a y t h a n t h e S t a t i s t i c a l L e a r n i n g T h e

• r

y ?

SLIDE 4

S t a t i s t i c a l L e a r n i n g T h e

• r

y

M L P S V M I D 3 K N N J 4 8 C 4 . 5 D WN N C N N T e n s

• r

F l

• w
• S
• m

a n y c l a s s i fi c a t i

• n

a l g

• r

i t h m s :

• H
• w

c a n w e a s s e s s a n y

• f

t h

• s

e ?

SLIDE 5

S t a t i s t i c a l L e a r n i n g T h e

• r

y

M L P S V M I D 3 K N N J 4 8 C 4 . 5 D WN N C N N T e n s

• r

F l

• w
• S
• m

a n y c l a s s i fi c a t i

• n

a l g

• r

i t h m s :

• H
• w

c a n w e a s s e s s a n y

• f

t h

• s

e ?

– K

• f
• l

d c r

• s

s v a l i d a t i

• n

, l e a v e

• n

e

• u

t , . . .

• H
• w

c a n w e p r

• v

e a n y

• f

t h

• s

e l e a r n ?

SLIDE 6

S t a t i s t i c a l L e a r n i n g T h e

• r

y

• V

a p n i k p r

• p
• s

e d t h e S t a t i s t i c a l L e a r n i n g T h e

• r

y

• D

e fi n e d i n t h e c

• n

t e x t

• f

s u p e r v i s e d l e a r n i n g

• L

e a r n i n g g u a r a n t e e s a n d c

• n

d i t i

• n

s

• Wh

a t i s t h e m a i n c a l l ?

S a m p l e e r r

• r

E x p e c t e d e r r

• r

T h i s i s t h e c

• n

c e p t

• f

G e n e r a l i z a t i

• n

SLIDE 7

S t a t i s t i c a l L e a r n i n g T h e

• r

y

• S
• w

h a t i s g e n e r a l i z a t i

• n

?

• C
• n

s i d e r s

• m

e

• n

e h a s g i v e n y

• u

a t e x t b

• k

SLIDE 8

S t a t i s t i c a l L e a r n i n g T h e

• r

y : B i a s

• V

a r i a n c e D i l e mma

• A

n e x a m p l e b a s e d

• n

r e g r e s s i

• n

:

F i g u r e f r

• m

L u x b u r g a n d S c h

• l

k

• p

f , S t a t i s t i c a l L e a r n i n g T h e

• r

y : M

• d

e l s , C

• n

c e p t s , a n d R e s u l t s

Wh i c h f u n c t i

• n

i s t h e b e s t ? T

• a

n s w e r i t w e n e e d t

• a

s s e s s t h e i r E x p e c t e d R i s k s

SLIDE 9

S t a t i s t i c a l L e a r n i n g T h e

• r

y : B i a s

• V

a r i a n c e D i l e mma

• T

h e d i c h

• t
• m

y a s s

• c

i a t e d t

• t

h e B i a s

• V

a r i a n c e D i l e m m a

F

a l l

F F

a l l

F

SLIDE 10

D i s t a n c e

• We

i g h t e d N e a r e s t N e i g h b

• r

s

• B

a s e d

• n

t h e s a m e p r i n c i p l e s a s t h e k

• N

e a r e s t N e i g h b

• r

s

A t t r i b u t e 1 A t t r i b u t e 2

SLIDE 11

D i s t a n c e

• We

i g h t e d N e a r e s t N e i g h b

• r

s

• B

a s e d

• n

t h e s a m e p r i n c i p l e s a s t h e k

• N

e a r e s t N e i g h b

• r

s

N e w i n s t a n c e A t t r i b u t e 1 A t t r i b u t e 2

SLIDE 12

D i s t a n c e

• We

i g h t e d N e a r e s t N e i g h b

• r

s

• B

a s e d

• n

t h e s a m e p r i n c i p l e s a s t h e k

• N

e a r e s t N e i g h b

• r

s

N e w i n s t a n c e S e t t i n g K = 3 S e t t i n g K = 5 S e t t i n g K = 6

SLIDE 13

D i s t a n c e

• We

i g h t e d N e a r e s t N e i g h b

• r

s

• I

t i s b a s e d

• n

R a d i a l f u n c t i

• n

s c e n t e r e d a t t h e n e w i n s t a n c e a . k . a . q u e r y p

• i

n t

• C

l a s s i fi c a t i

• n
• u

t p u t :

• G

i v e n t h e w e i g h t f u n c t i

• n

:

SLIDE 14

D i s t a n c e

• We

i g h t e d N e a r e s t N e i g h b

• r

s

• A

f t e r i m p l e m e n t i n g , t e s t i t

• n

t h i s s i m p l e e x a m p l e

• f

a n i d e n t i t y f u n c t i

• n

: T w

• m

a i n q u e s t i

• n

s :

• Wh

a t h a p p p e n s i f s i g m a i s t

• b

i g ?

• Wh

a t h a p p e n s i f s i g m a i s t

• s

m a l l ? S

• ,

h

• w

c a n w e d e fi n e t h e b e s t v a l u e f

• r

s i g m a ?

SLIDE 15

D i s t a n c e

• We

i g h t e d N e a r e s t N e i g h b

• r

s

• Wh

e n s i g m a t e n d s t

• i

n fi n i t y

F

a l l

T h e s p a c e

• f

a d m i s s i b l e f u n c t i

• n

s ( b i a s ) w i l l c

• n

t a i n a s i n g l e f u n c t i

• n

I n t h i s c a s e , t h e a v e r a g e f u n c t i

• n

SLIDE 16

D i s t a n c e

• We

i g h t e d N e a r e s t N e i g h b

• r

s

• Wh

e n s i g m a t e n d s t

• i

n fi n i t y

SLIDE 17

D i s t a n c e

• We

i g h t e d N e a r e s t N e i g h b

• r

s

• Wh

e n s i g m a t e n d s t

• z

e r

• F

a l l

T h e s p a c e

• f

a d m i s s i b l e f u n c t i

• n

s ( b i a s ) w i l l t e n d t

• t

h e w h

• l

e s p a c e Wh a t i s t h e p r

• b

l e m w i t h t h a t ? I t w i l l m

• s

t p r

• b

a b l y c

• n

t a i n a t l e a s t

• n

e m e m

• r

y

• b

a s e d c l a s s i fi e r

SLIDE 18

D i s t a n c e

• We

i g h t e d N e a r e s t N e i g h b

• r

s

• Wh

e n s i g m a t e n d s t

• z

e r

SLIDE 19

T h e

• r

e t i c a l A s p e c t s

• P

u t t i n g i n s i m p l e t e r m s :

SLIDE 20

T h e

• r

e t i c a l A s p e c t s

• P

u t t i n g i n s i m p l e t e r m s :

• I

n t e r e s t e d i n p r

• v

i n g l e a r n i n g i n d i ff e r e n t s c e n a r i

• s

SLIDE 21

T h e

• r

e t i c a l A s p e c t s

• P

u t t i n g i n s i m p l e t e r m s :

• I

n t e r e s t e d i n p r

• v

i n g l e a r n i n g i n d i ff e r e n t s c e n a r i

• s
• B

u i l d i n g u p a t h e

• r

e t i c a l f r a m e w

• r

k t

• p

r

• v

e t i m e s e r i e s m

• d

e l i n g

– I

d e a : u s e i t t

• e

n s u r e c

• n

c e p t d r i f t d e t e c t i

• n

SLIDE 22

T h e

• r

e t i c a l A s p e c t s

• P

u t t i n g i n s i m p l e t e r m s :

• I

n t e r e s t e d i n p r

• v

i n g l e a r n i n g i n d i ff e r e n t s c e n a r i

• s
• B

u i l d i n g u p a t h e

• r

e t i c a l f r a m e w

• r

k t

• p

r

• v

e t i m e s e r i e s m

• d

e l i n g

– I

d e a : u s e i t t

• e

n s u r e c

• n

c e p t d r i f t d e t e c t i

• n
• T

h e

• r

e t i c a l F r a m e w

• r

k t

• d

e s i g n D e e p L e a r n i n g a r c h i t e c t u r e s

SLIDE 23

L i v i n g i n t h e P a s t . . .

• S
• m

e p r a c t i c a l r e s u l t s :

• B

i

• n

i c h a n d

– H

a r d w a r e u n d e r d e v e l

• p

m e n t a t t h e n

• r

t h e a s t

• f

B r a z i l

– M

a i n l y t

• s

u p p

• r

t p e

• p

l e l i v i n g i n e x t r e m e p

• v

e r t y

• T

i m e S e r i e s V i s u a l i z a t i

• n

t

• l

– w

w w . t s v i z . c

• m

. b r

• C
• v

e r s

• n

g i d e n t i fi c a t i

• n

– S

u p p

• r

t e d t h e E C A D s y s t e m , B r a z i l

• C
• p

y r i g h t

• ffi

c e

• f

s

• n

g s i n B r a z i l

• G
• D

i g i t a l , B r a z i l – i n c

• r

p

• r

a t e d b y A c x i

• m

, U S A

– M

a c h i n e L e a r n i n g f

• r

g e

• p
• s

i t i

• n

i n g s y s t e m s

– M

a r k e t i n g b a s e d

• n

M L

SLIDE 24

R e f e r e n c e s

• V

a p n i k , V . T h e N a t u r e

• f

t h e S t a t i s t i c a l L e a r n i n g , S p r i n g e r , 2 1 1

• L

u x b u r g a n d S c h

• l

k

• p

f , S t a t i s t i c a l L e a r n i n g T h e

• r

y : M

• d

e l s , C

• n

c e p t s , a n d R e s u l t s . H a n d b

• k
• f

t h e H i s t

• r

y

• f

L

• g

i c . V

• l

u m e 1 : I n d u c t i v e L

• g

i c . V

• l

u m e E d i t

• r

s : D

• v

M . G a b b a y , S t e p h a n H a r t m a n n a n d J

• h

n Wo

• d

s , E l s e v i e r , 2 9

• S

c h ö l k

• p

f , B . , S m

• l

a , A . J . , L e a r n i n g Wi t h K e r n e l s : S u p p

• r

t V e c t

• r

M a c h i n e s , R e g u l a r i z a t i

• n

, O p t i m i z a t i

• n

, a n d B e y

• n

d , M I T , 2 2

SLIDE 25

R e f e r e n c e s