Konstantin Tretjakov (kt@ut.ee) 22. november 2005 RVM & Eponine - - PowerPoint PPT Presentation

• ✁
• ✂

• ✆

• ✁✎✍

Konstantin Tretjakov (kt@ut.ee)

• 22. november 2005

• ☎

RVM & Eponine – p.1/??

RVM & Eponine – p.2/??

• ✌

• ✍

y(x) =

• m

wmφm(x) + w0 + ǫ

y(x) = σ

• m

wmφm(x) + w0

• RVM & Eponine – p.3/??

P(t|w) = 1 (2πσ2)n/2 exp

• − 1

2σ2t − Φw2

• ✡

• ☎

P(w|t) = P(t|w)P(w) P(t)

• ✍

P(w) P(w|α) =

• i

N(wi|0, α−1

i )

RVM & Eponine – p.4/??

αi

• ✦

• wi

• ☎

P(w|t, α) = 1 (2π)(N+1)/2|Σ|−1/2 exp

• −1

2(w − µ)TΣ−1(w − µ

Σ = (ΦTBΦ + A)−1

µ = ΣΦTBt

A = diag(α1, . . . , αn)

B = σ−2In

• ✑

• ✍

P(t|α)

RVM & Eponine – p.5/??

α

• ✞

P(t|α)

• ✞

P(w|t, α)

α

• ✟

w

α

α

∞

• ☎

RVM & Eponine – p.6/??

• ✞

• ✥

σ(x) =

1 1+ex

• ☛

• ✎

y(x) = σ

• m

wmφm(x) + w0

• ✄

• ✎

P(t|w) =

• i

y(x)ti(1 − y(x))1−ti

• ✑

• ✍

RVM & Eponine – p.7/??

• ✞

• ✎

• ☎

• ✔

α

• ✞

• ✍

wML

P(w, t|α)

• w

wML

• ✍
• ✎

∇2 log P(w, t|α) =

• ✑

α

• ✞

RVM & Eponine – p.8/??

• ✞

• ✟

wi

• ✍

• ✎

• ✥

φi

• ✍

• ☞

• ✎

• ✥

φi

RVM & Eponine – p.9/??

• ☎

• ✁
• ✂

• ☎

• ✄

• ✦

• ☎

• ✟

• ☎

• ✎

RVM & Eponine – p.10/??

• ☎

• ✁
• ✂

• ☎

• ✏

• ✁

• ✡

P

W

• ☎

• ☎

C

a

φ

φ(C) = 1 |W| log

• i

P(a + i)W(C, a + i)

• ✔

RVM & Eponine – p.11/??

• ☎

• ✁
• ✂

• ☎

• ✚

• ✁

• ✥

φi

• ✡

• ✎

• ☎

• ✁

RVM & Eponine – p.12/??

• ✗

• ☎

• ✥

• ✎

• ✥

• ✥

RVM & Eponine – p.13/??

• ✟

• ☎

• ✥

• ✎

• ✆

• ☎

• ✍

• ✎

• ✞

• ✟

RVM & Eponine – p.14/??

• ☎

φ(S) = 4|W| |S| − |W| + 1

• i

W(Si...i+|W|)

• ✍

RVM & Eponine – p.15/??

• ✁

• ✎

W1, W2, . . . , Wm

Pk(i)

φ(S) = Z

m

• i=n

 

k

 

j

Pk(j)Wk(Sj...j+|Wk|)    

Z = 4

• k |Wk|/m − n + 1

n . . . m

• ✎

• ✔

RVM & Eponine – p.16/??

• ✁

• ✍

RVM & Eponine – p.17/??

• ✞

• ☞

• ✌

• ☛

• ☎✆

• ✍

• ✔

RVM & Eponine – p.18/??

• ✂

• ☎

• ✠

• ✞

C

C′

• P(C′) > P(C)

P(C′) P(C)

• ✟

P(C)

• ✎

RVM & Eponine – p.19/??

• ✞

• ☞

• ☞
• ☞

• ✂

• ✎

RVM & Eponine – p.20/??

• ✁

• ✦

• ✥

• ✍

• ☞

RVM & Eponine – p.21/??

• ✁✂

RVM & Eponine – p.22/??