� ✁ ✡ ✝ ☛ ✠ ✞ � ☎ ☛ ☎ ✞ ✌ �☞ ☎ ☛ ✡ � ✂ ✄ ☎ ✆ � � ✆ ✠ ✄ ✆ ✝✟✞ ✁✎✍ Konstantin Tretjakov (kt@ut.ee) 22. november 2005
RVM & Eponine – p.1/ ?? ✎ ✌ ✍ ✎ ✔ ✟ ✍ ✞ ☎ ✟ ✆ ✞ ☛ ✑ ✏ ✘ ✗ ✏ ✡ ✍ ✖ ✡ ✢ ✔ ✞ ✔ ☎ ✟ ☎ ✆ ✄ ✟ ✡ ✥ ✤ ✡ ✔ ✆ ✞ ☎ ✞ ✏ ✝ ✌ ✟ ☞ ☎ ✡ ☛ ✡ ☎✆ ✕ ✄ ✂ �✁ ☞ ✝ ☎ � ✝ ☎ ☛ ✌✍ ✞ ✡ ✓ ✍ ✄ ✡ ☞ ✟ ✟ ✍ ✄ ✝ ✎ ✞ ☛✧✦ ✗✙✢ ✚✜✛ ✗✙✘ ✞✠✟ ☛✒✔ ✞✠✟ ✖✣✑ ✏✒✑
RVM & Eponine – p.2/ ?? ☎ ✞ ✎ ✎ ✍ ✔ ✡ ✤ ✥ ✡ ✟ ✆ ✡ ☎ ✟ ✔ ☛ ✞ ✔ ✍ ✎ ✏ ✔✕ ✖✗ ✘ ✒ ✙ ✗ ✗ ✚ ✗ ✦ ✑ ✥✦ ✍ ✡ ✞ ✎ ☎ ✑ ✑ ☛ ✞ ✆ ☎ ☎ ☛ ✡ ✎ ✔ ✑ ✡ ✤ ✥ ✡ ✟ ✆ ✡ ☎ ✟ ☎ ✔ ✞ ✔ ✖ ✗ ✒ ☎ ✓ ☛ ☛ ✪ ✥ ✔ ✎ ✍ ☎ ✔ ✡ ☞ ✟ ✡ ✘ ✞ ✝ ✔ ✆ ✥ ✔ ✔ ☎ ✟ ✓ ☛ ✡ ☎ ☞ ✟ ✢ ☎ ✔ ✖ ✡ ✔ ✚ ✧ ✖ ★ ✩ ✥ ☎ ☛ ✞ ✔ ✝ ✎ ✝ ☞ ✡ ✟ ☞ ✡ ✝ ✡ ✝ ✓ ✖ ✡ ✢ ✔ ✎ ☛ ✥ ✔ ✄ ✡ ✂ ☎ ✎ ✝ ✡ ✓ ✍ ✟ ✞ ✎ ☞ ✟ ✍ ✝ ✝ ✝ ✎ ☎ ✞ ☎ ✡ ✆ ✢ ✌ ✎ ✝ ✎ ✎ ✞ ✝ ✍ ✓ ✍ ✥ ✘ ✍ ✥ ✝ ✂ ✄ ✝ ✡ ✑ ☞ ✍ ☎ ☛ ✡ ✄ ☎ ✔ ✔ ✖ ✌✍ ✡☛ ✔ ✞ ✝ ✎ ✎ ✡ ✥ ✡ ✝ ✆ ✕ ☛ ☎ ✕ ☞ ✝ ✄ ✎ ☛ ✍ ✍ ☞ ✔ ✆ ✍ ✍ ☛ ✢ ✢ ✢ ✌ ✝ ✎ ✡ ✥ ✔ ✥ ☎ ☛ ✔ ✍ ☛ ✥ ✎ ✞ ✍ ✟ ☎ ✝ ✓ ✞ ☎ ✟ ✡ ✎ ✝ ✞ ✔ ✟ ✞ ✆ ✡ ✄ ☎✆ ✍ ✝ ✟ ✄ ☛ ✝ ✡ ☎ ✎ ☞ ✟ ✡ ✡ ✌ ☛✧✦ ✞✠✟ ☛✧✦ ✞✠✟ ✑✢✤✣ ✚✜✛ ✡ ✁� ✑✓✒ ☛✒✔
RVM & Eponine – p.3/ ?? ☛ ✔ ✡ ☞ ✌ ✡ ☞ ☞ ✍ � ✡ ✞ ✓ ✍ ✄ ☞ ☎ ✡ ☞ ✓ ✡ ✔ ✍ ✞ ✔ ✕ ✟ ✍ ✞ ✎ ☎ ✆ ✂ ✞ ✔ ✟ ☎ ☛ ✆ ☞ ✍ ✢ ✢ ✢ ✕ ✁ ✩ ☛ ✑ ✍ ☎ ✆ ☎ ✔ ☎ ✌ ✟ ✞ ✑ ✡ ✞ ✄ ✦ ☎ ✓ ✡ ✔ ✍ ✑ ✍ ✄✑ ☛ ✎ ✖ ☞ ✡ ✟ ✡ ✌ � ✍ ✓ ✟ ✞ ☞ ✞ ✢ ✁ ✗ ✍ ✎ ✂ ☞ ✍ ✎ � w m φ m ( x ) + w 0 + ǫ w m φ m ( x ) + w 0 �� m � m ✞✠✟ y ( x ) = σ y ( x ) =
✖ ✥ ✍ ✟ ☎ ✍ ✄ ✕ ✡ ☛ ☞ ✓ ✞ ✔ ✡ ✦ ☎ ✔ ✡ ✝ ✞ ✍ ✡ ✂ ☞ ✍ � ✝ ✂ ✁✂ ✡ ✟ ✡ ✟ ✓ ✌ ✟ ✞ ✎ ✎ ✂ ☞ ✡ ✎ � ✔ ✝ ✥ ✔ ✥ ☎ ✌ ✝ ✎ ✞ ☛ ☎ ✡ ✓ ✍ ✄ ☎ ✡ ✄ ✥ ✔ ✞ ✔ ✟ ✟ ✝ ✍ ✟ ✟ ☎ ✆ ✡ ✡ ✔ ✍ ✞ � � 1 − 1 2 σ 2 � t − Φw � 2 P ( t | w ) = (2 πσ 2 ) n/ 2 exp P ( w | t ) = P ( t | w ) P ( w ) P ( t ) P ( w ) ✄✆☎ � N ( w i | 0 , α − 1 P ( w | α ) = i ) i RVM & Eponine – p.4/ ??
2( w − µ ) T Σ − 1 ( w − µ RVM & Eponine – p.5/ ?? ✡ ✎ ✝ ✞ ✟ ✌ ☛ ✞ ☞ ✡ ✕ ✝ ✍ ✝ ✡ ☞ ✡ ✘ ✘ ✘ ✢ ☛ ✍ ✝ ✄ ✔ ✟ ✆ ✔ ✍ ✝ ✡ ✥ ✌ ☛ ✦ ✆ ☎ ☛ ✥ ✎ ☛ ☎ ✎ ✞ ✍ ✟ ✔ ✎ ✍ ✌ ✡ ✞ ✎ ✟ � ✞ ☛ ☎ ☞ ☛ ✦ ✥ ✌ ☛ ✦ ✡ ✑ ✞ ☞ ✡ ✔ ✔ ✞ ✍ ✟ � ✍ ☞ ✢ ✄ ✔ ✡ ✡ ✌ ☞ ☎ ✎ ✡ ☎ ✝ ☎ ✦ ✎ ✝ ✝ ☎ ✡ ✞ ✌ ✝ ✎ ✔ ✎ ✍ ✌ ✡ ✎ ✓ ✄ ☎ ☛ ☞ ✞ ☎ ✥ ✎ ✞ ✍ ✟ ✍ � ✢ ✍ ✔ ✝ ✝ ✡ ✄ ✥ ✔ ✎ ☎ ✍ ✡ ✔ ✎ ✎ ✞ ✄ ✑ ✡ ✑ ☎ ☞ ☎ ✄ ✡ ✎ ✡ ☞ ✔ ✔ ✡ ✓ ✆ ✞ � ✦ ✎ ✝ ✡ ✑ ☞ ✞ ✍ ☞ ✟ ✞ ✄ ✘ ✔ ✡ ✔ ✍ ✄ ✡ � ☎ ✦ ✡ ✔ ✞ ✔ ☎ ✍ ✄ ✡ ✞ ✟ ✎ ✡ ✌ ☞ ☎ ✎ ✞ ✍ ✥ ✘ ✟ ✄ ✡ ✍ ✞ ✝ ✎ ✡ ✎ ✄ ✡ ✝ ✍ ✝ ✢ ✖ ✌ ☎ ✔ w i − 1 µ = ΣΦ T Bt � (2 π ) ( N +1) / 2 | Σ | − 1 / 2 exp B = σ − 2 I n Σ = ( Φ T BΦ + A ) − 1 P ( t | α ) A = diag( α 1 , . . . , α n ) 1 α i ☛✒✔ P ( w | t , α ) =
RVM & Eponine – p.6/ ?? ✞ ✎ ✓ ✟ ✡ ✎ ☛ ☛ ✝ ✘ ✔ ✛ ✦ ✟ ☎ ✄ ✔ ✍ ✔ ✎ ✎ ✝ ✎ ✡ ✟ ✥ ☞ ✑ ✔ ✍ ✥ ✪ ✟ ☎ ✆ ✡ ✝ ✡ ☎ ✆ ✡ ✡ ✎ ✞ ✓ ✟ ☎ ✔ ✎ ☎ ☎ ✓ ✥✑ ✎ ☎ ✝ ✎ ☞ ✎ ✓ ✞ ✑ ✥ ✡ ✝ ✎ ✌ ✟ ☞ ✞ ✥ ✡ ✢ ✦ ☛ ✡ ✟ ✡ ✍ ✝ ✞ ✔ ✟ ✥ ☞ ✄ ✝ ✎ ☞ ☞ ✌✍ ☛ ☎ ✡ ✝ ✎ ✘ ✑ ✍ ✡ ✦ ✢ ☞ ✡ ✎ ✔ ☎ � ☛ ✌ ✡ ✟ ✞ ✔ ✔ ✡ ☞ ✓ ✟ ☞ ✟ ✎ ✝ ✌ ✞ ✡ ✝ ✌ ✞ ✢ ✓ ✟ ✍ ✑ ✔ ✡ ☞ ✔ ✖ ✥ ✝ ☞ ✑ ✎ ✡ ✌ ✔ ✎ ✌ ✔ ✞ ✡ ✝ ✡ ☞ ✍ ✄ ✆ ✡ ✎ ✡ ✍ ☎ ✓ ☛ ✥ ✍ ✆ ✢ ✥ ✎ ✟ ✡ ✆ ✔ ✡ ✓ ✪ ✔ ✟ ✂ ✎ ✞ ☞ ✍ ✌ ☛ ☎ ✏ ✎ ✡ ✝ ✎ ✓ ✡ ✔ ✥ ✎ ✡ ✄ ✎ ✞ � ☎ ✄ ✦ ☎ ✡ ☎ ✞ ✄ ✞ ✎ ✔ ✡ ✟ ☎ ✄ ✁ ✞ ✔ ✓ ☎ ☞ ✌ ✘ ✦ ☎ ✘ ✌ ✌ ✟ ✞ ✔ ✥ ✦ ☎ ✞ ✝ ✎ ☞ ✎ ✍ ☎ ✟ � ✢ ✔ ✡ ✆ ✎ ✡ ✄ ☎ ☞ ☎ ✍ ✝ ☎ ✡ ✍ ☞ ✍ ✌ ☛ ☎ ✡ ✄ ✔ ✔ ✎ ✡ ✌ ✡ ✝ ✔ ✡ ✟ ✑ ✓ ✞ ☞ ✂ ✡ ✝ ✎ ✟ ✡ ✔ ✁ ✞ ✄ ✞ � ☎ ✄ ✓ ✄ ✎ ✥ ✞ ✝ ✔ ☎ ✌ ✟ ✞ ✔ ✘ ✡ ☎✆ ☛ ✑ w ∞ P ( t | α ) α ✞✠✟ α α ☛✒✔ P ( w | t , α ) α
RVM & Eponine – p.7/ ?? ✡ ☎ ✞ ✔ ✎ ✝ ✡ ✟ ✕ ✄ ✝ ✞ ✔ � ☎ ✑ ☞ ✡ ✔ ✔ ✞ ✍ ✟ ✞ ✔ ✝ ✍ ☞ ✎ ✓ ✡ ✑ ☎ ☎ ✞ ✞ ☛ ✞ ✎ ✦ ✕ ✄ ✝ ✡ ☞ ✡ ✍ ☎ ☎ ☎ ✞ ☛ ✞ ✎ ✦ ✍ � ✎ ✝ ✔ ✎ ☞ ☎ ✎ ✝ ✡ ✝ ✡ ✞ ✌ ✝ ✎ ✔ ☎ ✝ ✦ ✎ ✞ ✟ ✆ ☛ ✍ ✔ ✡ ✓ � ✍ ☞ ✄ ✢ ✡ ☎ ✝ ☎ ☎ ✟ ✎ ✝ ✡ ✑ ☞ ✡ ✟ ✞ ✍ ✥ ✔ ✟ ☞ ✓ ✝ ✡ ✆ ☎ ✟ ✞ ✎ ✞ ✟ ✎ ✡ ✌ ✍ � ✑ ✆ ✑ ☛ ✦ ✎ ✝ ✡ ☛ ✍ ✌ ✞ ✔ ✎ ✞ � ☎ ✥ ✟ ✆ ✎ ✞ ✍ ✟ ✍ ✟ ✎ ✝ ✡ ☞ ✑ ✡ ☎ ✂ ✠ ✁ ✄ ☞ ☞ ☛ ✁ ✆ ✄ ✝ ☛ ✞ ☎ ✍ ✝ ☞ ✆ ☛ ☎ ✔ ✔ ✞ ✂ ✆ ☎ ✎ ✞ ✍ ✟ ✡ ✔ ✥ ☛ ☛ ✎ ✡ ☞ ✑ ☞ ✡ ✎ ✎ ✝ ✡ ✟ ☎ ✥ ✍ ✡ ✍ � ✎ ✝ ✡ ✄ ✍ ✓ ✡ ☛ ☎ ✔ ✞ ✟ ✎ ✢ ✎ ✍ � ☛ ✞ ✟ ✡ ☎ ✔ �✁ ✂ ☞ ✄ ✝ ✥ ✔ ✎ ✡ ☛ ✔ ✞ ☎ y ( x ) t i (1 − y ( x )) 1 − t i � w m φ m ( x ) + w 0 �� m � i P ( t | w ) = y ( x ) = σ 1+ e x 1 σ ( x ) =
RVM & Eponine – p.8/ ?? ✥ ☎ ✎ ☞ ✞ � ✍ � ✎ ✝ ✞ ✔ ✌ ☎ ✔ ✡ ✔ ✞ ☎ ✟ ✕ ✔ ✍ ✄ ✡ ✓ ✡ ✆ ✡ ✄ ✆ ✎ ✎ ✆ ✡ ✟ ✎ ✡ ☞ ✡ ✓ ☎ ✎ ✢ ✏ ✔ ✞ ✟ ✄ ☎ ✎ ✡ ✎ ✝ ✡ ✆ ✍ ✟ ☎ ☞ ✞ ☎ ✟ ☛ ☎ ✄ ✑ ✑ ☞ ✍ � ✞ ✄ ☎ ✎ ✞ ✍ ✟ ✢ ✝ ✔ ✡ ✦ ✔ ☎ ✦ ✞ ✎ ✝ ✍ ☞ ☞ ✔ ✢ ☎ ✞ ✦ ✞ ✔ ✞ ✄ ✑ ☛ ✡ ✡ � ✑ ☞ ✡ ✔ ✔ ✍ ✝ ✟ ✢ ✁ ✑ ✓ ☎ ✎ ✡ ✥ ✔ ✞ ✟ ✌ ✎ ✞ � ✞ ✢ ✂ ☎✆ � ☎ ✦ ✕ ✂ ✞ � ✔ ✍ ✄ ✡ ✂ ☎ ✓ ✎ ✝ ✡ ✄ ☎ � ✞ ✄ ✥ ✄ ☛ ✞ ✦ ✄ ✡ � ✠ ✁ ✄ ☞ ☞ ☛ ✁ ✆ ✄ ✝ ☛ ✞ ☎ ✎ ✝ ✡ ☞ ☎ ✎ ✞ ✟ ✡ ☎ ☛ ✌ ✍ ☞ ✞ ✎ ✔ ☞ ☛ ☎ ✎ ✝ ☎ ✎ ✎ ✝ ✡ ✓ ✞ ✔ ✎ ☞ ✞ ✥ ✞ ✎ ✞ ✍ ✟ ✍ � ✞ ✔ ☎ ✌ ☎ ✥ ✔ ✡ ✄ ✥ � ✝ ✍ ✍ ✓ ✡ ✔ ✎ ✞ ✄ ☎ ✎ ✡ ✔ ✟ ✍ ✌ ✢ ✔ ✎ ✝ ✡ ✞ ✝ ☞ w P ( w , t | α ) w ML ∇ 2 log P ( w , t | α ) = w ML ✞✠✟ α α ✖✧✔
Recommend
More recommend