❖♣❡♥✐♥❣ t❤❡ ❜❧❛❝❦ ❜♦① ♦❢ ❉❡❡♣ ◆❡✉r❛❧ ◆❡t✇♦r❦s ✈✐❛ ■♥❢♦r♠❛t✐♦♥ Òûùóê ✃èðèëë✱ ✸ êóðñ áàêàëàâðèàòà Ñåìèíàð ➽Ñîâðåìåííûå ìåòîäû â Ò➮➾ ✶✼ ôåâðàëÿ ✷✵✷✵ ã✳
❙✉♣❡r✈✐s❡❞ ❞❡❡♣ ❧❡❛r♥✐♥❣ ❛♥❞ ✐♥❢♦r♠❛t✐♦♥ Encoder Decoder ❲❡ ❛r❡ ✐♥t❡r❡st❡❞ ✐♥ ❣♦♦❞ r❡♣r❡s❡♥t❛t✐♦♥s✱ T ( X ) ✱ ♦❢ t❤❡ ✐♥♣✉t ♣❛tt❡r♥s x ∈ X ✱ t❤❛t ❡♥❛❜❧❡ ❣♦♦❞ ♣r❡❞✐❝t✐♦♥s ♦❢ t❤❡ ❧❛❜❡❧ y ∈ Y ✳ ▼♦r❡♦✈❡r✱ ✇❡ ✇❛♥t t♦ ❡✣❝✐❡♥t❧② ❧❡❛r♥ s✉❝❤ r❡♣r❡s❡♥t❛t✐♦♥s ❢r♦♠ ❛♥ ❡♠♣✐r✐❝❛❧ s❛♠♣❧❡ ♦❢ t❤❡ ✭✉♥❦♥♦✇♥✮ ❥♦✐♥t ❞✐str✐❜✉t✐♦♥ P ( X , Y ) ✱ ✐♥ ❛ ✇❛② t❤❛t ♣r♦✈✐❞❡s ❣♦♦❞ ❣❡♥❡r❛❧✐③❛t✐♦♥✳
❙✉♣❡r✈✐s❡❞ ❞❡❡♣ ❧❡❛r♥✐♥❣ ❛♥❞ ✐♥❢♦r♠❛t✐♦♥ Encoder Decoder ❲❡ tr❡❛t t❤❡ ✇❤♦❧❡ ❧❛②❡r✱ T ✱ ❛s ❛ s✐♥❣❧❡ r❛♥❞♦♠ ✈❛r✐❛❜❧❡✱ ❝❤❛r❛❝t❡r✐③❡❞ ❜② ✐ts ❡♥❝♦❞❡r✱ P ( T | X ) ✱ ❛♥❞ ❞❡❝♦❞❡r✱ P ( Y | T ) ❞✐str✐❜✉t✐♦♥s✳ ❆s ✇❡ ❛r❡ ♦♥❧② ✐♥t❡r❡st❡❞ ✐♥ t❤❡ ✐♥❢♦r♠❛t✐♦♥ t❤❛t ✢♦✇s t❤r♦✉❣❤ t❤❡ ♥❡t✇♦r❦✱ ✇❡ q✉❛♥t✐❢② t❤❡ r❡♣r❡s❡♥t❛t✐♦♥s ❜② t✇♦ ♥✉♠❜❡rs✱ t❤❛t ❛r❡ ✐♥✈❛r✐❛♥t t♦ ❛♥② ✐♥✈❡rt✐❜❧❡ r❡✲♣❛r❛♠❡t❡r✐③❛t✐♦♥ ♦❢ T ✱ t❤❡ ♠✉t✉❛❧ ✐♥❢♦r♠❛t✐♦♥ ♦❢ T ✇✐t❤ t❤❡ ✐♥♣✉t X ❛♥❞ t❤❡ ❞❡s✐r❡❞ ♦✉t♣✉t Y ✳
▼✉t✉❛❧ ✐♥❢♦r♠❛t✐♦♥ ●✐✈❡♥ ❛♥② t✇♦ r❛♥❞♦♠ ✈❛r✐❛❜❧❡s✱ X ❛♥❞ Y ✱ ✇✐t❤ ❛ ❥♦✐♥t ❞✐str✐❜✉t✐♦♥ p ( x , y ) ✱ t❤❡✐r ▼✉t✉❛❧ ■♥❢♦r♠❛t✐♦♥ ✐s ❞❡✜♥❡❞ ❛s✿ � p ( x , y ) � � I ( X ; Y ) = D KL [ p ( x , y ) || p ( x ) p ( y )] = p ( x , y ) log ✭✶✮ p ( x ) p ( y ) x ∈ X , y ∈ Y � p ( x | y ) � � = p ( x , y ) log = H ( X ) − H ( X | Y ) , ✭✷✮ p ( x ) x ∈ X , y ∈ Y ✇❤❡r❡ D KL [ p || q ] ✐s t❤❡ ❑✉❧❧❜❛❝❦✲▲✐❡❜❧❡r ❞✐✈❡r❣❡♥❝❡ ♦❢ t❤❡ ❞✐str✐❜✉t✐♦♥s p ❛♥❞ q ✱ ❛♥❞ H ( X ) ❛♥❞ H ( X | Y ) ❛r❡ t❤❡ ❡♥tr♦♣② ❛♥❞ ❝♦♥❞✐t✐♦♥❛❧ ❡♥tr♦♣② ♦❢ X ❛♥❞ Y ✱ r❡s♣❡❝t✐✈❡❧②✳ ❚❤❡ ♠✉t✉❛❧ ✐♥❢♦r♠❛t✐♦♥ q✉❛♥t✐✜❡s t❤❡ ♥✉♠❜❡r ♦❢ r❡❧❡✈❛♥t ❜✐ts t❤❛t t❤❡ ✐♥♣✉t ✈❛r✐❛❜❧❡ X ❝♦♥t❛✐♥s ❛❜♦✉t t❤❡ ❧❛❜❡❧ Y ✱ ♦♥ ❛✈❡r❛❣❡✳✳
❚❤❡ ■♥❢♦r♠❛t✐♦♥ P❧❛♥❡ ❉❛t❛ Pr♦❝❡ss✐♥❣ ■♥❡q✉❛❧✐t② ✭❉P■✮ ✿ ❋♦r ❛♥② ✸ ✈❛r✐❛❜❧❡s t❤❛t ❢♦r♠ ❛ ▼❛r❦♦✈ ❝❤❛✐♥ X → Y → Z ✱ I ( X ; Y ) ≥ I ( X ; Z ) . ✭✸✮ ■♥❢♦r♠❛t✐♦♥ P❧❛♥❡ ●✐✈❡♥ P ( X ; Y ) ✱ T ✐s ✉♥✐q✉❡❧② ♠❛♣♣❡❞ t♦ ❛ ♣♦✐♥t ✐♥ t❤❡ ✐♥❢♦r♠❛t✐♦♥✲♣❧❛♥❡ ✇✐t❤ ❝♦♦r❞✐♥❛t❡s ( I ( X ; T ) , I ( T ; Y )) ✳ ❲❤❡♥ ❛♣♣❧✐❡❞ t♦ t❤❡ ▼❛r❦♦✈ ❝❤❛✐♥ ♦❢ ❛ ❑✲❧❛②❡rs ❉◆◆✱ ✇✐t❤ T i ❞❡♥♦t✐♥❣ t❤❡ i th ❤✐❞❞❡♥ ❧❛②❡r ❛s ❛ s✐♥❣❧❡ ♠✉❧t✐✈❛r✐❛t❡ ✈❛r✐❛❜❧❡✱ t❤❡ ❧❛②❡rs ❛r❡ ♠❛♣♣❡❞ t♦ K ♠♦♥♦t♦♥✐❝ ❝♦♥♥❡❝t❡❞ ♣♦✐♥ts ✐♥ t❤❡ ♣❧❛♥❡ ✲ ❤❡♥❝❡❢♦rt❤ ❛ ✉♥✐q✉❡ ✐♥❢♦r♠❛t✐♦♥ ♣❛t❤ ✲ ✇❤✐❝❤ s❛t✐s✜❡s t❤❡ ❢♦❧❧♦✇✐♥❣ ❉P■ ❝❤❛✐♥s✿ I ( X ; Y ) ≥ I ( T 1 ; Y ) ≥ I ( T 2 ; Y ) ≥ ... ≥ I ( T k ; Y ) ≥ I ( ˆ Y ; Y ) ✭✹✮ H ( X ) ≥ I ( X ; T 1 ) ≥ I ( X ; T 2 ) ≥ ... ≥ I ( X ; T k ) ≥ I ( X ; ˆ Y ) . ✭✺✮
❚❤❡ ■♥❢♦r♠❛t✐♦♥ ❇♦tt❧❡♥❡❝❦ ♦♣t✐♠❛❧ r❡♣r❡s❡♥t❛t✐♦♥s ❲❤❛t ❝❤❛r❛❝t❡r✐③❡s t❤❡ ♦♣t✐♠❛❧ r❡♣r❡s❡♥t❛t✐♦♥s ♦❢ X ✇✳r✳t✳ Y ❄ ❙✉✣❝✐❡♥t st❛t✐st✐❝s✱ ✐♥ ♦✉r ❝♦♥t❡①t✱ ❛r❡ ♠❛♣s ♦r ♣❛rt✐t✐♦♥s ♦❢ X ✱ S ( X ) ✱ t❤❛t ❝❛♣t✉r❡ ❛❧❧ t❤❡ ✐♥❢♦r♠❛t✐♦♥ t❤❛t X ❤❛s ♦♥ Y ✳ ◆❛♠❡❧②✱ I ( S ( X ); Y ) = I ( X ; Y ) ▼✐♥✐♠❛❧ s✉✣❝✐❡♥t st❛t✐st✐❝s✱ T ( X ) ✱ ❛r❡ t❤❡ s✐♠♣❧❡st s✉✣❝✐❡♥t st❛t✐st✐❝s ❛♥❞ ✐♥❞✉❝❡ t❤❡ ❝♦❛rs❡st s✉✣❝✐❡♥t ♣❛rt✐t✐♦♥ ♦♥ X ✳ T ( X ) = arg S ( X ): I ( S ( X ); Y )= I ( X ; Y ) I ( S ( X ); X ) . min ✭✻✮ ❇✉t ✐t ❞♦❡s♥✬t ❛❧✇❛②s ❡①✐st ❛♥❞ ✐s ❤❛r❞ t♦ ✜♥❞ ❡①❛❝t❧②✱ s♦ ✇❡ r❡❧❛① t❤❡ ❝♦♥❞✐t✐♦♥✳
❚❤❡ ■♥❢♦r♠❛t✐♦♥ ❇♦tt❧❡♥❡❝❦ ♦♣t✐♠❛❧ r❡♣r❡s❡♥t❛t✐♦♥s ❚❤✐s ❧❡❛❞s t♦ t❤❡ ■♥❢♦r♠❛t✐♦♥ ❇♦tt❧❡♥❡❝❦ ✭■❇✮ tr❛❞❡♦✛✱ ✇❤✐❝❤ ♣r♦✈✐❞❡s ❛ ❝♦♠♣✉t❛t✐♦♥❛❧ ❢r❛♠❡✇♦r❦ ❢♦r ✜♥❞✐♥❣ ❛♣♣r♦①✐♠❛t❡ ♠✐♥✐♠❛❧ s✉✣❝✐❡♥t st❛t✐st✐❝s✱ ♦r t❤❡ ♦♣t✐♠❛❧ tr❛❞❡♦✛ ❜❡t✇❡❡♥ ❝♦♠♣r❡ss✐♦♥ ♦❢ X ❛♥❞ ♣r❡❞✐❝t✐♦♥ ♦❢ Y ✳ ❊✣❝✐❡♥t r❡♣r❡s❡♥t❛t✐♦♥s ❛r❡ ❛♣♣r♦①✐♠❛t❡ ♠✐♥✐♠❛❧ s✉✣❝✐❡♥t st❛t✐st✐❝s ✐♥ t❤❛t s❡♥s❡✳ ■❢ ✇❡ ❞❡✜♥❡ t ∈ T ❛s t❤❡ ❝♦♠♣r❡ss❡❞ r❡♣r❡s❡♥t❛t✐♦♥s ♦❢ x ∈ X ✱ t❤❡ r❡♣r❡s❡♥t❛t✐♦♥ ♦❢ x ✐s ♥♦✇ ❞❡✜♥❡❞ ❜② t❤❡ ♠❛♣♣✐♥❣ p ( t | x ) ✳ ❚❤✐s ■♥❢♦r♠❛t✐♦♥ ❇♦tt❧❡♥❡❝❦ tr❛❞❡♦✛ ✐s ❢♦r♠✉❧❛t❡❞ ❜② t❤❡ ❢♦❧❧♦✇✐♥❣ ♦♣t✐♠✐③❛t✐♦♥ ♣r♦❜❧❡♠✱ ❝❛rr✐❡❞ ✐♥❞❡♣❡♥❞❡♥t❧② ❢♦r t❤❡ ❞✐str✐❜✉t✐♦♥s✱ p ( t | x ) , p ( t ) , p ( y | t ) ✱ ✇✐t❤ t❤❡ ▼❛r❦♦✈ ❝❤❛✐♥✿ Y → X → T ✱ p ( t | x ) , p ( y | t ) , p ( t ) { I ( X ; T ) − β I ( T ; Y ) } . min ✭✼✮ ❚❤❡ ▲❛❣r❛♥❣❡ ♠✉❧t✐♣❧✐❡r β ❞❡t❡r♠✐♥❡s t❤❡ ❧❡✈❡❧ ♦❢ r❡❧❡✈❛♥t ✐♥❢♦r♠❛t✐♦♥ ❝❛♣t✉r❡❞ ❜② t❤❡ r❡♣r❡s❡♥t❛t✐♦♥ T ✱ I ( T ; Y ) ✱ ✇❤✐❝❤ ✐s ❞✐r❡❝t❧② r❡❧❛t❡❞ t♦ t❤❡ ❡rr♦r ✐♥ t❤❡ ❧❛❜❡❧ ♣r❡❞✐❝t✐♦♥ ❢r♦♠ t❤✐s r❡♣r❡s❡♥t❛t✐♦♥✳
■♥❢♦r♠❛t✐♦♥ ❝✉r✈❡ ❚❤❡s❡ ❡q✉❛t✐♦♥s ❛r❡ s❛t✐s✜❡❞ ❛❧♦♥❣ t❤❡ ✐♥❢♦r♠❛t✐♦♥ ❝✉r✈❡ ✱ ✇❤✐❝❤ ✐s ❛ ♠♦♥♦t♦♥✐❝ ❝♦♥❝❛✈❡ ❧✐♥❡ ♦❢ ♦♣t✐♠❛❧ r❡♣r❡s❡♥t❛t✐♦♥s t❤❛t s❡♣❛r❛t❡s t❤❡ ❛❝❤✐❡✈❛❜❧❡ ❛♥❞ ✉♥❛❝❤✐❡✈❛❜❧❡ r❡❣✐♦♥s ✐♥ t❤❡ ✐♥❢♦r♠❛t✐♦♥✲♣❧❛♥❡✳ ❋♦r s♠♦♦t❤ P ( X , Y ) ❞✐str✐❜✉t✐♦♥s❀ ✐✳❡✳✱ ✇❤❡♥ Y ✐s ♥♦t ❛ ❝♦♠♣❧❡t❡❧② ❞❡t❡r♠✐♥✐st✐❝ ❢✉♥❝t✐♦♥ ♦❢ X ✱ t❤❡ ✐♥❢♦r♠❛t✐♦♥ ❝✉r✈❡ ✐s str✐❝t❧② ❝♦♥❝❛✈❡ ✇✐t❤ ❛ ✉♥✐q✉❡ s❧♦♣❡✱ β − 1 ✱ ❛t ❡✈❡r② ♣♦✐♥t✱ ❛♥❞ ❛ ✜♥✐t❡ s❧♦♣❡ ❛t t❤❡ ♦r✐❣✐♥✳ ■♥ t❤❡s❡ ❝❛s❡s β ❞❡t❡r♠✐♥❡s ❛ s✐♥❣❧❡ ♣♦✐♥t✱ ♦♥ t❤❡ ✐♥❢♦r♠❛t✐♦♥ ❝✉r✈❡ ✇✐t❤ s♣❡❝✐✜❡❞ ❡♥❝♦❞❡r ✱ P β ( T | X ) ✱ ❛♥❞ ❞❡❝♦❞❡r ✱ P β ( Y | T )
■♥❢♦r♠❛t✐♦♥ ❝✉r✈❡
Recommend
More recommend