sst rt s - PowerPoint PPT Presentation

❉✐ss✐♣❛t✐♦♥ ♦❢ ✐♥❢♦r♠❛t✐♦♥ ✐♥ ❝❤❛♥♥❡❧s ✇✐t❤ ✐♥♣✉t ❝♦♥str❛✐♥ts ❨✉r② P♦❧②❛♥s❦✐② ❉❡♣❛rt♠❡♥t ♦❢ ❊❊❈❙ ▼■❚ ②♣❅♠✐t✳❡❞✉ ❏♦✐♥t ✇♦r❦ ✇✐t❤ ❨✐❤♦♥❣ ❲✉ ✭❯■❯❈✮ ❆♣r ✷✽✱ ✷✵✶✹ ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✶

✐✳✐✳❞✳ ◆♦✐s❡✿ ●♦❛❧✿ ❉❡s✐❣♥ ✬s s♦ t❤❛t ❘❡❧❛②✐♥❣ ❞❛t❛ ❛❝r♦ss ❛ ❝❤❛✐♥ ♦❢ ●❛✉ss✐❛♥ ❝❤❛♥♥❡❧s X 1 f 1 X 0 • ❖r✐❣✐♥❛❧ ♠❡ss❛❣❡✿ X 0 • ❊♥❝♦❞❡rs f k s❛t✐s❢②✐♥❣ ♣♦✇❡r ❝♦♥str❛✐♥t E [ X 2 k ] ≤ P ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✷

●♦❛❧✿ ❉❡s✐❣♥ ✬s s♦ t❤❛t ❘❡❧❛②✐♥❣ ❞❛t❛ ❛❝r♦ss ❛ ❝❤❛✐♥ ♦❢ ●❛✉ss✐❛♥ ❝❤❛♥♥❡❧s Z 1 X 1 Y 1 f 1 + X 0 • ❖r✐❣✐♥❛❧ ♠❡ss❛❣❡✿ X 0 • ❊♥❝♦❞❡rs f k s❛t✐s❢②✐♥❣ ♣♦✇❡r ❝♦♥str❛✐♥t E [ X 2 k ] ≤ P ✐✳✐✳❞✳ • ◆♦✐s❡✿ Z k ∼ N (0 , 1) ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✷

●♦❛❧✿ ❉❡s✐❣♥ ✬s s♦ t❤❛t ❘❡❧❛②✐♥❣ ❞❛t❛ ❛❝r♦ss ❛ ❝❤❛✐♥ ♦❢ ●❛✉ss✐❛♥ ❝❤❛♥♥❡❧s Z 1 Z 2 X 1 Y 1 X 2 Y 2 f 1 + f 2 + X 0 • ❖r✐❣✐♥❛❧ ♠❡ss❛❣❡✿ X 0 • ❊♥❝♦❞❡rs f k s❛t✐s❢②✐♥❣ ♣♦✇❡r ❝♦♥str❛✐♥t E [ X 2 k ] ≤ P ✐✳✐✳❞✳ • ◆♦✐s❡✿ Z k ∼ N (0 , 1) ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✷

❘❡❧❛②✐♥❣ ❞❛t❛ ❛❝r♦ss ❛ ❝❤❛✐♥ ♦❢ ●❛✉ss✐❛♥ ❝❤❛♥♥❡❧s Z 1 Z 2 Z n − 1 X n − 1 Y n − 1 X 1 Y 1 X 2 Y 2 f 1 + f 2 + · · · + f n X 0 X n • ❖r✐❣✐♥❛❧ ♠❡ss❛❣❡✿ X 0 • ❊♥❝♦❞❡rs f k s❛t✐s❢②✐♥❣ ♣♦✇❡r ❝♦♥str❛✐♥t E [ X 2 k ] ≤ P ✐✳✐✳❞✳ • ◆♦✐s❡✿ Z k ∼ N (0 , 1) • ●♦❛❧✿ ❉❡s✐❣♥ f ✬s s♦ t❤❛t X 0 ≈ X n ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✷

■♥t✉✐t✐♦♥ ❡❛❝❤ st❛❣❡ ❤❛s ✜♥✐t❡ ❡♥❡r❣② ❜✉❞❣❡t ❝❛♥♥♦t ❞❡♥♦✐s❡ ❝♦♠♣❧❡t❡❧② ♥♦✐s❡ ❛❝❝✉♠✉❧❛t❡s ❛♥❞ ❦✐❧❧s ❞❡♣❡♥❞❡♥❝② ❈♦♥❥❡❝t✉r❡✿ ❛s②♠♣t♦t✐❝ ❞❡❝♦✉♣❧✐♥❣ ❘❡❣❛r❞❧❡ss ♦❢ ♦r ❈❛♥ ✇❡ ♣r❡s❡r✈❡ ❛♥② ✐♥❢♦r♠❛t✐♦♥❄ Z n − 1 Z 1 Z 2 X 1 Y 1 X 2 Y 2 X n − 1 Y n − 1 · · · X 0 f 1 + f 2 + + f n X n ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✸

❈♦♥❥❡❝t✉r❡✿ ❛s②♠♣t♦t✐❝ ❞❡❝♦✉♣❧✐♥❣ ❘❡❣❛r❞❧❡ss ♦❢ ♦r ❈❛♥ ✇❡ ♣r❡s❡r✈❡ ❛♥② ✐♥❢♦r♠❛t✐♦♥❄ Z n − 1 Z 1 Z 2 X 1 Y 1 X 2 Y 2 X n − 1 Y n − 1 · · · X 0 f 1 + f 2 + + f n X n ■♥t✉✐t✐♦♥ ❡❛❝❤ st❛❣❡ ❤❛s ✜♥✐t❡ ❡♥❡r❣② ❜✉❞❣❡t ⇒ ❝❛♥♥♦t ❞❡♥♦✐s❡ ❝♦♠♣❧❡t❡❧② ⇒ ♥♦✐s❡ ❛❝❝✉♠✉❧❛t❡s ❛♥❞ ❦✐❧❧s ❞❡♣❡♥❞❡♥❝② ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✸

❈❛♥ ✇❡ ♣r❡s❡r✈❡ ❛♥② ✐♥❢♦r♠❛t✐♦♥❄ Z n − 1 Z 1 Z 2 X 1 Y 1 X 2 Y 2 X n − 1 Y n − 1 · · · X 0 f 1 + f 2 + + f n X n ■♥t✉✐t✐♦♥ ❡❛❝❤ st❛❣❡ ❤❛s ✜♥✐t❡ ❡♥❡r❣② ❜✉❞❣❡t ⇒ ❝❛♥♥♦t ❞❡♥♦✐s❡ ❝♦♠♣❧❡t❡❧② ⇒ ♥♦✐s❡ ❛❝❝✉♠✉❧❛t❡s ❛♥❞ ❦✐❧❧s ❞❡♣❡♥❞❡♥❝② ❈♦♥❥❡❝t✉r❡✿ ❛s②♠♣t♦t✐❝ ❞❡❝♦✉♣❧✐♥❣ ❘❡❣❛r❞❧❡ss ♦❢ X 0 ♦r { f 1 , . . . , f n } P X 0 X n ≈ P X 0 P X n n ≫ 1 ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✸

❍♦✇ t♦ ❣❛✉❣❡ ❞❡❝♦✉♣❧✐♥❣❄ Z 1 Z 2 Z n − 1 X 1 Y 1 X 2 Y 2 X n − 1 Y n − 1 · · · X 0 f 1 + f 2 + + f n X n P X 0 X n ≈ P X 0 P X n ◗✉❛♥t✐t❛t✐✈❡❧②✿ • ✭❚❱✮ TV ( P X 0 X n , P X 0 P X n ) → 0 • ✭❑▲✮ D ( P X 0 X n � P X 0 P X n ) → 0 • ✭❈♦rr❡❧❛t✐♦♥✮ ρ ( X 0 , X n ) → 0 ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✹

❍♦✇ t♦ ❣❛✉❣❡ ❞❡❝♦✉♣❧✐♥❣❄ Z 1 Z 2 Z n − 1 X 1 Y 1 X 2 Y 2 X n − 1 Y n − 1 · · · X 0 f 1 + f 2 + + f n X n P X 0 X n ≈ P X 0 P X n ◗✉❛♥t✐t❛t✐✈❡❧②✿ • ✭❚❱✮ TV ( P X 0 X n , P X 0 P X n ) → 0 • ✭❑▲✮ D ( P X 0 X n � P X 0 P X n ) → 0 ❊q✉✐✈✳✿ I ( X 0 ; X n ) → 0 • ✭❈♦rr❡❧❛t✐♦♥✮ ρ ( X 0 , X n ) → 0 ❊q✉✐✈✳✿ mmse( X 0 | X n ) → Var[ X 0 ] ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✹

❍♦✇ t♦ ❣❛✉❣❡ ❞❡❝♦✉♣❧✐♥❣❄ Z n − 1 Z 1 Z 2 X n − 1 Y n − 1 X 1 Y 1 X 2 Y 2 + + · · · + X 0 f 1 f 2 f n X n P X 0 X n ≈ P X 0 P X n ◗✉❛♥t✐t❛t✐✈❡❧②✿ TV Pinsker ineq. • ✭❚❱✮ TV ( P X 0 X n , P X 0 P X n ) → 0 • ✭❑▲✮ D ( P X 0 X n � P X 0 P X n ) → 0 KL I ( X 0 ; X n ) → 0 ❊q✉✐✈✳✿ Rate-distortion • ✭❈♦rr❡❧❛t✐♦♥✮ ρ ( X 0 , X n ) → 0 mmse( X 0 | X n ) → Var[ X 0 ] ❊q✉✐✈✳✿ ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✹

❆tt❡♠♣t ✶✿ ❞❛t❛ ♣r♦❝❡ss✐♥❣

♠✉t✉❛❧ ✐♥❢♦r♠❛t✐♦♥ ❉❛t❛ ♣r♦❝❡ss✐♥❣ ✐♥❡q✉❛❧✐t② • ❑▲ ❞✐✈❡r❣❡♥❝❡ P X P Y P Y | X ⇒ D ( P Y || Q Y ) ≤ D ( P X || Q X ) X Y Q X Q Y ✭❛♣♣❧✐❡s t♦ ❛♥② f ✲❞✐✈❡r❣❡♥❝❡✱ ✐♥ ♣❛rt✐❝✉❧❛r ❚❱✮ ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✻

❉❛t❛ ♣r♦❝❡ss✐♥❣ ✐♥❡q✉❛❧✐t② • ❑▲ ❞✐✈❡r❣❡♥❝❡ P X P Y P Y | X ⇒ D ( P Y || Q Y ) ≤ D ( P X || Q X ) X Y Q X Q Y ✭❛♣♣❧✐❡s t♦ ❛♥② f ✲❞✐✈❡r❣❡♥❝❡✱ ✐♥ ♣❛rt✐❝✉❧❛r ❚❱✮ • ♠✉t✉❛❧ ✐♥❢♦r♠❛t✐♦♥ U → X → Y ⇒ I ( U ; Y ) ≤ I ( U ; X ) ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✻

❖❑✿ ✐s ♥♦♥✲✐♥❝r❡❛s✐♥❣ ◆❡❡❞ ❛ q✉❛♥t✐t❛t✐✈❡ ❞❛t❛ ♣r♦❝❡ss✐♥❣ ✐♥❡q✉❛❧✐t② ❆♣♣❧②✐♥❣ ❞❛t❛ ♣r♦❝❡ss✐♥❣ Z n − 1 Z 1 Z 2 X n − 1 Y n − 1 X 1 Y 1 X 2 Y 2 + + · · · + X 0 f 1 f 2 f n X n I ( X 0 ; X n ) ≤ I ( X 0 ; Y n − 1 ) ≤ I ( X 0 ; X n − 1 ) ≤ · · · ≤ I ( X 0 ; X 1 ) ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✼

❆♣♣❧②✐♥❣ ❞❛t❛ ♣r♦❝❡ss✐♥❣ Z n − 1 Z 1 Z 2 X n − 1 Y n − 1 X 1 Y 1 X 2 Y 2 + + · · · + X 0 f 1 f 2 f n X n I ( X 0 ; X n ) ≤ I ( X 0 ; Y n − 1 ) ≤ I ( X 0 ; X n − 1 ) ≤ · · · ≤ I ( X 0 ; X 1 ) • ❖❑✿ I ( X 0 ; X n ) ✐s ♥♦♥✲✐♥❝r❡❛s✐♥❣ • ◆❡❡❞ ❛ q✉❛♥t✐t❛t✐✈❡ ❞❛t❛ ♣r♦❝❡ss✐♥❣ ✐♥❡q✉❛❧✐t② ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✼

❆tt❡♠♣t ✷✿ str♦♥❣ ❞❛t❛ ♣r♦❝❡ss✐♥❣

♠✉t✉❛❧ ✐♥❢♦r♠❛t✐♦♥ ❙tr♦♥❣ ❞❛t❛ ♣r♦❝❡ss✐♥❣ ✐♥❡q✉❛❧✐t② • ❑▲ ❞✐✈❡r❣❡♥❝❡ P X P Y P Y | X ⇒ D ( P Y || Q Y ) ≤ η KL D ( P X || Q X ) X Y Q X Q Y ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✾

❙tr♦♥❣ ❞❛t❛ ♣r♦❝❡ss✐♥❣ ✐♥❡q✉❛❧✐t② • ❑▲ ❞✐✈❡r❣❡♥❝❡ P X P Y P Y | X ⇒ D ( P Y || Q Y ) ≤ η KL D ( P X || Q X ) X Y Q X Q Y • ♠✉t✉❛❧ ✐♥❢♦r♠❛t✐♦♥ U → X → Y ⇒ I ( U ; Y ) ≤ η KL I ( U ; X ) ❨✉r② P♦❧②❛♥s❦✐② ❛♥❞ ❨✐❤♦♥❣ ❲✉ ❉♦❜r✉s❤✐♥ ❝✉r✈❡ ✾