Probability and Statistics for Computer Science On - - PowerPoint PPT Presentation

ì ¡

Probability ¡and ¡Statistics ¡ for ¡Computer ¡Science ¡ ¡

On ¡Condi(onal ¡Probability ¡ and ¡independence, ¡Prof. ¡ Forsyth ¡men(oned ¡in ¡the ¡ textbook ¡“These ¡topics ¡ mislead ¡intui1on ¡so ¡regularly ¡ that ¡some ¡errors ¡have ¡ names.” ¡

Hongye ¡Liu, ¡Teaching ¡Assistant ¡Prof, ¡CS361, ¡UIUC, ¡9.12.2019 ¡ Credit: ¡wikipedia ¡

Last ¡time ¡

✺ Probability ¡ ¡

✺ Coun(ng ¡ ¡ ✺ Condi(onal ¡Probability ¡ ✺ Independence ¡

¡

Content ¡

✺ Condi(onal ¡Probability ¡ ¡

✺ Review ¡the ¡main ¡concepts ¡ ✺ Examples ¡and ¡Misconcep8ons ¡of ¡

Condi(onal ¡Probability ¡ ¡

✺ Examples ¡and ¡Misconcep8ons ¡of ¡

independence ¡

✺ Condi(onal ¡Independence ¡

¡

Conditional ¡Probability ¡

✺ The ¡probability ¡of ¡A ¡given ¡B ¡

¡

Credit: ¡Prof. ¡Jeremy ¡Orloff ¡& ¡ ¡ Jonathan ¡Bloom ¡

P(A|B) = P(A ∩ B) P(B)

P(B) = 0

The ¡“Size” ¡analogy ¡

Conditional ¡Probability ¡

✺ The ¡probability ¡of ¡A ¡given ¡B ¡

¡

P(A|B) = P(A ∩ B) P(B)

P(B) = 0

The ¡line-­‑crossed ¡area ¡is ¡the ¡ new ¡sample ¡space ¡for ¡ condi(onal ¡P(A| ¡B) ¡

Content ¡

✺ Condi(onal ¡Probability ¡ ¡

✺ Review ¡the ¡main ¡concept ¡ ✺ Examples ¡and ¡Misconcep2ons ¡of ¡

Condi1onal ¡Probability ¡ ¡

✺ Examples ¡and ¡Misconcep8ons ¡of ¡

independence ¡

✺ Condi(onal ¡Independence ¡

¡

Conditional ¡Probability: ¡die ¡ example ¡ ¡

2 ¡ 3 ¡ 4 ¡ 5 ¡ 2 ¡ 3 ¡ 5 ¡ 4 ¡ 1 ¡ 1 ¡

Throw ¡5-­‑sided ¡fair ¡ die ¡twice. ¡ ¡ ¡

X ¡ Y ¡

P(A|B) =?

P(A) =?

A : max(X, Y ) = 4 B : min(X, Y ) = 2

Conditional ¡Probability: ¡die ¡ example ¡ ¡

2 ¡ 3 ¡ 4 ¡ 5 ¡ 2 ¡ 3 ¡ 5 ¡ 4 ¡ 1 ¡ 1 ¡

Throw ¡5-­‑sided ¡fair ¡ die ¡twice. ¡ ¡ ¡

X ¡ Y ¡

A : max(X, Y ) = 4 B : min(X, Y ) = 2

P(A) = 7 25

Conditional ¡Probability: ¡die ¡ example ¡ ¡

2 ¡ 3 ¡ 4 ¡ 5 ¡ 2 ¡ 3 ¡ 5 ¡ 4 ¡ 1 ¡ 1 ¡

Throw ¡5-­‑sided ¡die ¡ twice, ¡ ¡ ¡

X ¡ Y ¡

P(A|B) = 2 7 A : max(X, Y ) = 4 B : min(X, Y ) = 2

Frequency ¡Approach ¡onto ¡Bayesian ¡

✺ In ¡the ¡5-­‑die ¡problem, ¡we ¡counted ¡the ¡

frequencies ¡to ¡compute ¡the ¡ condi(onal ¡probability. ¡

✺ Using ¡the ¡symmetry ¡of ¡joint ¡

probability, ¡we ¡can ¡derive ¡other ¡ formulas ¡for ¡condi(onal ¡probability ¡

Bayes ¡rule ¡

✺ Given ¡the ¡defini(on ¡of ¡condi(onal ¡

probability ¡and ¡the ¡symmetry ¡of ¡joint ¡ probability, ¡we ¡have: ¡ ¡ ¡ ¡ ¡ ¡ ¡And ¡it ¡leads ¡to ¡the ¡famous ¡Bayes ¡rule: ¡

P(A|B)P(B) = P(A ∩ B) = P(B ∩ A) = P(B|A)P(A)

P(A|B) = P(B|A)P(A) P(B)

Total ¡probability ¡using ¡ conditional ¡probability ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ B1 ¡ B2 ¡ B3 ¡

A ∩ B3

A ∩ B2

A ∩ B1

P(A) = P(A ∩ B1) + P(A ∩ B2) + P(A ∩ B3) = P(A|B1)P(B1) + P(A|B2)P(B2) + P(A|B3)P(B3)

A ¡

Total ¡probability ¡general ¡ form ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ B1 ¡ B2 ¡ B3 ¡

A ∩ B3

A ∩ B2

A ∩ B1

A ¡

P(A) =

• j

(P(A|Bj)P(Bj))

if Bi ∩ Bj = Ø for all i = j

Bayes ¡rule: ¡Prosecutor’s ¡Fallacy ¡

A: ¡Guilty ¡ B: ¡There ¡is ¡evidence ¡against ¡this ¡person ¡

P(A) ¡= ¡0.05 ¡ P(Ac) ¡= ¡0.95 ¡ P(B|A) ¡= ¡0.99 ¡ P(Bc|A) ¡= ¡0.01 ¡ P(B|Ac) ¡= ¡0.10 ¡ P(Bc|Ac) ¡= ¡0.90 ¡

Innocent ¡

P(There is evidence | Innocent) = P(B|Ac) = 0.10

Bayes ¡rule: ¡Prosecutor’s ¡Fallacy ¡

P(A) ¡= ¡0.05 ¡ P(Ac) ¡= ¡0.95 ¡ P(B|A) ¡= ¡0.99 ¡ P(Bc|A) ¡= ¡0.01 ¡ P(B|Ac) ¡= ¡0.10 ¡ P(Bc|Ac) ¡= ¡0.90 ¡

Innocent ¡

✺ What ¡Probability ¡should ¡be ¡used? ¡

• A. P(Bc|A) ¡
• B. P(A|B) ¡

P(There is evidence | Innocent) = P(B|Ac) = 0.10

Guilty ¡

Bayes ¡rule: ¡Prosecutor’s ¡Fallacy ¡

P(A) ¡= ¡0.05 ¡ P(Ac) ¡= ¡0.95 ¡ P(B|A) ¡= ¡0.99 ¡ P(Bc|A) ¡= ¡0.01 ¡ P(B|Ac) ¡= ¡0.10 ¡ P(Bc|Ac) ¡= ¡0.90 ¡

Innocent ¡

✺ What ¡Probability ¡should ¡be ¡used? ¡

• A. P(Bc|A) ¡
• B. P(A|B) ¡

P(There is evidence | Innocent) = P(B|Ac) = 0.10

Bayes ¡rule: ¡Prosecutor’s ¡Fallacy ¡

P(A) ¡= ¡0.05 ¡ P(Ac) ¡= ¡0.95 ¡ P(B|A) ¡= ¡0.99 ¡ P(Bc|A) ¡= ¡0.01 ¡ P(B|Ac) ¡= ¡0.10 ¡ P(Bc|Ac) ¡= ¡0.90 ¡

Innocent ¡

✺ What ¡is ¡the ¡probability ¡P(A|B)? ¡

Given ¡there ¡is ¡evidence ¡against ¡the ¡defendant ¡and ¡ the ¡person ¡is ¡guilty. ¡

Bayes ¡rule: ¡Prosecutor’s ¡Fallacy ¡

A: ¡Guilty ¡ B: ¡There ¡is ¡evidence ¡against ¡this ¡person ¡

P(A) ¡= ¡0.05 ¡ P(Ac) ¡= ¡0.95 ¡ P(B|A) ¡= ¡0.99 ¡ P(Bc|A) ¡= ¡0.01 ¡ P(B|Ac) ¡= ¡0.10 ¡ P(Bc|Ac) ¡= ¡0.90 ¡ = 0.05 × 0.99 0.05 × 0.99 + 0.95 × 0.1

≃ 0.342

Innocent ¡

P(Guilty |There is evidence) = P(A|B) = P(A)P(B|A) P(B) = P(A)P(B|A) P(A)P(B|A) + P(Ac)P(B|Ac)

Important ¡facts ¡

✺ Bayes ¡rule ¡ ✺ Total ¡probability ¡

P(A|B) = P(B|A)P(A) P(B)

P(A) = P(A|B)P(B) + P(A|Bc)P(Bc)

P(A) =

• j

(P(A|Bj)P(Bj))

if Bi ∩ Bj = Ø for all i = j

Content ¡

✺ Condi(onal ¡Probability ¡ ¡

✺ Review ¡the ¡main ¡concepts ¡ ✺ Examples ¡and ¡Misconcep8ons ¡of ¡

Condi(onal ¡Probability ¡ ¡

✺ Examples ¡and ¡Misconcep2ons ¡of ¡

independence ¡

✺ Condi(onal ¡Independence ¡

¡

Independence ¡

✺ One ¡defini(on: ¡

¡That ¡is: ¡whether ¡B ¡happened ¡doesn’t ¡ ¡change ¡the ¡probability ¡of ¡A ¡and ¡ ¡vice ¡versa ¡

P(A|B) = P(A) or P(B|A) = P(B)

P(A) = 0 & P(B) = 0

While ¡

Independence ¡

✺ Alterna(ve ¡defini(on ¡deriva(on ¡ ¡

P(A|B) = P(A) ⇒ P(A ∩ B) P(B) = P(A)

⇒ P(A ∩ B) = P(A)P(B)

LHS ¡by ¡defini(on ¡

Independence ¡

✺ Alterna(ve ¡defini(on: ¡ ¡ P(A ∩ B) = P(A)P(B)

Two ¡events ¡are ¡independent ¡if ¡and ¡

• nly ¡if ¡the ¡joint ¡event’s ¡probability ¡is ¡

the ¡product ¡of ¡each ¡individual ¡ probability; ¡this ¡is ¡true ¡also ¡for ¡P(A) ¡= ¡0 ¡

• r ¡P(B) ¡= ¡0 ¡

Testing ¡Independence: ¡

✺ Suppose ¡you ¡draw ¡one ¡card ¡from ¡a ¡

standard ¡deck ¡of ¡cards. ¡E1 ¡is ¡the ¡event ¡ that ¡the ¡card ¡is ¡a ¡King, ¡Queen ¡or ¡Jack. ¡E2 ¡ is ¡the ¡event ¡the ¡card ¡is ¡a ¡Heart. ¡Are ¡E1 ¡ and ¡E2 ¡independent? ¡

Testing ¡Independence: ¡

✺ Suppose ¡you ¡draw ¡one ¡card ¡from ¡a ¡

standard ¡deck ¡of ¡cards. ¡E1 ¡is ¡the ¡event ¡ that ¡the ¡card ¡is ¡a ¡King, ¡Queen ¡or ¡Jack. ¡E2 ¡ is ¡the ¡event ¡the ¡card ¡is ¡a ¡Heart. ¡Are ¡E1 ¡ and ¡E2 ¡independent? ¡

P(E1) = 12 52 = 3 13 ; P(E2) = 13 52 = 1 4 P(E1 ∩ E2) = 3 52 = P(E1)P(E2)

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(1) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡6 ¡seats. ¡They ¡

always ¡sell ¡7 ¡(ckets ¡for ¡this ¡flight. ¡If ¡(cket ¡ holders ¡show ¡up ¡independently ¡with ¡ probability ¡p, ¡what ¡is ¡the ¡probability ¡that ¡ the ¡flight ¡is ¡overbooked ¡? ¡

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(1) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡6 ¡seats. ¡They ¡

always ¡sell ¡7 ¡(ckets ¡for ¡this ¡flight. ¡If ¡(cket ¡ holders ¡show ¡up ¡independently ¡with ¡ probability ¡p, ¡what ¡is ¡the ¡probability ¡that ¡ the ¡flight ¡is ¡overbooked ¡? ¡

P( ¡7 ¡passengers ¡showed ¡up) ¡

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(1) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡6 ¡seats. ¡They ¡

always ¡sell ¡7 ¡(ckets ¡for ¡this ¡flight. ¡If ¡(cket ¡ holders ¡show ¡up ¡independently ¡with ¡ probability ¡p, ¡what ¡is ¡the ¡probability ¡that ¡ the ¡flight ¡is ¡overbooked ¡? ¡

P( ¡7 ¡passengers ¡showed ¡up) ¡= ¡p ¡ ¡… ¡ ¡p ¡ ¡= ¡p7 ¡ ¡ 7 ¡

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(2) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡6 ¡seats. ¡They ¡

always ¡sell ¡8 ¡(ckets ¡for ¡this ¡flight. ¡If ¡(cket ¡ holders ¡show ¡up ¡independently ¡with ¡ probability ¡p, ¡what ¡is ¡the ¡probability ¡that ¡ exactly ¡6 ¡people ¡showed ¡up? ¡

P(6 ¡people ¡showed ¡up) ¡= ¡ ¡

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(2) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡6 ¡seats. ¡They ¡

always ¡sell ¡8 ¡(ckets ¡for ¡this ¡flight. ¡If ¡(cket ¡ holders ¡show ¡up ¡independently ¡with ¡ probability ¡p, ¡what ¡is ¡the ¡probability ¡that ¡ exactly ¡6 ¡people ¡showed ¡up? ¡

P(6 ¡people ¡showed ¡up) ¡= ¡ ¡C(8, 6)p6(1 − p)2

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(3) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡6 ¡seats. ¡They ¡

always ¡sell ¡8 ¡(ckets ¡for ¡this ¡flight. ¡If ¡(cket ¡ holders ¡show ¡up ¡independently ¡with ¡ probability ¡p, ¡what ¡is ¡the ¡probability ¡that ¡ the ¡flight ¡is ¡overbooked ¡? ¡

P( ¡overbooked) ¡= ¡

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(3) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡6 ¡seats. ¡They ¡

always ¡sell ¡8 ¡(ckets ¡for ¡this ¡flight. ¡If ¡(cket ¡ holders ¡show ¡up ¡independently ¡with ¡ probability ¡p, ¡what ¡is ¡the ¡probability ¡that ¡ the ¡flight ¡is ¡overbooked ¡? ¡

P( ¡overbooked) ¡= ¡C(8, 7)p7(1 − p) + C(8, 8)p8 =

= 8p7(1 − p) + p8

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(4) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡s ¡seats. ¡They ¡

always ¡sell ¡t ¡(t>s) ¡(ckets ¡for ¡this ¡flight. ¡If ¡ (cket ¡holders ¡show ¡up ¡independently ¡ with ¡probability ¡p, ¡what ¡is ¡the ¡probability ¡ that ¡exactly ¡u ¡people ¡showed ¡up? ¡

P( ¡exactly ¡u ¡people ¡showed ¡up) ¡ ¡

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(4) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡s ¡seats. ¡They ¡

always ¡sell ¡t ¡(t>s) ¡(ckets ¡for ¡this ¡flight. ¡If ¡ (cket ¡holders ¡show ¡up ¡independently ¡ with ¡probability ¡p, ¡what ¡is ¡the ¡probability ¡ that ¡exactly ¡u ¡people ¡showed ¡up? ¡

P( ¡exactly ¡u ¡people ¡showed ¡up) ¡

= C(t, u)pu(1 − p)t−u

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(5) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡s ¡seats. ¡They ¡

always ¡sell ¡t ¡(t>s) ¡(ckets ¡for ¡this ¡flight. ¡If ¡ (cket ¡holders ¡show ¡up ¡independently ¡ with ¡probability ¡p, ¡what ¡is ¡the ¡probability ¡ that ¡the ¡flight ¡is ¡overbooked ¡? ¡

P( ¡overbooked) ¡ ¡

Probability ¡using ¡the ¡property ¡of ¡ Independence: ¡Airline ¡overbooking ¡(5) ¡

✺ An ¡airline ¡has ¡a ¡flight ¡with ¡s ¡seats. ¡They ¡

always ¡sell ¡t ¡(t>s) ¡(ckets ¡for ¡this ¡flight. ¡If ¡ (cket ¡holders ¡show ¡up ¡independently ¡ with ¡probability ¡p, ¡what ¡is ¡the ¡probability ¡ that ¡the ¡flight ¡is ¡overbooked ¡? ¡

P( ¡overbooked) ¡ ¡

=

t

• u=s+1

C(t, u)pu(1 − p)t−u

Independence ¡in ¡Airline ¡

• verbooking ¡example ¡ ¡

✺ In ¡this ¡example, ¡we ¡made ¡use ¡of ¡the ¡

informa(on ¡the ¡(cket ¡holders ¡show ¡up ¡ independently ¡with ¡probability ¡p. ¡We ¡ were ¡actually ¡assuming ¡a ¡stronger ¡ independence ¡than ¡pairwise ¡

• independence. ¡

In ¡example ¡(1), ¡we ¡assume ¡E{a ¡7th ¡person ¡ shows ¡up} ¡is ¡independent ¡to ¡E{6 ¡people ¡ showed ¡up}, ¡etc. ¡

Pairwise ¡independence ¡is ¡not ¡mutual ¡ independence ¡in ¡larger ¡context ¡

A1 ¡ A2 ¡ A4 ¡ A3 ¡

P(A1) ¡= ¡P(A2) ¡= ¡P(A3) ¡= ¡P(A4) ¡= ¡1/4 ¡ ¡

P(AB) = P(A1) = 1 4 = P(A)P(B) P(AC) = P(A1) = 1 4 = P(A)P(C) P(BC) = P(A1) = 1 4 = P(B)P(C) P(ABC) = P(A1) = 1 4 = P(A)P(B)(C)

A = A1 ∪ A2; P(A) = 1 2 B = A1 ∪ A3; P(B) = 1 2 C = A1 ∪ A4; P(C) = 1 2

Pairwise ¡independence ¡

P(ABC) is the shorthand for P(A ∩ B ∩ C)

* ¡

Mutual ¡independence ¡

✺ Mutual ¡independence ¡of ¡a ¡collec(on ¡

• f ¡events ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡: ¡

✺ It’s ¡very ¡strong ¡independence! ¡

j, k, ...p = i A1, A2, A3...An

P(Ai|AjAk...Ap) = P(Ai)

Independence ¡vs ¡Disjoint ¡

✺ Q. ¡Two ¡disjoint ¡events ¡that ¡have ¡

probability> ¡0 ¡are ¡certainly ¡ dependent ¡to ¡each ¡other. ¡

¡ ¡A. ¡True ¡ ¡ ¡ ¡ ¡ ¡B. ¡False ¡

Independence ¡vs ¡Disjoint ¡

✺ Q. ¡Two ¡disjoint ¡events ¡that ¡have ¡

probability> ¡0 ¡are ¡certainly ¡ dependent ¡to ¡each ¡other. ¡

¡ ¡A. ¡True ¡ ¡ ¡ ¡ ¡ ¡B. ¡False ¡

Independence ¡of ¡empty ¡ event ¡

✺ Q. ¡Any ¡event ¡is ¡independent ¡of ¡

empty ¡event ¡B. ¡

¡ ¡A. ¡True ¡ ¡ ¡ ¡ ¡ ¡B. ¡False ¡

Independence ¡of ¡empty ¡ event ¡

✺ Q. ¡Any ¡event ¡is ¡independent ¡of ¡

empty ¡event ¡B. ¡

¡ ¡A. ¡True ¡ ¡ ¡ ¡ ¡ ¡B. ¡False ¡

Independence ¡of ¡empty ¡ event ¡

✺ Any ¡event ¡is ¡independent ¡of ¡

the ¡empty ¡event. ¡

B = Ø ⇒ P(A ∩ B) = 0 P(B) = 0; ⇒ P(A)P(B) = 0 ⇒ P(A ∩ B) = P(A)P(B)

Content ¡

✺ Condi(onal ¡Probability ¡ ¡

✺ Review ¡the ¡main ¡concepts ¡ ✺ Examples ¡and ¡Misconcep8ons ¡of ¡

Condi(onal ¡Probability ¡ ¡

✺ Examples ¡and ¡Misconcep8ons ¡of ¡

independence ¡

✺ Condi1onal ¡Independence ¡

¡

Condition ¡may ¡affect ¡ Independence ¡

✺ Assume ¡event ¡A ¡and ¡B ¡are ¡pairwise ¡

independent ¡ A ¡ B ¡ C ¡ Given ¡C, ¡A ¡and ¡B ¡are ¡ not ¡independent ¡ any ¡more ¡because ¡ they ¡become ¡ disjoint ¡

Conditional ¡Independence ¡

✺ Event ¡A ¡and ¡B ¡are ¡condi(onal ¡

independent ¡given ¡event ¡C ¡if ¡the ¡ following ¡is ¡true. ¡

P(A ∩ B|C) = P(A|C)P(B|C)

Assignments ¡

✺ HW2, ¡we ¡will ¡have ¡more ¡detailed ¡

instruc(on ¡on ¡submission ¡

✺ Finish ¡Chapter ¡3 ¡of ¡the ¡textbook ¡ ✺ Next ¡(me: ¡Random ¡variable ¡

¡

Additional ¡References ¡

✺ Peter ¡Dalgaard ¡"Introductory ¡Sta(s(cs" ¡

with ¡R ¡

✺ Charles ¡M. ¡Grinstead ¡and ¡J. ¡Laurie ¡Snell ¡

"Introduc(on ¡to ¡Probability” ¡ ¡

✺ Morris ¡H. ¡Degroot ¡and ¡Mark ¡J. ¡Schervish ¡

"Probability ¡and ¡Sta(s(cs” ¡

Acknowledgement ¡

Thank You!