Probability and Statistics for Computer Science (II) - - PowerPoint PPT Presentation

probability and statistics
SMART_READER_LITE
LIVE PREVIEW

Probability and Statistics for Computer Science (II) - - PowerPoint PPT Presentation

Probability and Statistics for Computer Science (II) Probabilis+c analysis is mathema+cal, but intui+on dominates and guides the math Prof.


slide-1
SLIDE 1

ì ¡

Probability ¡and ¡Statistics ¡ for ¡Computer ¡Science ¡(II) ¡

“Probabilis+c ¡analysis ¡is ¡ mathema+cal, ¡but ¡intui+on ¡ dominates ¡and ¡guides ¡the ¡ math” ¡– ¡Prof. ¡Dimitri ¡ Bertsekas ¡

Hongye ¡Liu, ¡Teaching ¡Assistant ¡Prof, ¡CS361, ¡UIUC, ¡8.29.2019 ¡ Credit: ¡wikipedia ¡

slide-2
SLIDE 2

Last ¡time ¡

✺ Probability ¡a ¡first ¡look ¡

✺ Outcome ¡and ¡Sample ¡Space ¡ ✺ Event ¡ ✺ Probability ¡

¡Probability ¡axioms ¡& ¡Proper+es ¡

✺ Calcula+ng ¡probability ¡

slide-3
SLIDE 3

Counting: ¡How ¡many ¡think ¡ pairs ¡can ¡there ¡be? ¡

¡✺ Q. ¡Es+mate ¡for ¡the ¡possible ¡# ¡

  • f ¡think ¡pairs ¡in ¡a ¡class ¡of ¡180 ¡

¡ ¡

slide-4
SLIDE 4

Counting: ¡How ¡many ¡think ¡ pairs ¡can ¡there ¡be? ¡

¡✺ Q. ¡Es+mate ¡for ¡the ¡possible ¡# ¡

  • f ¡think ¡pairs ¡in ¡a ¡class ¡of ¡180 ¡

¡ ¡

C(180, 2) = 180! 2!178!

slide-5
SLIDE 5

Counting: ¡How ¡many ¡think ¡ pairs ¡could ¡there ¡be? ¡

¡✺ Q. ¡Es+mate ¡for ¡# ¡of ¡pairs ¡from ¡

different ¡groups. ¡There ¡are ¡4 ¡ even ¡sized ¡groups ¡in ¡a ¡class ¡of ¡ 180 ¡

slide-6
SLIDE 6

Counting: ¡How ¡many ¡think ¡ pairs ¡could ¡there ¡be? ¡

¡✺ Q. ¡Es+mate ¡for ¡# ¡of ¡pairs ¡from ¡

different ¡groups. ¡There ¡are ¡4 ¡ even ¡sized ¡groups ¡in ¡a ¡class ¡of ¡ 180 ¡ C(4, 2) · 452

slide-7
SLIDE 7

Random ¡experiment ¡

✺ Q: ¡ ¡Is ¡the ¡following ¡experiment ¡a ¡

random ¡experiment ¡for ¡probabilis+c ¡ study? ¡

  • A. Yes ¡
  • B. ¡No ¡
slide-8
SLIDE 8

Random ¡experiment ¡

✺ Q: ¡ ¡Is ¡the ¡following ¡experiment ¡a ¡

random ¡experiment ¡for ¡probabilis+c ¡ study? ¡

  • A. Yes ¡
  • B. ¡No ¡
slide-9
SLIDE 9

Sample ¡space ¡

✺ Q: ¡What ¡is ¡the ¡sample ¡space ¡of ¡

answering ¡an ¡i-­‑Clicker ¡ques+on? ¡ ¡ ¡ ¡ ¡ ¡A. ¡ ¡ ¡{A} ¡ ¡ ¡ ¡ ¡ ¡B. ¡ ¡{B} ¡ ¡ ¡ ¡ ¡ ¡ ¡C. ¡{C} ¡ ¡ ¡ ¡D. ¡ ¡ ¡{A,B} ¡ ¡ ¡E. ¡{A, ¡B, ¡C, ¡D, ¡E} ¡

slide-10
SLIDE 10

Sample ¡space ¡

✺ Q: ¡What ¡is ¡the ¡sample ¡space ¡of ¡

answering ¡an ¡i-­‑Clicker ¡ques+on? ¡ ¡ ¡ ¡ ¡ ¡A. ¡ ¡ ¡{A} ¡ ¡ ¡ ¡ ¡ ¡B. ¡ ¡{B} ¡ ¡ ¡ ¡ ¡ ¡ ¡C. ¡{C} ¡ ¡ ¡ ¡D. ¡ ¡ ¡{A,B} ¡ ¡ ¡E. ¡{A, ¡B, ¡C, ¡D, ¡E} ¡

slide-11
SLIDE 11

Size ¡of ¡sample ¡space ¡

✺ Q: ¡What ¡is ¡the ¡size ¡of ¡the ¡sample ¡

space ¡of ¡this ¡experiment? ¡Deal ¡5 ¡ different ¡cards ¡out ¡of ¡a ¡fairly ¡shuffled ¡ deck ¡of ¡standard ¡poker ¡(order ¡ maeers). ¡ ¡ ¡ ¡ ¡A. ¡ ¡C(52,5) ¡ ¡ ¡ ¡ ¡ ¡ ¡B. ¡P(52,5) ¡ ¡ ¡ ¡ ¡ ¡ ¡C. ¡52 ¡

slide-12
SLIDE 12

Size ¡of ¡sample ¡space ¡

✺ Q: ¡What ¡is ¡the ¡size ¡of ¡the ¡sample ¡

space ¡of ¡this ¡experiment? ¡Deal ¡5 ¡ different ¡cards ¡out ¡of ¡a ¡fairly ¡shuffled ¡ deck ¡of ¡standard ¡poker ¡(order ¡ maeers). ¡ ¡ ¡ ¡ ¡A. ¡ ¡C(52,5) ¡ ¡ ¡ ¡ ¡ ¡ ¡B. ¡P(52,5) ¡ ¡ ¡ ¡ ¡ ¡ ¡C. ¡52 ¡

slide-13
SLIDE 13

Event ¡

✺ Roll ¡a ¡4-­‑sided ¡die ¡twice ¡

¡The ¡event ¡“max ¡is ¡4” ¡and ¡“sum ¡is ¡4” ¡ ¡are ¡disjoint. ¡ ¡A. ¡True ¡ ¡B. ¡False ¡

slide-14
SLIDE 14

Event ¡

✺ Roll ¡a ¡4-­‑sided ¡die ¡twice ¡

¡The ¡event ¡“max ¡is ¡4” ¡and ¡“sum ¡is ¡4” ¡ ¡are ¡disjoint. ¡ ¡A. ¡True ¡ ¡B. ¡False ¡

slide-15
SLIDE 15

Probability ¡

✺ Q: ¡A ¡deck ¡of ¡ordinary ¡cards ¡is ¡shuffled ¡

and ¡13 ¡cards ¡are ¡dealt. ¡What ¡is ¡the ¡ probability ¡that ¡the ¡last ¡card ¡dealt ¡is ¡an ¡ ace? ¡

  • A. ¡4*P(51,12)/P(52,13) ¡ ¡B. ¡4/13 ¡ ¡ ¡ ¡
  • C. ¡4*C(51,12)/C(52,13) ¡
slide-16
SLIDE 16

Probability ¡

✺ Q: ¡A ¡deck ¡of ¡ordinary ¡cards ¡is ¡shuffled ¡

and ¡13 ¡cards ¡are ¡dealt. ¡What ¡is ¡the ¡ probability ¡that ¡the ¡last ¡card ¡dealt ¡is ¡an ¡ ace? ¡

  • A. ¡4* ¡P(51,12)/P(52,13) ¡ ¡ ¡B. ¡4/13 ¡ ¡ ¡ ¡
  • C. ¡4*C(51,12)/C(52,13) ¡

4* ¡P(51,12)/P(52,13) ¡= ¡1/13 ¡

slide-17
SLIDE 17

Content ¡

✺ Probability ¡ ¡

✺ Coun*ng ¡ ¡ ✺ Condi+onal ¡Probability ¡ ✺ Independence ¡

¡

slide-18
SLIDE 18

Counting ¡for ¡countable ¡finite ¡ events’ ¡probability ¡

¡

✺ From ¡the ¡last ¡axiom, ¡the ¡probability ¡of ¡event ¡E ¡

is ¡the ¡sum ¡of ¡probabili+es ¡of ¡the ¡disjoint ¡

  • utcomes ¡ ¡

✺ If ¡the ¡outcomes ¡are ¡atomic ¡and ¡have ¡equal ¡

probability, ¡

P(E) =

  • Ai∈E

P(Ai) P(E) = number of outcomes in E total number of outcomes in Ω

slide-19
SLIDE 19

Addition ¡principle ¡

¡✺ Suppose ¡there ¡are ¡n ¡disjoint ¡

events, ¡the ¡number ¡of ¡

  • utcomes ¡for ¡any ¡of ¡these ¡

events ¡will ¡be ¡the ¡sum ¡of ¡the ¡

  • utcomes ¡of ¡these ¡events. ¡
slide-20
SLIDE 20

Multiplication ¡principle ¡

¡✺ Suppose ¡that ¡a ¡choice ¡is ¡made ¡

in ¡two ¡consecu+ve ¡stages ¡

✺ Stage ¡1 ¡has ¡m ¡choices ¡ ✺ Stage ¡2 ¡has ¡n ¡choices ¡

✺ Then ¡the ¡total ¡number ¡of ¡

choices ¡is ¡mn ¡

slide-21
SLIDE 21

Multiplication: ¡example ¡

✺ How ¡many ¡ways ¡are ¡there ¡to ¡

draw ¡two ¡cards ¡of ¡the ¡same ¡suit ¡ from ¡a ¡standard ¡deck ¡of ¡52 ¡cards? ¡ The ¡draw ¡is ¡without ¡replacement. ¡

slide-22
SLIDE 22

Multiplication: ¡example ¡

✺ How ¡many ¡ways ¡are ¡there ¡to ¡

draw ¡two ¡cards ¡of ¡the ¡same ¡suit ¡ from ¡a ¡standard ¡deck ¡of ¡52 ¡cards? ¡ The ¡draw ¡is ¡without ¡replacement. ¡

52×12 ¡

slide-23
SLIDE 23

Permutations ¡(order ¡matters) ¡ ¡

✺ From ¡10 ¡digits ¡(0,…9) ¡pick ¡3 ¡numbers ¡for ¡

a ¡CS ¡course ¡number ¡(no ¡repe++on), ¡how ¡ many ¡possible ¡numbers ¡are ¡there? ¡ 10×9×8 ¡= ¡P(10,3) ¡= ¡720 ¡

P(n, r) = n! (n − r)!

slide-24
SLIDE 24

Combinations ¡(order ¡not ¡ important) ¡

¡

✺ A ¡graph ¡has ¡N ¡ver+ces, ¡how ¡many ¡edges ¡

could ¡there ¡exist ¡at ¡most? ¡Edges ¡are ¡un-­‑ direc+onal. ¡ ¡N×(N-­‑1)/2 ¡

C(n, r) = n! (n − r)!r! = P(n, r) r!

= C(n, n − r)

slide-25
SLIDE 25

Partition ¡

¡

✺ How ¡many ¡ways ¡are ¡there ¡to ¡rearrange ¡

ILLINOIS? ¡

✺ General ¡form ¡

8! 3!2!1!1!1!

I ¡ L ¡

n! n1!n2!...nr!

slide-26
SLIDE 26

Allocation ¡

¡✺ Pupng ¡6 ¡iden+cal ¡leeers ¡into ¡

3 ¡mailboxs ¡(empty ¡allowed) ¡

L L L L L L

Choose ¡2 ¡from ¡the ¡8 ¡posi+ons ¡

slide-27
SLIDE 27

Allocation ¡

¡✺ Pupng ¡6 ¡iden+cal ¡leeers ¡into ¡

3 ¡mailboxs ¡(empty ¡allowed) ¡

L L L L L L

Choose ¡2 ¡from ¡the ¡8 ¡posi+ons: ¡ C(8,2) ¡= ¡28 ¡

slide-28
SLIDE 28

Allocation: ¡beads ¡

¡✺ Pupng ¡3000 ¡beads ¡randomly ¡

into ¡20 ¡bins ¡(empty ¡allowed) ¡

C(3019, 19) = 3019! 19!3000!

slide-29
SLIDE 29

Probability: ¡Birthday ¡problem ¡

¡✺ Among ¡30 ¡people, ¡what ¡is ¡the ¡

probability ¡that ¡at ¡least ¡2 ¡of ¡them ¡ celebrate ¡their ¡birthday ¡on ¡the ¡same ¡ day? ¡Assume ¡that ¡there ¡is ¡no ¡ February ¡29 ¡and ¡each ¡day ¡of ¡the ¡year ¡ is ¡equally ¡likely ¡to ¡be ¡a ¡birthday. ¡

slide-30
SLIDE 30

Probability: ¡Birthday ¡problem ¡

= 1 − P{all birthdays are different} = 1 − P(365, 30) 36530 = 1 − 365 × 364 × ...336 36530 ≃ 0.706

The ¡probability ¡some ¡people ¡share ¡the ¡ ¡same ¡birthday ¡in ¡a ¡room ¡of ¡30 ¡people ¡

slide-31
SLIDE 31

Content ¡

✺ Probability ¡ ¡

✺ Coun+ng ¡ ¡ ✺ Condi*onal ¡Probability ¡ ✺ Independence ¡

¡

slide-32
SLIDE 32

Conditional ¡Probability ¡

✺ Mo+va+on ¡of ¡condi+onal ¡

probability ¡

✺ We ¡are ¡not ¡always ¡uncertain ¡about ¡

everything ¡

✺ We ¡oren ¡only ¡need ¡to ¡compute ¡

probability ¡under ¡certain ¡condi+ons ¡

✺ Use ¡data ¡to ¡decide ¡model ¡parameters ¡

slide-33
SLIDE 33

Conditional ¡Probability ¡

✺ Example: ¡

¡An ¡insurance ¡company ¡knows ¡in ¡a ¡ popula+on ¡of ¡100 ¡thousands ¡females, ¡ 89.835% ¡expect ¡to ¡live ¡to ¡age ¡60, ¡while ¡ 57.062% ¡can ¡expect ¡to ¡live ¡to ¡80. ¡Given ¡ a ¡woman ¡at ¡the ¡age ¡of ¡60, ¡what ¡is ¡the ¡ probability ¡that ¡she ¡lives ¡to ¡80? ¡

slide-34
SLIDE 34

Conditional ¡Probability ¡

✺ Given ¡the ¡condi+on ¡she ¡is ¡60 ¡

already, ¡the ¡size ¡of ¡the ¡sample ¡ space ¡for ¡the ¡outcomes ¡has ¡ changed ¡to ¡

¡89,835 ¡instead ¡of ¡100,000 ¡

slide-35
SLIDE 35

Conditional ¡Probability ¡

✺ The ¡probability ¡of ¡A ¡given ¡B ¡

¡

Credit: ¡Prof. ¡Jeremy ¡Orloff ¡& ¡ ¡ Jonathan ¡Bloom ¡

P(A|B) = P(A ∩ B) P(B)

P(B) = 0

The ¡“Size” ¡analogy ¡

slide-36
SLIDE 36

Conditional ¡Probability ¡

A ¡: ¡a ¡woman ¡ lives ¡to ¡80 ¡ B ¡: ¡a ¡woman ¡is ¡ at ¡60 ¡now ¡

¡

While ¡ ¡ P(A) = 57, 062

100, 000 = 0.57062 P(A|B) = 57, 062 89, 835 = 0.6352

P(A|B) = P(A ∩ B) P(B)

slide-37
SLIDE 37

Conditional ¡Probability: ¡die ¡ example ¡ ¡

2 ¡ 3 ¡ 4 ¡ 5 ¡ 2 ¡ 3 ¡ 5 ¡ 4 ¡ 1 ¡ 1 ¡

Throw ¡5-­‑sided ¡fair ¡ die ¡twice. ¡ ¡ ¡

X ¡ Y ¡

P(A|B) =?

A : max(X, Y ) = 4 B : min(X, Y ) = 2

slide-38
SLIDE 38

Conditional ¡Probability: ¡die ¡ example ¡ ¡

2 ¡ 3 ¡ 4 ¡ 5 ¡ 2 ¡ 3 ¡ 5 ¡ 4 ¡ 1 ¡ 1 ¡

Throw ¡5-­‑sided ¡die ¡ twice, ¡ ¡ ¡

X ¡ Y ¡

P(A|B) = 2 7 A : max(X, Y ) = 4 B : min(X, Y ) = 2

slide-39
SLIDE 39

Conditional ¡probability ¡

✺ Now ¡we ¡will ¡see ¡how ¡this ¡

formula ¡morphs ¡into ¡many ¡ interes+ng ¡or ¡important ¡formulas ¡

P(A|B) = P(A ∩ B) P(B)

P(B) = 0

slide-40
SLIDE 40

Multiplication ¡rule ¡using ¡ conditional ¡probability ¡

✺ Joint ¡event ¡

P(A|B) = P(A ∩ B) P(B)

P(B) = 0

⇒ P(A ∩ B) = P(A|B)P(B)

slide-41
SLIDE 41

Multiplication ¡using ¡ conditional ¡probability ¡

⇒ P(A ∩ B) = P(A|B)P(B)

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

P(soup ∩ meat) = P(meat|soup)P(soup) = 0.5 × 0.8 = 0.4

slide-42
SLIDE 42

Total ¡probability ¡using ¡ conditional ¡probability ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ B1 ¡ B2 ¡ B3 ¡

A ∩ B3

A ∩ B2

A ∩ B1

P(A) = P(A ∩ B1) + P(A ∩ B2) + P(A ∩ B3) = P(A|B1)P(B1) + P(A|B2)P(B2) + P(A|B3)P(B3)

A ¡

slide-43
SLIDE 43

Total ¡probability ¡general ¡ form ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ B1 ¡ B2 ¡ B3 ¡

A ∩ B3

A ∩ B2

A ∩ B1

A ¡

P(A) =

  • j

(P(A|Bj)P(Bj))

if Bi ∩ Bj = Ø for all i = j

slide-44
SLIDE 44

Symmetry ¡of ¡joint ¡event ¡in ¡ terms ¡of ¡conditional ¡prob. ¡

P(A|B) = P(A ∩ B) P(B)

P(B) = 0

⇒ P(A ∩ B) = P(A|B)P(B) ⇒ P(B ∩ A) = P(B|A)P(A)

slide-45
SLIDE 45

P(A|B)P(B) = P(B|A)P(A)

∵ P(B ∩ A) = P(A ∩ B)

Symmetry ¡of ¡joint ¡event ¡in ¡ terms ¡of ¡conditional ¡prob. ¡

slide-46
SLIDE 46

The ¡famous ¡Bayes ¡rule ¡

P(A|B)P(B) = P(B|A)P(A)

P(A|B) = P(B|A)P(A) P(B)

Thomas ¡Bayes ¡(1701-­‑1761) ¡

slide-47
SLIDE 47

Bayes ¡rule: ¡lemon ¡cars ¡

There ¡are ¡two ¡car ¡factories, ¡A ¡and ¡B, ¡that ¡ supply ¡the ¡same ¡dealer. ¡Factory ¡A ¡produced ¡ 1000 ¡cars, ¡of ¡which ¡10 ¡were ¡lemons. ¡Factory ¡B ¡ produced ¡2 ¡cars ¡and ¡both ¡were ¡lemons. ¡You ¡ bought ¡a ¡car ¡that ¡turned ¡out ¡to ¡be ¡a ¡lemon. ¡ What ¡is ¡the ¡probability ¡that ¡it ¡came ¡from ¡ factory ¡B? ¡

P(B|L) = P(L/B)P(B) P(L)

slide-48
SLIDE 48

Bayes ¡rule: ¡lemon ¡cars ¡

There ¡are ¡two ¡car ¡factories, ¡A ¡and ¡B, ¡that ¡ supply ¡the ¡same ¡dealer. ¡Factory ¡A ¡produced ¡ 1000 ¡cars, ¡of ¡which ¡10 ¡were ¡lemons. ¡Factory ¡B ¡ produced ¡2 ¡cars ¡and ¡both ¡were ¡lemons. ¡You ¡ bought ¡a ¡car ¡that ¡turned ¡out ¡to ¡be ¡a ¡lemon. ¡ What ¡is ¡the ¡probability ¡that ¡it ¡came ¡from ¡ factory ¡B? ¡

P(B|L) = P(L/B)P(B) P(L) = 1 ×

2 1002 12 1002

= 1 6

slide-49
SLIDE 49

Bayes ¡rule: ¡lemon ¡cars ¡

Given ¡the ¡above ¡informa+on, ¡what ¡is ¡the ¡ probability ¡that ¡it ¡came ¡from ¡factory ¡A? ¡

P(A|L) =?

slide-50
SLIDE 50

Bayes ¡rule: ¡lemon ¡cars ¡

Given ¡the ¡above ¡informa+on, ¡what ¡is ¡the ¡ probability ¡that ¡it ¡came ¡from ¡factory ¡A? ¡

P(A|L) =?

P(A|L) = 1 − P(B|L)

P(A|L) = P(L|A)P(A) P(L)

Or ¡in ¡this ¡case ¡

slide-51
SLIDE 51

Bayes ¡rule: ¡lemon ¡cars ¡

Given ¡the ¡above ¡informa+on, ¡what ¡is ¡the ¡ probability ¡that ¡it ¡came ¡from ¡factory ¡A? ¡

P(A|L) =?

P(A|L) = 1 − P(B|L)

P(A|L) = P(L|A)P(A) P(L)

Or ¡in ¡this ¡case ¡

5 6

= ¡

slide-52
SLIDE 52

¡ ¡

slide-53
SLIDE 53

Bayes ¡rule ¡using ¡total ¡prob. ¡

P(Bj|A) = P(A|Bj)P(Bj) P(A) = P(A|Bj)P(Bj)

  • j P(A|Bj)P(Bj)

B1 ¡ B2 ¡ B3 ¡

A ∩ B3 A ∩ B2 A ∩ B1

A ¡

slide-54
SLIDE 54

Bayes ¡rule: ¡rare ¡disease ¡test ¡

P(D|T) = P(T|D)P(D) P(T) = P(T|D)P(D) P(T|D)P(D) + P(T|Dc)P(Dc) P(D|T)

¡There ¡is ¡a ¡blood ¡test ¡for ¡a ¡rare ¡disease. ¡The ¡

frequency ¡of ¡the ¡disease ¡is ¡1/100,000. ¡If ¡one ¡has ¡it, ¡ the ¡test ¡confirms ¡it ¡with ¡probability ¡0.95. ¡If ¡one ¡ doesn't ¡have, ¡the ¡test ¡gives ¡false ¡posi+ve ¡with ¡ probability ¡0.001. ¡What ¡is ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡the ¡probability ¡

  • f ¡having ¡disease ¡given ¡a ¡posi+ve ¡test ¡result? ¡

Using ¡total ¡prob. ¡

slide-55
SLIDE 55

Bayes ¡rule: ¡rare ¡disease ¡test ¡

P(D|T)

¡There ¡is ¡a ¡blood ¡test ¡for ¡a ¡rare ¡disease. ¡The ¡

frequency ¡of ¡the ¡disease ¡is ¡1/100,000. ¡If ¡one ¡has ¡it, ¡ the ¡test ¡confirms ¡it ¡with ¡probability ¡0.95. ¡If ¡one ¡ doesn't ¡have, ¡the ¡test ¡gives ¡false ¡posi+ve ¡with ¡ probability ¡0.001. ¡What ¡is ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡the ¡probability ¡

  • f ¡having ¡disease ¡given ¡a ¡posi+ve ¡test ¡result? ¡

P(D|T) = P(T|D)P(D) P(T|D)P(D) + P(T|Dc)P(Dc)

= 0.95 × 10−5 0.95 × 10−5 + 0.001 × (1 − 10−5) ≃ 0.0094 < 1%

slide-56
SLIDE 56

Content ¡

✺ Probability ¡ ¡

✺ Coun+ng ¡ ¡ ✺ Condi+onal ¡Probability ¡ ✺ Independence ¡

¡

slide-57
SLIDE 57

Independence ¡

✺ One ¡defini+on: ¡

¡Whether ¡A ¡happened ¡doesn’t ¡

¡change ¡the ¡probability ¡of ¡B ¡and ¡ ¡vice ¡versa ¡

P(A|B) = P(A) or P(B|A) = P(B)

slide-58
SLIDE 58

Independence: ¡example ¡

✺ Suppose ¡that ¡we ¡have ¡a ¡fair ¡coin ¡and ¡it ¡is ¡

tossed ¡twice. ¡ ¡let ¡A ¡ ¡be ¡the ¡event ¡“the ¡ first ¡toss ¡is ¡a ¡head” ¡and ¡B ¡the ¡event ¡“the ¡ two ¡outcomes ¡are ¡the ¡same.” ¡

✺ These ¡two ¡events ¡are ¡independent! ¡

P(B|A) = P(B ∩ A) P(A) = P{HH} P{HH, HT} = 1/4 1/2 = P(B)

slide-59
SLIDE 59

Independence ¡

✺ Alterna+ve ¡defini+on ¡ ¡

P(A|B) = P(A) ⇒ P(A ∩ B) P(B) = P(A)

⇒ P(A ∩ B) = P(A)P(B)

slide-60
SLIDE 60

Testing ¡Independence: ¡

✺ Suppose ¡you ¡draw ¡one ¡card ¡from ¡a ¡

standard ¡deck ¡of ¡cards. ¡E1 ¡is ¡the ¡event ¡ that ¡the ¡card ¡is ¡a ¡King, ¡Queen ¡or ¡Jack. ¡E2 ¡ is ¡the ¡event ¡the ¡card ¡is ¡a ¡Heart. ¡Are ¡E1 ¡ and ¡E2 ¡independent? ¡

P(E1) = 12 52 = 3 13 ; P(E2) = 13 52 = 1 4 P(E1 ∩ E2) = 3 52 = P(E1)P(E2)

slide-61
SLIDE 61

Simulation ¡of ¡Conditional ¡ Probability ¡ hep:// www.randomservices.org/ random/apps/ Condi+onalProbabilityExperim ent.html ¡

slide-62
SLIDE 62

Additional ¡References ¡

✺ Peter ¡Dalgaard ¡"Introductory ¡Sta+s+cs" ¡

with ¡R ¡

✺ Charles ¡M. ¡Grinstead ¡and ¡J. ¡Laurie ¡Snell ¡

"Introduc+on ¡to ¡Probability” ¡ ¡

✺ Morris ¡H. ¡Degroot ¡and ¡Mark ¡J. ¡Schervish ¡

"Probability ¡and ¡Sta+s+cs” ¡

slide-63
SLIDE 63

Assignments ¡

✺ HW2 ¡ ✺ Reading ¡Chapter ¡3 ¡of ¡the ¡textbook ¡ ✺ Next ¡+me: ¡More ¡on ¡independence ¡and ¡

condi+onal ¡probability ¡

¡

slide-64
SLIDE 64

Acknowledgement ¡

Thank You!