Probability and Statistics for Computer Science Can - - PowerPoint PPT Presentation

ì ¡

Probability ¡and ¡Statistics ¡ for ¡Computer ¡Science ¡ ¡

Can ¡we ¡call ¡ ¡ ¡ ¡ ¡ ¡ ¡the ¡ exci-ng ¡ ¡ ¡ ¡ ¡? ¡

¡

Hongye ¡Liu, ¡Teaching ¡Assistant ¡Prof, ¡CS361, ¡UIUC, ¡10.1.2019 ¡ Credit: ¡wikipedia ¡

e = lim

n→∞

• 1 + 1

n n

e e

Last ¡time ¡

✺ Con-nuous ¡Random ¡Variable ¡ ¡ ✺ Useful ¡known ¡discrete ¡

probability ¡distribu-ons ¡

Midterm ¡exam ¡1 ¡

✺ Time: ¡Oct. ¡10 ¡th, ¡Thurs. ¡2019 ¡ ✺ Place: ¡the ¡same ¡classroom-­‑ ¡ ¡1320 ¡DCL ¡ ✺ Dura-on: ¡75 ¡mins ¡ ✺ Coverage: ¡All ¡course ¡contents ¡upto ¡today’s ¡lecture, ¡and ¡the ¡

HWs ¡No.1-­‑5. ¡ ¡

✺ Notes ¡on ¡one ¡sheet ¡of ¡paper ¡of ¡the ¡size ¡8.5×11inch ¡(both ¡

sides) ¡are ¡permiZed. ¡ ¡

✺ No ¡calculator ¡or ¡other ¡electronic ¡device ¡ ✺ No ¡use ¡of ¡phone ¡

HW5 ¡is ¡released ¡

Content ¡

✺ Useful ¡known ¡probability ¡

distribu-ons ¡(II) ¡

✺ Poisson ¡distribu-on ¡ ✺ Uniform ¡con-nuous ¡distribu-on ¡ ✺ Exponen-al ¡distribu-on ¡ ✺ Normal ¡distribu-on ¡& ¡Central ¡Limit ¡Theorem ¡ ✺ Approximate ¡Binomial ¡with ¡Normal ¡

Distribu-on ¡

Poisson ¡Distribution ¡

Motivation ¡for ¡a ¡model ¡called ¡ Poisson ¡Distribution ¡ ¡

✺ What’s ¡the ¡probability ¡of ¡the ¡number ¡of ¡

incoming ¡customers ¡(k) ¡in ¡an ¡hour? ¡

✺ It’s ¡widely ¡applicable ¡in ¡physics ¡

¡ ¡ ¡and ¡engineering ¡both ¡for ¡ ¡ ¡ ¡modeling ¡of ¡-me ¡and ¡space. ¡

Simeon ¡D. ¡Poisson ¡ (1781-­‑1840) ¡ Credit: ¡wikipedia ¡

Poisson ¡Distribution ¡

✺ A ¡discrete ¡random ¡variable ¡X ¡ ¡is ¡called ¡

Poisson ¡with ¡intensity ¡λ ¡(λ>0) ¡if ¡

¡

Simeon ¡D. ¡Poisson ¡ (1781-­‑1840) ¡

P(X = k) = e−λλk k!

for ¡integer ¡ k ≥ 0

λ is the average rate of the event′s occurrence

x ¡

Poisson ¡Distribution ¡

✺ Poisson ¡distribu-on ¡is ¡a ¡valid ¡pdf ¡for ¡

¡

Simeon ¡D. ¡Poisson ¡ (1781-­‑1840) ¡

P(X = k) = e−λλk k!

for ¡integer ¡ k ≥ 0

λ is the average rate of the event′s occurrence

x ¡

∞

• i=0

λi i! = eλ ⇒

∞

• k=0

λke−λ k! = 1

¡ ¡ ¡ ¡ ¡

Poisson ¡Distribution ¡

✺ Poisson ¡distribu-on ¡is ¡a ¡valid ¡pdf ¡for ¡

¡

Simeon ¡D. ¡Poisson ¡ (1781-­‑1840) ¡

P(X = k) = e−λλk k!

for ¡integer ¡ k ≥ 0

λ is the average rate of the event′s occurrence

x ¡

∞

• i=0

λi i! = eλ ⇒

∞

• k=0

λke−λ k! = 1

x ¡

Expectations ¡of ¡Poisson ¡Distribution ¡

✺ The ¡expected ¡value ¡and ¡the ¡variance ¡are ¡

wonderfully ¡the ¡same! ¡ ¡That ¡is ¡λ ¡! ¡

¡

Simeon ¡D. ¡Poisson ¡ (1781-­‑1840) ¡

P(X = k) = e−λλk k!

for ¡integer ¡ k ≥ 0

E[X] = λ var[X] = λ

x ¡

Examples ¡of ¡Poisson ¡Distribution ¡

✺ How ¡many ¡calls ¡does ¡a ¡call ¡center ¡get ¡in ¡an ¡hour? ¡ ✺ How ¡many ¡muta-ons ¡occur ¡per ¡100k ¡

¡ ¡ ¡nucleo-des ¡in ¡an ¡DNA ¡strand? ¡

✺ How ¡many ¡independent ¡incidents ¡occur ¡in ¡an ¡

interval? ¡

¡

P(X = k) = e−λλk k!

for ¡integer ¡ k ≥ 0

Poisson ¡Distribution: ¡call ¡center ¡

✺ If ¡a ¡call ¡center ¡receives ¡10 ¡

calls ¡per ¡hour ¡on ¡average, ¡ what ¡is ¡the ¡probability ¡that ¡it ¡ receives ¡15 ¡calls ¡in ¡a ¡given ¡ hour? ¡ ¡

✺ What ¡is ¡λ ¡here? ¡ ✺ What ¡is ¡P(k=15)? ¡

Credit: ¡wikipedia ¡

Poisson ¡Distribution: ¡call ¡center ¡

✺ If ¡a ¡call ¡center ¡receives ¡10 ¡

calls ¡per ¡hour ¡on ¡average, ¡ what ¡is ¡the ¡probability ¡that ¡it ¡ receives ¡15 ¡calls ¡in ¡a ¡given ¡ hour? ¡ ¡

✺ What ¡is ¡λ ¡here? ¡10 ¡

✺

For ¡the ¡expected ¡value ¡of ¡ Poisson ¡is ¡λ ¡ ¡ ✺ What ¡is ¡P(k=15)? ¡

Credit: ¡wikipedia ¡

1015e−10 15!

• Q. ¡Poisson ¡Distribution: ¡call ¡center ¡

If ¡a ¡call ¡center ¡receives ¡4 ¡ calls ¡per ¡hour ¡on ¡average. ¡ What ¡is ¡intensity ¡λ ¡here ¡ for ¡an ¡hour? ¡

• A. 1 ¡
• B. 4 ¡
• C. 8 ¡

Credit: ¡wikipedia ¡

• Q. ¡Poisson ¡Distribution: ¡call ¡center ¡

If ¡a ¡call ¡center ¡receives ¡4 ¡ calls ¡per ¡hour ¡on ¡average. ¡ What ¡is ¡the ¡intensity ¡λ ¡ here ¡for ¡an ¡hour? ¡

• A. 1 ¡
• B. 4 ¡
• C. 8 ¡

Credit: ¡wikipedia ¡ x ¡

• Q. ¡Poisson ¡Distribution: ¡call ¡center ¡

If ¡a ¡call ¡center ¡receives ¡4 ¡ calls ¡per ¡hour ¡on ¡average. ¡ What ¡is ¡probability ¡the ¡ center ¡receives ¡0 ¡calls ¡in ¡ an ¡hour? ¡

• A. e-­‑4 ¡
• B. 0.5 ¡
• C. 0.05 ¡

Credit: ¡wikipedia ¡

• Q. ¡Poisson ¡Distribution: ¡call ¡center ¡

If ¡a ¡call ¡center ¡receives ¡4 ¡ calls ¡per ¡hour ¡on ¡average. ¡ What ¡is ¡probability ¡the ¡ center ¡receives ¡0 ¡calls ¡in ¡ an ¡hour? ¡

• A. e-­‑4 ¡
• B. 0.5 ¡
• C. 0.05 ¡

Credit: ¡wikipedia ¡ x ¡

• Q. ¡Poisson ¡Distribution: ¡call ¡center ¡

Credit: ¡wikipedia ¡

✺ Given ¡a ¡call ¡center ¡receives ¡

10 ¡calls ¡per ¡hour ¡on ¡average, ¡ what ¡is ¡the ¡intensity ¡λ ¡of ¡the ¡ distribu-on ¡for ¡calls ¡in ¡Two ¡ hours? ¡ ¡

• Q. ¡Poisson ¡Distribution: ¡call ¡center ¡

Credit: ¡wikipedia ¡

✺ Given ¡a ¡call ¡center ¡receives ¡

10 ¡calls ¡per ¡hour ¡on ¡average, ¡ what ¡is ¡the ¡intensity ¡λ ¡of ¡the ¡ distribu-on ¡for ¡calls ¡in ¡Two ¡ hours? ¡ ¡

✺ If ¡we ¡scale ¡the ¡interval, ¡then ¡

the ¡intensity ¡of ¡the ¡ distribu-on ¡scales ¡by ¡the ¡ same ¡amount. ¡ ¡ ¡λ=20 ¡

Qs ¡for ¡discrete ¡distributions ¡

• Q. ¡

✺ A ¡store ¡staff ¡mixed ¡their ¡fuji ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡gala ¡

apples ¡and ¡they ¡were ¡individually ¡wrapped, ¡so ¡ they ¡are ¡indis-nguishable. ¡Given ¡there ¡are ¡ 70% ¡of ¡fuji, ¡ ¡if ¡I ¡want ¡to ¡know ¡what ¡is ¡the ¡ probability ¡I ¡get ¡7 ¡fuji ¡in ¡20 ¡apples? ¡What ¡is ¡the ¡ distribu-on ¡I ¡should ¡use? ¡

• A. ¡Bernoulli

¡ ¡ ¡B. ¡Binomial ¡ ¡ ¡ ¡C. ¡Geometric ¡ ¡ ¡ ¡ ¡

• D. ¡Poisson ¡ ¡ ¡ ¡ ¡

¡ ¡ ¡E. ¡Uniform ¡ ¡

• Q. ¡

✺ A ¡store ¡staff ¡mixed ¡their ¡fuji ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡gala ¡

apples ¡and ¡they ¡were ¡individually ¡wrapped, ¡so ¡ they ¡are ¡indis-nguishable. ¡Given ¡there ¡are ¡ 70% ¡of ¡fuji, ¡ ¡if ¡I ¡want ¡to ¡know ¡what ¡is ¡the ¡ probability ¡I ¡get ¡7 ¡fuji ¡in ¡20 ¡apples? ¡What ¡is ¡the ¡ distribu-on ¡I ¡should ¡use? ¡

• A. ¡Bernoulli

¡ ¡ ¡B. ¡Binomial ¡ ¡ ¡ ¡C. ¡Geometric ¡ ¡ ¡ ¡ ¡

• D. ¡Poisson ¡ ¡ ¡ ¡ ¡

¡ ¡ ¡E. ¡Uniform ¡ ¡

x ¡

• Q. ¡

✺ A ¡store ¡staff ¡mixed ¡their ¡fuji ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡gala ¡

apples ¡and ¡they ¡were ¡individually ¡wrapped, ¡so ¡ they ¡are ¡indis-nguishable. ¡Given ¡there ¡are ¡ 70% ¡of ¡fuji, ¡ ¡if ¡I ¡want ¡to ¡know ¡what ¡is ¡the ¡ probability ¡I ¡get ¡7 ¡fuji ¡in ¡20 ¡apples? ¡What ¡is ¡the ¡ distribu-on ¡I ¡should ¡use? ¡What ¡is ¡the ¡ probability? ¡

• Q. ¡

✺ A ¡store ¡staff ¡mixed ¡their ¡fuji ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡gala ¡

apples ¡and ¡they ¡were ¡individually ¡wrapped, ¡so ¡ they ¡are ¡indis-nguishable. ¡Given ¡there ¡are ¡ 70% ¡of ¡fuji, ¡ ¡if ¡I ¡want ¡to ¡know ¡what ¡is ¡the ¡ probability ¡I ¡get ¡7 ¡fuji ¡in ¡20 ¡apples? ¡What ¡is ¡the ¡ distribu-on ¡I ¡should ¡use? ¡What ¡is ¡the ¡ probability? ¡

20 7

• (0.7)7(0.3)13

• Q. ¡

✺ A ¡store ¡staff ¡mixed ¡their ¡fuji ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡gala ¡

apples ¡and ¡they ¡were ¡individually ¡wrapped, ¡so ¡ they ¡are ¡indis-nguishable. ¡Given ¡there ¡are ¡ 70% ¡of ¡fuji, ¡ ¡if ¡I ¡want ¡to ¡know ¡the ¡probability ¡of ¡ picking ¡the ¡first ¡gala ¡on ¡the ¡7th ¡-me ¡(I ¡can ¡put ¡ back ¡aker ¡each ¡pick). ¡What ¡is ¡the ¡distribu-on ¡I ¡ should ¡use? ¡

• A. ¡Bernoulli

¡ ¡ ¡B. ¡Binomial ¡ ¡ ¡ ¡C. ¡Geometric ¡ ¡ ¡ ¡ ¡

• D. ¡Poisson ¡ ¡ ¡ ¡ ¡

¡ ¡ ¡E. ¡Uniform ¡

• Q. ¡

✺ A ¡store ¡staff ¡mixed ¡their ¡fuji ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡gala ¡

apples ¡and ¡they ¡were ¡individually ¡wrapped, ¡so ¡ they ¡are ¡indis-nguishable. ¡Given ¡there ¡are ¡ 70% ¡of ¡fuji, ¡ ¡if ¡I ¡want ¡to ¡know ¡the ¡probability ¡of ¡ picking ¡the ¡first ¡gala ¡on ¡the ¡7th ¡-me ¡(I ¡can ¡put ¡ back ¡aker ¡each ¡pick). ¡What ¡is ¡the ¡distribu-on ¡I ¡ should ¡use? ¡

• A. ¡Bernoulli

¡ ¡ ¡B. ¡Binomial ¡ ¡ ¡ ¡C. ¡Geometric ¡ ¡ ¡ ¡ ¡

• D. ¡Poisson ¡ ¡ ¡ ¡ ¡

¡ ¡ ¡E. ¡Uniform ¡

• Q. ¡

✺ A ¡store ¡staff ¡mixed ¡their ¡fuji ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡gala ¡

apples ¡and ¡they ¡were ¡individually ¡wrapped, ¡so ¡ they ¡are ¡indis-nguishable. ¡Given ¡there ¡are ¡ 70% ¡of ¡fuji, ¡ ¡if ¡I ¡want ¡to ¡know ¡the ¡probability ¡of ¡ picking ¡the ¡first ¡gala ¡on ¡the ¡7th ¡-me ¡(I ¡can ¡put ¡ back ¡aker ¡one ¡pick). ¡What’s ¡the ¡probability? ¡ ¡

• Q. ¡

✺ A ¡store ¡staff ¡mixed ¡their ¡fuji ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡gala ¡

apples ¡and ¡they ¡were ¡individually ¡wrapped, ¡so ¡ they ¡are ¡indis-nguishable. ¡Given ¡there ¡are ¡ 70% ¡of ¡fuji, ¡ ¡if ¡I ¡want ¡to ¡know ¡the ¡probability ¡of ¡ picking ¡the ¡first ¡gala ¡on ¡the ¡7th ¡-me ¡(I ¡can ¡put ¡ back ¡aker ¡one ¡pick). ¡What’s ¡the ¡probability? ¡ ¡

(0.7)6(0.3)

• Q. ¡

✺ A ¡store ¡staff ¡mixed ¡their ¡fuji ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡gala ¡

apples ¡and ¡they ¡were ¡individually ¡wrapped, ¡so ¡ they ¡are ¡indis-nguishable. ¡Given ¡there ¡are ¡ 70% ¡of ¡fuji, ¡what’s ¡the ¡average ¡Hmes ¡of ¡ picking ¡to ¡get ¡the ¡first ¡gala? ¡

• Q. ¡

✺ A ¡store ¡staff ¡mixed ¡their ¡fuji ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡and ¡gala ¡

apples ¡and ¡they ¡were ¡individually ¡wrapped, ¡so ¡ they ¡are ¡indis-nguishable. ¡Given ¡there ¡are ¡ 70% ¡of ¡fuji, ¡what’s ¡the ¡average ¡Hmes ¡of ¡ picking ¡to ¡get ¡the ¡first ¡gala? ¡

1 0.3

Review: ¡Probability ¡density ¡function ¡ (pdf) ¡of ¡continuous ¡random ¡variable ¡

✺ For ¡a ¡con-nuous ¡random ¡variable ¡X, ¡the ¡

probability ¡that ¡X=x ¡is ¡essen-ally ¡zero ¡for ¡all ¡ (or ¡most) ¡x, ¡so ¡we ¡can’t ¡define ¡ ¡

✺ Instead, ¡we ¡define ¡the ¡probability ¡density ¡

funcHon ¡(pdf) ¡over ¡an ¡infinitesimally ¡small ¡ interval ¡dx,

✺ For a < b

¡

p(x)dx = P(X ∈ [x, x + dx])

b

a

p(x)dx = P(X ∈ [a, b])

P(X = x)

Properties ¡of ¡the ¡probability ¡density ¡ function ¡ ¡

✺ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡resembles ¡the ¡probability ¡func-on ¡

• f ¡discrete ¡random ¡variables ¡in ¡that ¡

✺ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡for ¡all ¡x ✺ The ¡probability ¡of ¡X ¡taking ¡all ¡possible ¡

values ¡is ¡1. ¡

¡

p(x) p(x) ≥ 0

∞

−∞

p(x)dx = 1

Properties ¡of ¡ ¡the ¡probability ¡density ¡ function ¡ ¡

✺ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡differs ¡from ¡the ¡probability ¡

distribu-on ¡func-on ¡for ¡a ¡discrete ¡ random ¡variable ¡in ¡that ¡

✺ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡not ¡the ¡probability ¡that ¡X ¡= ¡x ¡ ¡ ✺ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡can ¡exceed ¡1 ¡

¡ ¡

p(x) p(x) p(x)

Expectation ¡of ¡continuous ¡ variables ¡

✺ Expected ¡value ¡of ¡a ¡con-nuous ¡random ¡

variable ¡X

✺ Expected ¡value ¡of ¡func-on ¡of ¡con-nuous ¡

random ¡variable ¡ ¡

E[X] = ∞

−∞

xp(x)dx E[Y ] = E[f(X)] = ∞

−∞

f(x)p(x)dx

Y = f(X)

x ¡

weight ¡

Properties ¡of ¡expectation ¡of ¡ continuous ¡random ¡variables ¡

✺ The ¡linearity ¡of ¡expected ¡value ¡is ¡true ¡for ¡

con-nuous ¡random ¡variables.

✺ And ¡the ¡other ¡proper-es ¡that ¡we ¡derived ¡

for ¡variance ¡and ¡covariance ¡also ¡hold ¡for ¡ con-nuous ¡random ¡variable ¡ ¡

Continuous ¡Uniform ¡Distribution ¡

Continuous ¡uniform ¡distribution ¡

✺ A ¡con-nuous ¡random ¡variable ¡X ¡is ¡

uniform ¡if ¡ ¡

X

b ¡ 0 ¡ a ¡ 1 ¡ 1 b − a

p(x)

Continuous ¡uniform ¡distribution ¡

✺ A ¡con-nuous ¡random ¡variable ¡X ¡is ¡

uniform ¡if ¡ ¡

p(x) =

• 1

b−a

for x ∈ [a, b]

• therwise

E[X] = a + b 2 & var[X] = (b − a)2 12

X

b ¡ 0 ¡ a ¡ 1 ¡

p(x)

1 b − a

Continuous ¡uniform ¡distribution ¡

✺ A ¡con-nuous ¡random ¡variable ¡X ¡is ¡

uniform ¡if ¡ ¡

✺ Examples: ¡1) ¡A ¡dart’s ¡posi-on ¡thrown ¡on ¡the ¡

target ¡

p(x) =

• 1

b−a

for x ∈ [a, b]

• therwise

E[X] = a + b 2 & var[X] = (b − a)2 12

X

b ¡ 0 ¡ a ¡ 1 ¡

p(x)

1 b − a

Continuous ¡uniform ¡distribution ¡

✺ A ¡con-nuous ¡random ¡variable ¡X ¡is ¡

uniform ¡if ¡ ¡

✺ Examples: ¡1) ¡A ¡dart’s ¡posi-on ¡thrown ¡on ¡the ¡

target ¡2) ¡Oken ¡associated ¡with ¡random ¡sampling ¡

p(x) =

• 1

b−a

for x ∈ [a, b]

• therwise

E[X] = a + b 2 & var[X] = (b − a)2 12

X

b ¡ 0 ¡ a ¡ 1 ¡

p(x)

1 b − a

Cumulative ¡distribution ¡of ¡ continuous ¡uniform ¡distribution ¡

✺ Cumula-ve ¡distribu-on ¡func-on ¡(CDF) ¡ ¡

¡ ¡of ¡a ¡uniform ¡random ¡variable ¡X is: ¡ ¡ ¡ X

b ¡ 0 ¡ a ¡ 1 ¡

p(x)

1 b − a

X

b ¡ 0 ¡ a ¡

CDF ¡ P(X ≤ x) = x

−∞

p(x)dx

1 ¡

Exponential ¡Distribution ¡

Exponential ¡distribution ¡

✺ Common ¡

Model ¡for ¡ wai-ng ¡-me ¡

✺ Associated ¡

with ¡the ¡ Poisson ¡ distribu-on ¡ with ¡the ¡ same ¡λ ¡ ¡

p(x) = λe−λx for x ≥ 0

Credit: ¡wikipedia ¡

Exponential ¡distribution ¡

✺ A ¡con-nuous ¡random ¡variable ¡X ¡is ¡exponen-al ¡

if ¡it ¡represent ¡the ¡“-me” ¡un-l ¡next ¡incident ¡in ¡ a ¡Poisson ¡distribu-on ¡with ¡intensity ¡λ. ¡Proof ¡ See ¡Morris ¡et ¡al ¡Pg ¡324. ¡

✺ It’s ¡similar ¡to ¡Geometric ¡distribuHon ¡– ¡the ¡

discrete ¡version ¡of ¡wai-ng ¡in ¡queue ¡

✺ Both ¡are ¡memory-­‑less. ¡See ¡Morris ¡et ¡al ¡Pg ¡322 ¡

¡ ¡

p(x) = λe−λx for x ≥ 0

Exponential ¡distribution ¡

✺ A ¡con-nuous ¡random ¡variable ¡X ¡is ¡exponen-al ¡

if ¡it ¡represent ¡the ¡“-me” ¡un-l ¡next ¡incident ¡in ¡ a ¡Poisson ¡distribu-on ¡with ¡intensity ¡λ. ¡Proof ¡ See ¡Morris ¡et ¡al ¡Pg ¡324. ¡

✺ It’s ¡similar ¡to ¡Geometric ¡distribuHon ¡– ¡the ¡

discrete ¡version ¡of ¡wai-ng ¡in ¡queue ¡ ¡

p(x) = λe−λx for x ≥ 0

Expectations ¡of ¡Exponential ¡distribution ¡

✺ A ¡con-nuous ¡random ¡variable ¡X ¡is ¡exponen-al ¡

if ¡it ¡represent ¡the ¡“-me” ¡un-l ¡next ¡incident ¡in ¡ a ¡Poisson ¡distribu-on ¡with ¡intensity ¡λ. ¡ ¡

p(x) = λe−λx for x ≥ 0

E[X] = 1 λ & var[X] = 1 λ2

x ¡

Example ¡of ¡exponential ¡distribution ¡

✺ How ¡long ¡will ¡it ¡take ¡un-l ¡the ¡next ¡call ¡to ¡be ¡

received ¡by ¡a ¡call ¡center? ¡Suppose ¡it’s ¡a ¡ random ¡variable ¡T. ¡If ¡the ¡number ¡of ¡incoming ¡ call ¡is ¡a ¡Poisson ¡distribu-on ¡with ¡intensity ¡λ ¡= ¡ 20 ¡in ¡an ¡hour. ¡What ¡is ¡the ¡expected ¡-me ¡for ¡ T? ¡

Example ¡of ¡exponential ¡distribution ¡

✺ How ¡long ¡will ¡it ¡take ¡un-l ¡the ¡next ¡call ¡to ¡be ¡

received ¡by ¡a ¡call ¡center? ¡Suppose ¡it’s ¡a ¡ random ¡variable ¡T. ¡If ¡the ¡number ¡of ¡incoming ¡ call ¡is ¡a ¡Poisson ¡distribu-on ¡with ¡intensity ¡λ ¡= ¡ 20 ¡in ¡an ¡hour. ¡What ¡is ¡the ¡expected ¡-me ¡for ¡ T? ¡

E[T] = 1 λ = 1 20

Q: ¡

✺ A ¡store ¡has ¡a ¡number ¡of ¡customers ¡coming ¡on ¡

• Sat. ¡that ¡can ¡be ¡modeled ¡as ¡a ¡Poisson ¡

distribu-on. ¡In ¡order ¡to ¡measure ¡the ¡average ¡ rate ¡of ¡customers ¡in ¡the ¡day, ¡the ¡staff ¡ recorded ¡the ¡-me ¡between ¡the ¡arrival ¡of ¡ customers, ¡can ¡he ¡reach ¡the ¡same ¡goal? ¡ ¡A. ¡ ¡Yes ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡B. ¡No ¡

Q: ¡

✺ A ¡store ¡has ¡a ¡number ¡of ¡customers ¡coming ¡on ¡

• Sat. ¡that ¡can ¡be ¡modeled ¡as ¡a ¡Poisson ¡

distribu-on. ¡In ¡order ¡to ¡measure ¡the ¡average ¡ rate ¡of ¡customers ¡in ¡the ¡day, ¡the ¡staff ¡ recorded ¡the ¡-me ¡between ¡the ¡arrival ¡of ¡ customers, ¡can ¡he ¡reach ¡the ¡same ¡goal? ¡ ¡A. ¡ ¡Yes ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡B. ¡No ¡

x ¡

Normal ¡Distribution ¡

Normal ¡(Gaussian) ¡distribution ¡

✺ The ¡most ¡famous ¡con-nuous ¡random ¡variable ¡

distribu-on. ¡The ¡probability ¡density ¡is ¡this: ¡ ¡ ¡ ¡ ¡

Carl ¡F. ¡Gauss ¡ (1777-­‑1855) ¡ Credit: ¡wikipedia ¡

p(x) = 1 σ √ 2π exp(−(x − µ)2 2σ2 )

E[X] = µ & var[X] = σ2

Normal ¡(Gaussian) ¡distribution ¡

✺ The ¡most ¡famous ¡con-nuous ¡random ¡variable ¡

distribu-on. ¡ ¡ ¡ ¡ ¡ p(x) = 1 σ √ 2π exp(−(x − µ)2 2σ2 )

E[X] = µ & var[X] = σ2

? ¡

Carl ¡F. ¡Gauss ¡ (1777-­‑1855) ¡ Credit: ¡wikipedia ¡

Normal ¡(Gaussian) ¡distribution ¡

✺ The ¡most ¡famous ¡con-nuous ¡random ¡variable ¡

distribu-on. ¡ ¡ ¡ ¡ ¡ p(x) = 1 σ √ 2π exp(−(x − µ)2 2σ2 )

E[X] = µ & var[X] = σ2

? ¡ +∞

−∞

p(x)dx = 1

Carl ¡F. ¡Gauss ¡ (1777-­‑1855) ¡ Credit: ¡wikipedia ¡

Normal ¡(Gaussian) ¡distribution ¡

✺ A ¡lot ¡of ¡data ¡in ¡nature ¡are ¡approximately ¡

normally ¡distributed, ¡ie. ¡Adult ¡height, ¡etc. ¡ ¡ p(x) = 1 σ √ 2π exp(−(x − µ)2 2σ2 )

E[X] = µ & var[X] = σ2

Carl ¡F. ¡Gauss ¡ (1777-­‑1855) ¡ Credit: ¡wikipedia ¡

Spread ¡of ¡normal ¡(Gaussian) ¡distributed ¡ data ¡

Credit: ¡ ¡ wikipedia ¡

99.7% ¡ 95% ¡ 68% ¡

Standard ¡normal ¡distribution ¡

✺ If ¡we ¡standardize ¡the ¡normal ¡distribu-on ¡(by ¡

subtrac-ng ¡μ ¡and ¡dividing ¡by ¡σ), ¡we ¡get ¡a ¡ random ¡variable ¡that ¡has ¡standard ¡normal ¡ distribu-on. ¡ ¡

✺ A ¡con-nuous ¡random ¡variable ¡X ¡is ¡standard ¡

normal ¡if ¡ ¡ ¡ ¡ ¡

p(x) = 1 √ 2π exp(−x2 2 )

Derivation ¡of ¡standard ¡normal ¡distribution ¡

p(x) = 1 √ 2π exp(−x2 2 )

+∞

−∞

p(x) dx = +∞

−∞

1 σ √ 2π exp(−(x − µ)2 2σ2 ) dx = +∞

−∞

1 σ √ 2π exp(− ˆ x2 2 )σ dˆ x = +∞

−∞

1 √ 2π exp(− ˆ x2 2 ) dˆ x = +∞

−∞

p(ˆ x) dx

Call ¡this ¡standard ¡and ¡omit ¡ using ¡a ¡hat ¡ ˆ x = x − µ σ

• Q. ¡What ¡is ¡the ¡mean ¡of ¡standard ¡normal? ¡
• A. ¡0 ¡
• B. ¡1 ¡

¡

• Q. ¡What ¡is ¡the ¡mean ¡of ¡standard ¡normal? ¡
• A. ¡0 ¡
• B. ¡1 ¡

¡

• Q. ¡What ¡is ¡the ¡standard ¡deviation ¡of ¡

standard ¡normal? ¡

• A. ¡0 ¡
• B. ¡1 ¡

¡

• Q. ¡What ¡is ¡the ¡standard ¡deviation ¡of ¡

standard ¡normal? ¡

• A. ¡0 ¡
• B. ¡1 ¡

¡

Standard ¡normal ¡distribution ¡

✺ If ¡we ¡standardize ¡the ¡normal ¡distribu-on ¡(by ¡

subtrac-ng ¡μ ¡and ¡dividing ¡by ¡σ), ¡we ¡get ¡a ¡ random ¡variable ¡that ¡has ¡standard ¡normal ¡ distribu-on. ¡ ¡

✺ A ¡con-nuous ¡random ¡variable ¡X ¡is ¡standard ¡

normal ¡if ¡ ¡ ¡ ¡ ¡

p(x) = 1 √ 2π exp(−x2 2 )

E[X] = 0 & var[X] = 1

Another ¡way ¡to ¡check ¡the ¡spread ¡of ¡ normal ¡distributed ¡data ¡

✺ Frac-on ¡of ¡normal ¡data ¡within ¡1 ¡standard ¡

devia-on ¡from ¡the ¡mean. ¡ ¡

✺ Frac-on ¡of ¡normal ¡data ¡within ¡k ¡standard ¡

devia-ons ¡from ¡the ¡mean. ¡

1 √ 2π 1

−1

exp(−x2 2 )dx ≃ 0.68

1 √ 2π k

−k

exp(−x2 2 )dx

Using ¡the ¡standard ¡normal’s ¡table ¡to ¡calculate ¡for ¡ a ¡normal ¡distribution’s ¡probability ¡

✺ If ¡X ¡~ ¡N ¡(μ=3, ¡σ2 ¡=16) ¡(normal ¡distribu-on) ¡

¡

P(X ≤ 4) = P(X − 3 4 ≤ 4 − 3 4 ) = CDF(0.25)

• Q. ¡Is ¡the ¡table ¡with ¡only ¡positive ¡x ¡

values ¡enough? ¡

• A. Yes ¡ ¡ ¡ ¡ ¡ ¡ ¡B. ¡ ¡No. ¡

• Q. ¡Is ¡the ¡table ¡with ¡only ¡positive ¡x ¡

values ¡enough? ¡

• A. Yes ¡ ¡ ¡ ¡ ¡ ¡ ¡B. ¡ ¡No. ¡

x ¡

Central ¡limit ¡theorem ¡(CLT) ¡

✺ The ¡distribu-on ¡of ¡the ¡sum ¡of ¡N ¡independent ¡

iden-cal ¡(IID) ¡random ¡variables ¡tends ¡toward ¡a ¡ normal ¡distribu-on ¡as ¡N ¡ ¡ ¡

✺ Even ¡when ¡the ¡component ¡random ¡variables ¡

are ¡not ¡exactly ¡IID, ¡the ¡result ¡is ¡approximately ¡ true ¡and ¡very ¡useful ¡in ¡prac-ce ¡

∞

Central ¡limit ¡theorem ¡(CLT) ¡

✺ CLT ¡helps ¡explain ¡the ¡prevalence ¡of ¡normal ¡

distribu-ons ¡in ¡nature ¡

✺ A ¡binomial ¡random ¡variable ¡tends ¡toward ¡a ¡

normal ¡distribu-on ¡when ¡N ¡is ¡large ¡due ¡to ¡the ¡ fact ¡it ¡is ¡the ¡sum ¡of ¡IID ¡Bernoulli ¡random ¡ variables ¡

Binomial ¡approximation ¡with ¡Normal ¡

• ● ● ●
• ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●

10 20 30 40 0.00 0.05 0.10 0.15 0.20

Binomial

k probability

• ● ● ● ● ● ● ● ●
• ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ● ●
• ● ● ● ● ● ● ● ● ● ● ● ●
• ● ● ● ● ● ● ● ● ● ● ● ●

n=20,p=0.5 n=20,p=0.7 n=40,p=0.5

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

Binomial ¡distribu-on ¡

μ ¡= ¡20, ¡ ¡ ¡σ2 ¡= ¡10 ¡ n= ¡40, ¡p=0.5 ¡

• ● ● ● ● ● ● ● ● ● ● ● ●
• ● ● ● ● ● ● ● ● ● ● ● ●

10 20 30 40 0.00 0.05 0.10 0.15 0.20

Normal

k probability

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

Approxima-on ¡with ¡Normal ¡

Binomial ¡approximation ¡with ¡Normal ¡

E[k] = np = 40 · 0.5 = 20 P(10 ≤ k ≤ 25) =

25

• k=10

40 k

• 0.5k0.540−k

=

25

• k=10

40 k

• 0.540 ≃ 0.96

std[k] =

• np(1 − p)

= √ 40 · 0.5 · 0.5 = √ 10 ✺ Let ¡k ¡be ¡the ¡number ¡of ¡heads ¡appeared ¡in ¡40 ¡

tosses ¡of ¡fair ¡coin ¡

✺ Goal ¡is ¡to ¡es-mate ¡the ¡following ¡with ¡normal ¡

Binomial ¡approximation ¡with ¡Normal ¡

P(10 ≤ k ≤ 25) ≃ 1 σ √ 2π 25

10

exp(−(x − µ)2 2σ2 )dx = 1 √ 2π

• 25−20

3.16 10−20 3.16

exp(−x2 2 )dx ≃ 0.94

✺ Use ¡the ¡same ¡mean ¡and ¡standard ¡devia-on ¡of ¡

the ¡original ¡binomial ¡distribu-on. ¡

✺ Then ¡standardize ¡the ¡normal ¡

σ = √ 10 ≃ 3.16 µ = 20

Assignments ¡

✺ Finish ¡Chapter ¡5 ¡of ¡the ¡textbook ¡ ✺ Next ¡-me: ¡ ¡Sta-s-cal ¡Inference, ¡

popula-on, ¡sample ¡and ¡confidence ¡ interval ¡

¡

Additional ¡References ¡

✺ Peter ¡Dalgaard ¡"Introductory ¡Sta-s-cs" ¡

with ¡R ¡

✺ Charles ¡M. ¡Grinstead ¡and ¡J. ¡Laurie ¡Snell ¡

"Introduc-on ¡to ¡Probability” ¡ ¡

✺ Morris ¡H. ¡Degroot ¡and ¡Mark ¡J. ¡Schervish ¡

"Probability ¡and ¡Sta-s-cs” ¡

Acknowledgement ¡

Thank You!