Game Theory -- Lecture 3 Patrick Loiseau - - PowerPoint PPT Presentation

Game ¡Theory ¡

• ­‑-­‑ ¡

Lecture ¡3 ¡ ¡ ¡

Patrick ¡Loiseau ¡ EURECOM ¡ Fall ¡2013 ¡

1 ¡

Lecture ¡2 ¡recap ¡

• Proved ¡existence ¡of ¡pure ¡strategy ¡Nash ¡equilibrium ¡in ¡

games ¡with ¡compact ¡convex ¡acKon ¡sets ¡and ¡ conKnuous ¡concave ¡uKliKes ¡

• Defined ¡mixed ¡strategy ¡Nash ¡equilibrium ¡
• Proved ¡existence ¡of ¡mixed ¡strategy ¡Nash ¡equilibrium ¡in ¡

finite ¡games ¡

• Discussed ¡computaKon ¡and ¡interpretaKon ¡ ¡of ¡mixed ¡

strategies ¡Nash ¡equilibrium ¡ à Nash ¡equilibrium ¡is ¡not ¡the ¡only ¡soluKon ¡concept ¡ à Today: ¡introduce ¡other ¡soluKon ¡concepts ¡

2 ¡

Outline ¡

• Stability ¡of ¡equilibrium ¡

– Trembling-­‑hand ¡perfect ¡equilibrium ¡

• EvoluKonary ¡stable ¡strategies ¡
• Correlated ¡equilibrium ¡
• Minimax ¡theorem ¡and ¡zero-­‑sum ¡games ¡
• ε-­‑Nash ¡equilibrium ¡

3 ¡

Outline ¡

• Stability ¡of ¡equilibrium ¡

– Trembling-­‑hand ¡perfect ¡equilibrium ¡

• EvoluKonary ¡stable ¡strategies ¡
• Correlated ¡equilibrium ¡
• Minimax ¡theorem ¡and ¡zero-­‑sum ¡games ¡
• ε-­‑Nash ¡equilibrium ¡

4 ¡

The ¡LocaKon ¡Model ¡

• Assume ¡we ¡have ¡2N ¡players ¡in ¡this ¡game ¡(e.g., ¡N=70) ¡

– Players ¡have ¡two ¡types: ¡tall ¡and ¡short ¡ – There ¡are ¡N ¡tall ¡players ¡and ¡N ¡short ¡players ¡

• Players ¡are ¡people ¡who ¡need ¡to ¡decide ¡in ¡which ¡town ¡to ¡live ¡
• There ¡are ¡two ¡towns: ¡East ¡town ¡and ¡West ¡town ¡

– Each ¡town ¡can ¡host ¡no ¡more ¡than ¡N ¡players ¡ ¡

• Assume: ¡ ¡

– If ¡the ¡number ¡of ¡people ¡choosing ¡a ¡parKcular ¡town ¡is ¡larger ¡than ¡ the ¡town ¡capacity, ¡the ¡surplus ¡will ¡be ¡redistributed ¡randomly ¡

• Game: ¡ ¡

– Players: ¡2N ¡people ¡ – Strategies: ¡East ¡or ¡West ¡town ¡ – Payoffs ¡ ¡

5 ¡

The ¡LocaKon ¡Model: ¡payoffs ¡

0 ¡ 1 ¡ 1/2 ¡ 70 ¡ 35 ¡ # ¡of ¡your ¡type ¡ ¡ in ¡your ¡town ¡ UKlity ¡for ¡player ¡i ¡

• The ¡idea ¡is: ¡

– If ¡you ¡are ¡a ¡small ¡ minority ¡in ¡your ¡town ¡ you ¡get ¡a ¡payoff ¡of ¡zero ¡ – If ¡you ¡are ¡in ¡large ¡ majority ¡in ¡your ¡town ¡ you ¡get ¡a ¡payoff ¡of ¡½ ¡ ¡ – If ¡you ¡are ¡well ¡ integrated ¡you ¡get ¡a ¡ payoff ¡of ¡1 ¡

• People ¡would ¡like ¡to ¡live ¡

in ¡mixed ¡towns, ¡but ¡if ¡ they ¡cannot, ¡then ¡they ¡ prefer ¡to ¡live ¡in ¡the ¡ majority ¡town ¡

6 ¡

IniKal ¡state ¡

• Assume ¡the ¡iniKal ¡

picture ¡is ¡this ¡one ¡

• What ¡will ¡players ¡do? ¡

7 ¡

Tall ¡player ¡ Short ¡player ¡ West ¡Town ¡ East ¡Town ¡

First ¡iteraKon ¡

• For ¡tall ¡players ¡
• There’s ¡a ¡minority ¡of ¡

east ¡town ¡“giants” ¡to ¡ begin ¡with ¡ à ¡switch ¡to ¡West ¡town ¡

• For ¡short ¡players ¡
• There’s ¡a ¡minority ¡of ¡

west ¡town ¡“dwarfs” ¡to ¡ begin ¡with ¡ à switch ¡to ¡East ¡town ¡

8 ¡

Tall ¡player ¡ Short ¡player ¡ West ¡Town ¡ East ¡Town ¡

Second ¡iteraKon ¡

• Same ¡trend ¡
• SKll ¡a ¡few ¡players ¡who ¡

did ¡not ¡understand ¡ – What ¡is ¡their ¡payoff? ¡

9 ¡

Tall ¡player ¡ Short ¡player ¡ West ¡Town ¡ East ¡Town ¡

Last ¡iteraKon ¡

• People ¡got ¡segregated ¡
• But ¡they ¡would ¡have ¡

preferred ¡integrated ¡ towns! ¡ – Why? ¡What ¡happened? ¡ – People ¡that ¡started ¡in ¡a ¡ minority ¡(even ¡though ¡ not ¡a ¡“bad” ¡minority) ¡ had ¡incenKves ¡to ¡deviate ¡

10 ¡

Tall ¡player ¡ Short ¡player ¡ West ¡Town ¡ East ¡Town ¡

The ¡LocaKon ¡Model: ¡Nash ¡equilibria ¡

• Two ¡segregated ¡NE: ¡ ¡

– Short, ¡E ¡; ¡Tall, ¡W ¡ – Short, ¡W; ¡Tall, ¡E ¡

• Is ¡there ¡any ¡other ¡NE? ¡

11 ¡

Stability ¡of ¡equilibria ¡

• The ¡integrated ¡equilibrium ¡is ¡not ¡stable ¡

– If ¡we ¡move ¡away ¡from ¡the ¡50% ¡raKo, ¡even ¡a ¡limle ¡bit, ¡players ¡have ¡an ¡ incenKve ¡to ¡deviate ¡even ¡more ¡ – We ¡end ¡up ¡in ¡one ¡of ¡the ¡segregated ¡equilibrium ¡

• The ¡segregated ¡equilibria ¡are ¡stable ¡

– Introduce ¡a ¡small ¡perturbaKon: ¡players ¡come ¡back ¡to ¡segregaKon ¡ quickly ¡

• NoKon ¡of ¡stability ¡in ¡Physics: ¡if ¡you ¡introduce ¡a ¡small ¡perturbaKon, ¡

you ¡come ¡back ¡to ¡the ¡iniKal ¡state ¡

• Tipping ¡point: ¡ ¡

– Introduced ¡by ¡Grodzins ¡(White ¡flights ¡in ¡America) ¡ – Extended ¡by ¡Shelling ¡(Nobel ¡prize ¡in ¡2005) ¡

12 ¡

Trembling-­‑hand ¡perfect ¡equilibrium ¡

• Fully-­‑mixed ¡strategy: ¡posiKve ¡probability ¡on ¡each ¡

acKon ¡ ¡

• Informally: ¡a ¡player’s ¡acKon ¡si ¡must ¡be ¡BR ¡not ¡
• nly ¡to ¡opponents ¡equilibrium ¡strategies ¡s-­‑i ¡but ¡

also ¡to ¡small ¡perturbaKons ¡of ¡those ¡s(k)

• ­‑i. ¡

13 ¡

DefiniKon: ¡Trembling-­‑hand ¡perfect ¡equilibrium ¡ A ¡(mixed) ¡strategy ¡profile ¡s ¡is ¡a ¡trembling-­‑hand ¡ perfect ¡equilibrium ¡if ¡there ¡exists ¡a ¡sequence ¡ s(0), ¡s(1), ¡… ¡of ¡fully ¡mixed ¡strategy ¡profiles ¡that ¡ converges ¡towards ¡s ¡and ¡such ¡that ¡for ¡all ¡k ¡and ¡ all ¡player ¡i, ¡si ¡is ¡a ¡best ¡response ¡to ¡s(k)

• ­‑i. ¡ ¡

The ¡LocaKon ¡Model ¡

• The ¡segregated ¡equilibria ¡are ¡trembling-­‑hand ¡

perfect ¡

• The ¡integrated ¡equilibrium ¡is ¡not ¡trembling-­‑

hand ¡perfect ¡

14 ¡

Outline ¡

• Stability ¡of ¡equilibrium ¡

– Trembling-­‑hand ¡perfect ¡equilibrium ¡

• EvoluKonary ¡stable ¡strategies ¡
• Correlated ¡equilibrium ¡
• Minimax ¡theorem ¡and ¡zero-­‑sum ¡games ¡
• ε-­‑Nash ¡equilibrium ¡

15 ¡

EvoluKonary ¡game ¡theory ¡

• Game ¡theory ¡ßà ¡evoluKonary ¡biology ¡
• Idea: ¡

– Relate ¡strategies ¡to ¡phenotypes ¡of ¡genes ¡ – Relate ¡payoffs ¡to ¡gene3c ¡fitness ¡ – Strategies ¡that ¡do ¡well ¡“grow”, ¡those ¡that ¡obtain ¡ lower ¡payoffs ¡“die ¡out” ¡

• Important ¡note: ¡

– Strategies ¡are ¡hardwired, ¡they ¡are ¡not ¡chosen ¡by ¡ players ¡

• AssumpKons: ¡ ¡

– Within ¡species ¡compeKKon: ¡no ¡mixture ¡of ¡populaKon ¡

16 ¡

Examples ¡

• Using ¡game ¡theory ¡to ¡understand ¡populaKon ¡dynamics ¡

– EvoluKon ¡of ¡species ¡ – Groups ¡of ¡lions ¡deciding ¡whether ¡to ¡amack ¡in ¡group ¡an ¡antelope ¡ – Ants ¡deciding ¡to ¡respond ¡to ¡an ¡amack ¡of ¡a ¡spider ¡ – TCP ¡variants, ¡P2P ¡applicaKons ¡

• Using ¡evoluKon ¡to ¡interpret ¡economic ¡acKons ¡

– Firms ¡in ¡a ¡compeKKve ¡market ¡ – Firms ¡are ¡bounded, ¡they ¡can’t ¡compute ¡the ¡best ¡response, ¡but ¡ have ¡rules ¡of ¡thumbs ¡and ¡adopt ¡hardwired ¡(consistent) ¡ strategies ¡ – Survival ¡of ¡the ¡fimest ¡== ¡rise ¡of ¡firms ¡with ¡low ¡costs ¡and ¡high ¡ profits ¡ ¡

17 ¡

A ¡simple ¡model ¡

• Assume ¡simple ¡game: ¡two-­‑player ¡symmetric ¡
• Assume ¡random ¡tournaments ¡

– Large ¡populaKon ¡of ¡individuals ¡with ¡hardwired ¡strategies, ¡ pick ¡two ¡individuals ¡at ¡random ¡and ¡make ¡them ¡play ¡the ¡ symmetric ¡game ¡ – The ¡player ¡adopKng ¡the ¡strategy ¡yielding ¡higher ¡payoff ¡will ¡ survive ¡(and ¡eventually ¡gain ¡new ¡elements) ¡whereas ¡the ¡ player ¡who ¡“lost” ¡the ¡game ¡will ¡“die ¡out” ¡

• Start ¡with ¡enKre ¡populaKon ¡playing ¡strategy ¡s ¡
• Then ¡introduce ¡a ¡muta0on: ¡a ¡small ¡group ¡of ¡

individuals ¡start ¡playing ¡strategy ¡s’ ¡

• QuesKon: ¡will ¡the ¡mutants ¡survive ¡and ¡grow ¡or ¡die ¡
• ut? ¡

18 ¡

A ¡simple ¡example ¡(1) ¡

• Have ¡you ¡already ¡seen ¡this ¡game? ¡
• Examples: ¡

– Lions ¡hunKng ¡in ¡a ¡cooperaKve ¡group ¡ – Ants ¡defending ¡the ¡nest ¡in ¡a ¡cooperaKve ¡group ¡

• QuesKon: ¡is ¡coopera0on ¡evolu0onary ¡stable? ¡

2,2 ¡ 0,3 ¡ 3,0 ¡ 1,1 ¡

C ¡ D ¡ Cooperate ¡ Defect ¡ ε ¡ 1-­‑ ¡ε ¡ Player ¡1 ¡ Player ¡2 ¡

19 ¡

A ¡simple ¡example ¡(2) ¡

Player ¡strategy ¡ hardwired ¡è ¡C ¡

“Spa0al ¡Game” ¡

All ¡players ¡are ¡cooperaKve ¡ and ¡get ¡a ¡payoff ¡of ¡2 ¡ ¡ ¡ What ¡happens ¡with ¡a ¡ mutaKon? ¡

20 ¡

A ¡simple ¡example ¡(3) ¡

Player ¡strategy ¡ hardwired ¡è ¡C ¡ Focus ¡your ¡amenKon ¡on ¡this ¡ random ¡“tournament”: ¡ ¡

• ¡CooperaKng ¡player ¡will ¡obtain ¡

a ¡payoff ¡of ¡0 ¡

• ¡DefecKng ¡player ¡will ¡obtain ¡a ¡

payoff ¡of ¡3 ¡ ¡ Survival ¡of ¡the ¡fimest: ¡ D ¡wins ¡over ¡C ¡ Player ¡strategy ¡ hardwired ¡è ¡D ¡

21 ¡

A ¡simple ¡example ¡(4) ¡

Player ¡strategy ¡ hardwired ¡è ¡C ¡ Player ¡strategy ¡ hardwired ¡è ¡D ¡

22 ¡

A ¡simple ¡example ¡(5) ¡

Player ¡strategy ¡ hardwired ¡è ¡C ¡ Player ¡strategy ¡ hardwired ¡è ¡D ¡

23 ¡

A ¡simple ¡example ¡(6) ¡

Player ¡strategy ¡ hardwired ¡è ¡C ¡ Player ¡strategy ¡ hardwired ¡è ¡D ¡

A ¡small ¡iniKal ¡mutaKon ¡is ¡ rapidly ¡expanding ¡ instead ¡of ¡dying ¡out ¡ ¡ Eventually, ¡C ¡will ¡die ¡out ¡ ¡ à ¡Conclusion: ¡C ¡is ¡not ¡ES ¡ Remark: ¡we ¡have ¡assumed ¡asexual ¡reproducKon ¡and ¡no ¡gene ¡ redistribuKon ¡

24 ¡

ESS ¡DefiniKon ¡1 ¡[Maynard ¡Smith ¡1972] ¡

25 ¡

DefiniKon ¡1: ¡Evolu?onary ¡stable ¡strategy ¡ In ¡a ¡symmetric ¡2-­‑player ¡game, ¡the ¡pure ¡strategy ¡ŝ ¡is ¡ ES ¡(in ¡pure ¡strategies) ¡if ¡there ¡exists ¡ε0 ¡> ¡0 ¡such ¡ that: ¡

¡ ¡ ¡ ¡

for ¡all ¡possible ¡deviaKons ¡s’ ¡and ¡for ¡all ¡mutaKon ¡ sizes ¡ε ¡< ¡ε0. ¡

[ ] [ ] [ ] [ ]

) , ( ) ˆ , ( ) 1 ( ) , ˆ ( ) ˆ , ˆ ( ) 1 ( s s u s s u s s u s s u ʹ″ ʹ″ + ʹ″ − > ʹ″ + − ε ε ε ε

Payoff ¡to ¡ES ¡ŝ ¡ Payoff ¡to ¡mutant ¡s’ ¡

ES ¡strategies ¡in ¡the ¡simple ¡example ¡

• Is ¡cooperaKon ¡ES? ¡

C ¡vs. ¡[(1-­‑ε)C ¡+ ¡εD] ¡à ¡(1-­‑ε)2 ¡+ ¡ε0 ¡= ¡2(1-­‑ε) ¡ D ¡vs. ¡[(1-­‑ε)C ¡+ ¡εD] ¡à ¡(1-­‑ε)3 ¡+ ¡ε1 ¡= ¡3(1-­‑ε)+ ¡ε ¡ 3(1-­‑ε)+ ¡ε ¡> ¡2(1-­‑ε) ¡ ¡ è C ¡is ¡not ¡ES ¡because ¡the ¡average ¡payoff ¡to ¡C ¡is ¡lower ¡than ¡ the ¡average ¡payoff ¡to ¡D ¡ èA ¡strictly ¡dominated ¡is ¡never ¡Evolu?onarily ¡Stable ¡

– The ¡strictly ¡dominant ¡strategy ¡will ¡be ¡a ¡successful ¡mutaKon ¡

2,2 ¡ 0,3 ¡ 3,0 ¡ 1,1 ¡

C ¡ D ¡ Cooperate ¡ Defect ¡ ε ¡ 1-­‑ ¡ε ¡ Player ¡1 ¡ Player ¡2 ¡ 1-­‑ ¡ε ¡ ε ¡ For ¡C ¡being ¡a ¡majority ¡ For ¡D ¡being ¡a ¡majority ¡

26 ¡

ES ¡strategies ¡in ¡the ¡simple ¡example ¡

• Is ¡defecKon ¡ES? ¡

D ¡vs. ¡[εC ¡+ ¡(1-­‑ε)D] ¡à ¡(1-­‑ε)1 ¡+ ¡ε3 ¡= ¡(1-­‑ε)+3ε ¡ C ¡vs. ¡[εC ¡+ ¡(1-­‑ε)D] ¡à ¡(1-­‑ε)0 ¡+ ¡ε2 ¡= ¡2ε ¡ (1-­‑ε)+3 ¡> ¡2 ¡ε ¡ ¡ è ¡D ¡is ¡ES: ¡any ¡mutaKon ¡from ¡D ¡gets ¡wiped ¡out! ¡

2,2 ¡ 0,3 ¡ 3,0 ¡ 1,1 ¡

C ¡ D ¡ Cooperate ¡ Defect ¡ ε ¡ 1-­‑ ¡ε ¡ Player ¡1 ¡ Player ¡2 ¡ 1-­‑ ¡ε ¡ ε ¡ For ¡C ¡being ¡a ¡majority ¡ For ¡D ¡being ¡a ¡majority ¡

27 ¡

Another ¡example ¡(1) ¡

• 2-­‑players ¡symmetric ¡game ¡with ¡3 ¡strategies ¡
• Is ¡“c” ¡ES?

¡c ¡vs. ¡[(1-­‑ε)c ¡+ ¡εb] ¡à ¡(1-­‑ε) ¡0 ¡+ ¡ε ¡1 ¡= ¡ε ¡ ¡ ¡ ¡ ¡ ¡b ¡vs. ¡[(1-­‑ε)c ¡+ ¡εb] ¡à ¡(1-­‑ε) ¡1 ¡+ ¡ε ¡0 ¡= ¡1-­‑ ¡ε ¡> ¡ε ¡ ¡ ¡ è “c” ¡is ¡not ¡evoluKonary ¡stable, ¡as ¡“b” ¡can ¡invade ¡it ¡

• Note: ¡“b”, ¡the ¡invader, ¡is ¡itself ¡not ¡ES! ¡

– It ¡is ¡not ¡necessarily ¡true ¡that ¡an ¡invading ¡strategy ¡must ¡itself ¡be ¡ES ¡ – But ¡it ¡sKll ¡avoids ¡dying ¡out ¡completely ¡(grows ¡to ¡50% ¡here) ¡

2,2 ¡ 0,0 ¡ 0,0 ¡ 0,0 ¡ 0,0 ¡ 1,1 ¡ 0,0 ¡ 1,1 ¡ 0,0 ¡

a ¡ b ¡ c ¡ a ¡ b ¡ c ¡

28 ¡

Another ¡example ¡(3) ¡

• Is ¡(c,c) ¡a ¡NE? ¡

2,2 ¡ 0,0 ¡ 0,0 ¡ 0,0 ¡ 0,0 ¡ 1,1 ¡ 0,0 ¡ 1,1 ¡ 0,0 ¡

a ¡ b ¡ c ¡ a ¡ b ¡ c ¡

29 ¡

ObservaKon ¡

• If ¡s ¡is ¡not ¡Nash ¡(that ¡is ¡ ¡(s,s) ¡ ¡is ¡not ¡a ¡NE), ¡then ¡

s ¡is ¡not ¡evolu?onary ¡stable ¡(ES) ¡ Equivalently: ¡ ¡

• If ¡s ¡is ¡ES, ¡then ¡(s,s) ¡is ¡a ¡NE ¡

¡

• QuesKon: ¡is ¡the ¡opposite ¡true? ¡That ¡is: ¡

– If ¡(s,s) ¡is ¡a ¡NE, ¡then ¡s ¡is ¡ES ¡

30 ¡

Yet ¡another ¡example ¡(1) ¡

• NE ¡of ¡this ¡game: ¡(a,a) ¡and ¡(b,b) ¡
• Is ¡b ¡ES?

¡ ¡b ¡à ¡0 ¡ ¡ ¡ ¡ ¡ ¡ ¡a ¡à ¡(1-­‑ε) ¡0 ¡+ ¡ε ¡1 ¡= ¡ε ¡> ¡0 ¡ ¡ ¡è ¡(b,b) ¡is ¡a ¡NE, ¡but ¡it ¡is ¡not ¡ES! ¡

• This ¡relates ¡to ¡the ¡idea ¡of ¡a ¡weak ¡NE ¡

è ¡ ¡ ¡If ¡(s,s) ¡is ¡a ¡strict ¡NE ¡then ¡s ¡is ¡ES ¡ ¡

1,1 ¡ 0,0 ¡ 0,0 ¡ 0,0 ¡

a ¡ b ¡ a ¡ b ¡ ε ¡ 1-­‑ ¡ε ¡ Player ¡1 ¡ Player ¡2 ¡

31 ¡

Strict ¡Nash ¡equilibrium ¡

• Weak ¡NE: ¡the ¡inequality ¡is ¡an ¡equality ¡for ¡at ¡

least ¡one ¡alternaKve ¡strategy ¡

• Strict ¡NE ¡is ¡sufficient ¡but ¡not ¡necessary ¡for ¡ES ¡

32 ¡

DefiniKon: ¡Strict ¡Nash ¡equilibrium ¡ A ¡strategy ¡profile ¡(s1*, ¡s2*,…, ¡sN*) ¡is ¡a ¡strict ¡Nash ¡ Equilibrium ¡if, ¡for ¡each ¡player ¡i, ¡ ¡ ui(si*, ¡s-­‑i*) ¡> ¡ui(si, ¡s-­‑i*) ¡for ¡all ¡si ¡≠ ¡si

* ¡ ¡

ESS ¡DefiniKon ¡2 ¡

33 ¡

DefiniKon ¡2: ¡Evolu?onary ¡stable ¡strategy ¡ In ¡a ¡symmetric ¡2-­‑player ¡game, ¡the ¡pure ¡strategy ¡ŝ ¡is ¡ ES ¡(in ¡pure ¡strategies) ¡if: ¡ ¡ A) ¡ ¡ AND ¡ ¡ B) ¡ ¡ s s s u s s u s s ʹ″ ∀ ʹ″ ≥ ) ˆ , ( ) ˆ , ˆ ( m Equilibriu Nash symmetric a is ) ˆ , ˆ ( ) , ( ) , ˆ ( then ) ˆ , ( ) ˆ , ˆ ( if s s u s s u s s u s s u ʹ″ ʹ″ > ʹ″ ʹ″ =

Link ¡between ¡definiKons ¡1 ¡and ¡2 ¡

• Proof ¡sketch: ¡

34 ¡

Theorem ¡ DefiniKon ¡1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡DefiniKon ¡2 ¡

⇔

Recap: ¡checking ¡for ¡ES ¡strategies ¡

• We ¡have ¡seen ¡a ¡definiKon ¡that ¡connects ¡

EvoluKonary ¡Stability ¡to ¡Nash ¡Equilibrium ¡

• By ¡def ¡2, ¡to ¡check ¡that ¡ŝ ¡is ¡ES, ¡we ¡need ¡to ¡do: ¡

– First ¡check ¡if ¡(ŝ,ŝ) ¡is ¡a ¡symmetric ¡Nash ¡Equilibrium ¡ – If ¡it ¡is ¡a ¡strict ¡NE, ¡we’re ¡done ¡ – Otherwise, ¡we ¡need ¡to ¡compare ¡how ¡ŝ ¡performs ¡ against ¡a ¡mutaKon, ¡and ¡how ¡a ¡mutaKon ¡performs ¡ against ¡a ¡mutaKon ¡ – If ¡ŝ ¡performs ¡bemer, ¡then ¡we’re ¡done ¡

35 ¡

Example: ¡Is ¡“a” ¡evoluKonary ¡stable? ¡ ¡

• Is ¡(a, ¡a) ¡a ¡NE? ¡Is ¡it ¡strict? ¡
• Is ¡“a” ¡evoluKonary ¡stable? ¡ ¡

1,1 ¡ 1,1 ¡ 1,1 ¡ 0,0 ¡

a ¡ b ¡ a ¡ b ¡ ε ¡ 1-­‑ ¡ε ¡ Player ¡1 ¡ Player ¡2 ¡

36 ¡

EvoluKon ¡of ¡social ¡convenKon ¡

• EvoluKon ¡is ¡o|en ¡applied ¡to ¡social ¡sciences ¡
• Let’s ¡have ¡a ¡look ¡at ¡how ¡driving ¡to ¡the ¡le| ¡or ¡right ¡

hand ¡side ¡of ¡the ¡road ¡might ¡evolve ¡

• What ¡are ¡the ¡NE? ¡are ¡they ¡strict? ¡What ¡are ¡the ¡ESS? ¡
• Conclusion: ¡we ¡can ¡have ¡several ¡ESS ¡

– They ¡need ¡not ¡be ¡equally ¡good ¡

2,2 ¡ 0,0 ¡ 0,0 ¡ 1,1 ¡

L ¡ R ¡ L ¡ R ¡

37 ¡

The ¡game ¡of ¡Chicken ¡

• This ¡is ¡a ¡symmetric ¡coordina?on ¡game ¡
• Biology ¡interpretaKon: ¡

– “a” ¡: ¡individuals ¡that ¡are ¡aggressive ¡ – “b” ¡: ¡individuals ¡that ¡are ¡non-­‑aggressive ¡

• What ¡are ¡the ¡pure ¡strategy ¡NE? ¡

– They ¡are ¡not ¡symmetric ¡à ¡no ¡candidate ¡for ¡ESS ¡ 0,0 ¡ 2,1 ¡ 1,2 ¡ 0,0 ¡

a ¡ b ¡ a ¡ b ¡

38 ¡

The ¡game ¡of ¡Chicken: ¡mixed ¡strategy ¡ NE ¡

• What’s ¡the ¡mixed ¡strategy ¡NE ¡of ¡this ¡game? ¡

– Mixed ¡strategy ¡NE ¡= ¡[ ¡(2/3, ¡1/3) ¡, ¡(1/3 ¡, ¡2/3) ¡] ¡ è ¡This ¡is ¡a ¡symmetric ¡Nash ¡Equilibrium ¡

è InterpretaKon: ¡there ¡is ¡an ¡equilibrium ¡in ¡which ¡2/3 ¡of ¡ the ¡genes ¡are ¡aggressive ¡and ¡1/3 ¡are ¡non-­‑aggressive ¡

• Is ¡it ¡a ¡strict ¡Nash ¡equilibrium? ¡
• Is ¡it ¡an ¡ESS? ¡

0,0 ¡ 2,1 ¡ 1,2 ¡ 0,0 ¡

a ¡ b ¡ a ¡ b ¡

39 ¡

Remark ¡

• A ¡mixed-­‑strategy ¡Nash ¡equilibrium ¡(with ¡a ¡

support ¡of ¡at ¡least ¡2 ¡acKons ¡for ¡one ¡of ¡the ¡ players) ¡can ¡never ¡be ¡a ¡strict ¡Nash ¡equilibrium ¡

• The ¡definiKon ¡of ¡ESS ¡is ¡the ¡same! ¡ ¡ ¡

40 ¡

ESS ¡DefiniKon ¡2bis ¡

41 ¡

DefiniKon ¡2: ¡Evolu?onary ¡stable ¡strategy ¡ In ¡a ¡symmetric ¡2-­‑player ¡game, ¡the ¡mixed ¡strategy ¡ŝ ¡ is ¡ES ¡(in ¡mixed ¡strategies) ¡if: ¡ ¡ A) ¡ ¡ AND ¡ ¡ B) ¡ ¡ s s s u s s u s s ʹ″ ∀ ʹ″ ≥ ) ˆ , ( ) ˆ , ˆ ( m Equilibriu Nash symmetric a is ) ˆ , ˆ ( ) , ( ) , ˆ ( then ) ˆ , ( ) ˆ , ˆ ( if s s u s s u s s u s s u ʹ″ ʹ″ > ʹ″ ʹ″ =

The ¡game ¡of ¡Chicken: ¡ESS ¡

• Mixed ¡strategy ¡NE ¡= ¡[ ¡(2/3, ¡1/3) ¡, ¡(1/3 ¡, ¡2/3) ¡]. ¡ ¡
• Is ¡it ¡an ¡ESS? ¡we ¡need ¡to ¡check ¡for ¡all ¡possible ¡mixed ¡

mutaKons ¡s’: ¡

• Yes, ¡it ¡is ¡(do ¡it ¡at ¡home!) ¡
• In ¡many ¡cases ¡that ¡arise ¡in ¡nature, ¡the ¡only ¡equilibrium ¡is ¡a ¡

mixed ¡equilibrium ¡

– It ¡could ¡mean ¡that ¡the ¡gene ¡itself ¡is ¡randomizing, ¡which ¡is ¡ plausible ¡ – It ¡could ¡be ¡that ¡there ¡are ¡actually ¡two ¡types ¡surviving ¡in ¡the ¡ populaKon ¡(cf. ¡our ¡interpretaKon ¡of ¡mixed ¡strategies) ¡

0,0 ¡ 2,1 ¡ 1,2 ¡ 0,0 ¡

a ¡ b ¡ a ¡ b ¡

u(ˆ s, ! s ) > u( ! s, ! s ) ∀ ! s ≠ ˆ s

42 ¡

Hawks ¡and ¡doves ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Dove ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Hawk ¡

43 ¡

The ¡Hawks ¡and ¡Dove ¡game ¡(1) ¡

• More ¡general ¡game ¡of ¡aggression ¡vs. ¡non-­‑aggression ¡

– The ¡prize ¡is ¡food, ¡and ¡its ¡value ¡is ¡v ¡> ¡0 ¡ – There’s ¡a ¡cost ¡for ¡fighKng, ¡which ¡is ¡c ¡> ¡0 ¡

• Note: ¡we’re ¡sKll ¡in ¡the ¡context ¡of ¡within ¡spices ¡compe00on ¡

– So ¡it’s ¡not ¡a ¡bamle ¡against ¡two ¡different ¡animals, ¡hawks ¡and ¡ doves, ¡we ¡talk ¡about ¡strategies ¡

• “Act ¡dovish ¡vs. ¡act ¡hawkish” ¡
• What ¡are ¡the ¡ESS? ¡How ¡do ¡they ¡change ¡with ¡c, ¡v? ¡

(v-­‑c)/2, ¡(v-­‑c)/2 ¡ v,0 ¡ 0, ¡v ¡ v/2, ¡v/2 ¡

H ¡ D ¡ H ¡ D ¡

44 ¡

The ¡Hawks ¡and ¡Dove ¡game ¡(2) ¡

• Can ¡we ¡have ¡a ¡ES ¡populaKon ¡of ¡doves? ¡
• Is ¡(D,D) ¡a ¡NE? ¡

– No, ¡hence ¡“D” ¡is ¡not ¡ESS ¡ – Indeed, ¡a ¡mutaKon ¡of ¡hawks ¡against ¡doves ¡would ¡ be ¡profitable ¡in ¡that ¡it ¡would ¡obtain ¡a ¡payoff ¡of ¡v ¡ (v-­‑c)/2, ¡(v-­‑c)/2 ¡ v,0 ¡ 0, ¡v ¡ v/2, ¡v/2 ¡

H ¡ D ¡ H ¡ D ¡

45 ¡

The ¡Hawks ¡and ¡Dove ¡game ¡(3) ¡

• Can ¡we ¡have ¡a ¡ES ¡populaKon ¡of ¡Hawks? ¡
• Is ¡(H,H) ¡a ¡NE? ¡It ¡depends: ¡it ¡is ¡a ¡symmetric ¡NE ¡if ¡(v-­‑c)/2 ¡≥ ¡0 ¡
• Case ¡1: ¡v>c ¡è ¡(H,H) ¡is ¡a ¡strict ¡NE ¡è ¡“H” ¡is ¡ESS ¡
• Case ¡2: ¡v=c ¡è ¡(v-­‑c)/2 ¡= ¡0 ¡è ¡u(H,H) ¡= ¡u(D,H) ¡-­‑-­‑ ¡(H, ¡H) ¡is ¡a ¡weak ¡NE ¡

– Is ¡u(H,D) ¡= ¡v ¡larger ¡than ¡u(D,D) ¡= ¡v/2? ¡Yes ¡è ¡“H” ¡is ¡ESS ¡

¡ è H ¡is ¡ESS ¡if ¡v ¡≥ ¡c ¡

• If ¡the ¡prize ¡is ¡high ¡and ¡the ¡cost ¡for ¡fighKng ¡is ¡low, ¡then ¡you’ll ¡see ¡

fights ¡arising ¡in ¡nature ¡

(v-­‑c)/2, ¡(v-­‑c)/2 ¡ v,0 ¡ 0, ¡v ¡ v/2, ¡v/2 ¡

H ¡ D ¡ H ¡ D ¡

46 ¡

The ¡Hawks ¡and ¡Dove ¡game ¡(4) ¡

• What ¡if ¡c ¡> ¡v? ¡

– “H” ¡is ¡not ¡ESS ¡and ¡“D” ¡is ¡not ¡ESS ¡(they ¡are ¡not ¡NE) ¡

• Step ¡1: ¡find ¡a ¡mixed ¡NE ¡

¡

• Step ¡2: ¡verify ¡the ¡ESS ¡condiKon ¡

(v-­‑c)/2, ¡(v-­‑c)/2 ¡ v,0 ¡ 0, ¡v ¡ v/2, ¡v/2 ¡

H ¡ D ¡ H ¡ D ¡

ˆ s 1− ˆ s

47 ¡

The ¡Hawks ¡and ¡Dove ¡game: ¡results ¡

• In ¡case ¡v ¡< ¡c ¡we ¡have ¡an ¡evoluKonarily ¡stable ¡

state ¡in ¡which ¡we ¡have ¡v/c ¡hawks ¡

• 1. As ¡v ¡↗ ¡we ¡will ¡have ¡more ¡hawks ¡in ¡ESS ¡
• 2. As ¡c ¡↗ ¡we ¡will ¡have ¡more ¡doves ¡in ¡ESS ¡
• By ¡measuring ¡the ¡proporKon ¡of ¡H ¡and ¡D, ¡we ¡

can ¡get ¡the ¡value ¡of ¡v/c ¡ ¡

• Payoff: ¡ ¡

E u(D, ˆ s)

[ ] = E u(H, ˆ

s)

[ ] = 0 v

c + 1− v c " # $ % & ' v 2

48 ¡

One ¡last ¡example ¡(1) ¡

• Assume ¡1<v<2 ¡

– ~ ¡Rock, ¡paper, ¡scissors ¡

• Only ¡NE: ¡ŝ ¡= ¡(1/3,1/3,1/3) ¡– ¡mixed, ¡not ¡strict ¡
• Is ¡it ¡an ¡ESS? ¡

– Suppose ¡s’=R ¡ – u(ŝ, ¡R) ¡= ¡(1+v)/3 ¡< ¡1 ¡ – u(R, ¡R) ¡= ¡1 ¡

• Conclusion: ¡Not ¡all ¡games ¡have ¡an ¡ESS! ¡

1,1 ¡ v,0 ¡ 0,v ¡ 0,v ¡ 1,1 ¡ v,0 ¡ v,0 ¡ 0,v ¡ 1,1 ¡

R ¡ P ¡ S ¡ R ¡ P ¡ S ¡

49 ¡

Outline ¡

• Stability ¡of ¡equilibrium ¡

– Trembling-­‑hand ¡perfect ¡equilibrium ¡

• EvoluKonary ¡stable ¡strategies ¡
• Correlated ¡equilibrium ¡
• Minimax ¡theorem ¡and ¡zero-­‑sum ¡games ¡
• ε-­‑Nash ¡equilibrium ¡

50 ¡

Example: ¡bamle ¡of ¡the ¡sexes ¡

• NE: ¡(O, ¡O), ¡(S, ¡S) ¡and ¡((1/3, ¡2/3), ¡(2/3, ¡1/3)) ¡

– The ¡mixed ¡equilibrium ¡has ¡payoff ¡2/3 ¡each ¡

• Suppose ¡the ¡players ¡can ¡observe ¡the ¡outcome ¡of ¡a ¡fair ¡

toss ¡coin ¡and ¡condiKon ¡their ¡strategies ¡on ¡this ¡

• utcome ¡

– New ¡strategies ¡possible: ¡O ¡if ¡head, ¡S ¡if ¡tails ¡ – Payoff ¡1.5 ¡each ¡

• The ¡fair ¡coin ¡acts ¡as ¡a ¡correlaKng ¡device ¡

2,1 ¡ 0,0 ¡ 0,0 ¡ 1,2 ¡

Opera ¡ Soccer ¡ Opera ¡ Player ¡1 ¡ Player ¡2 ¡ Soccer ¡

51 ¡

Correlated ¡equilibrium: ¡general ¡case ¡

• In ¡the ¡previous ¡example: ¡both ¡players ¡observe ¡the ¡

exact ¡same ¡signal ¡(outcome ¡of ¡the ¡coin ¡toss ¡random ¡ variable) ¡

• General ¡case: ¡each ¡player ¡receives ¡a ¡signal ¡which ¡can ¡

be ¡correlated ¡to ¡the ¡random ¡variable ¡(coin ¡toss) ¡and ¡to ¡ the ¡other ¡players ¡signal ¡

• Model: ¡ ¡

– n ¡random ¡variables ¡(one ¡per ¡player) ¡ – A ¡joint ¡distribuKon ¡over ¡the ¡n ¡RVs ¡ – Nature ¡chooses ¡according ¡to ¡the ¡joint ¡distribuKon ¡and ¡ reveals ¡to ¡each ¡player ¡only ¡his ¡RV ¡ ¡ à ¡Agent ¡can ¡condiKon ¡his ¡acKon ¡to ¡his ¡RV ¡(his ¡signal) ¡

52 ¡

Correlated ¡equilibrium: ¡definiKon ¡

53 ¡

DefiniKon: ¡Correlated ¡equilibrium ¡ A ¡correlated ¡equilibrium ¡of ¡the ¡game ¡(N, ¡(Ai), ¡(ui)) ¡is ¡ a ¡tuple ¡(v, ¡π, ¡σ) ¡where ¡

• v=(v1, ¡…, ¡vn) ¡is ¡a ¡tuple ¡of ¡random ¡variables ¡with ¡

domains ¡(D1, ¡…, ¡Dn) ¡

• π ¡is ¡a ¡joint ¡distribuKon ¡over ¡v ¡
• σ=(σ1, ¡…, ¡σn) ¡is ¡a ¡vector ¡of ¡mappings ¡σi: ¡DiàAi ¡ ¡

such ¡that ¡for ¡all ¡i ¡and ¡any ¡mapping ¡σi’: ¡DiàAi, ¡ ¡ ¡

π(d)u(σ1(d1),,σ n(dn)) ≥

d∈D1××Dn

∑

π(d)u( % σ1(d1),, % σ n(dn))

d∈D1××Dn

∑

Correlated ¡vs ¡Nash ¡equilibrium ¡

54 ¡

Theorem: ¡ For ¡every ¡Nash ¡equilibrium ¡σ*, ¡there ¡exists ¡a ¡ correlated ¡equilibrium ¡(v, ¡π, ¡σ) ¡such ¡that ¡for ¡each ¡ player ¡i, ¡the ¡distribuKon ¡induced ¡on ¡Ai ¡is ¡σi. ¡

• The ¡set ¡of ¡correlated ¡equilibria ¡contains ¡the ¡

set ¡of ¡Nash ¡equilibria ¡

• Proof: ¡construct ¡it ¡with ¡Di=Ai, ¡independent ¡

signals ¡(π(d)=σ*

1(d1)x…xσ* n(dn)) ¡and ¡idenKty ¡

mappings ¡σi ¡

Correlated ¡vs ¡Nash ¡equilibrium ¡(2) ¡

55 ¡

• Not ¡all ¡correlated ¡equilibria ¡correspond ¡to ¡a ¡

Nash ¡equilibrium ¡

• Example, ¡the ¡correlated ¡equilibrium ¡in ¡the ¡

bamle-­‑of-­‑sex ¡game ¡ à ¡Correlated ¡equilibrium ¡is ¡a ¡strictly ¡weaker ¡ noKon ¡than ¡NE ¡

Outline ¡

• Stability ¡of ¡equilibrium ¡

– Trembling-­‑hand ¡perfect ¡equilibrium ¡

• EvoluKonary ¡stable ¡strategies ¡
• Correlated ¡equilibrium ¡
• Minimax ¡theorem ¡and ¡zero-­‑sum ¡games ¡
• ε-­‑Nash ¡equilibrium ¡

56 ¡

Maxmin ¡strategy ¡

• Maximize ¡“worst-­‑case ¡payoff” ¡
• Example ¡

– Amacker: ¡Not ¡amack ¡ – Defender: ¡Defend ¡ ¡

• This ¡is ¡not ¡a ¡Nash ¡equilibrium! ¡

57 ¡

• ­‑2,1 ¡

2,-­‑2 ¡ 0,-­‑1 ¡ 0,0 ¡

Amack ¡ Not ¡am ¡ Defend ¡ aJacker ¡ defender ¡ Not ¡def ¡

DefiniKon: ¡Maxmin ¡strategy ¡ The ¡maxmin ¡strategy ¡for ¡player ¡i ¡is ¡

¡

argmax

si

min

s−i ui(si,s−i)

Maxmin ¡strategy: ¡intuiKon ¡

• Player ¡i ¡commits ¡to ¡strategy ¡si ¡(possibly ¡mixed) ¡
• Player ¡–i ¡observe ¡si ¡and ¡choose ¡s-­‑i ¡to ¡minimize ¡

i’s ¡payoff ¡

• Player ¡i ¡guarantees ¡payoff ¡at ¡least ¡equal ¡to ¡the ¡

maxmin ¡value ¡ ¡

58 ¡

max

si

min

s−i ui(si,s−i)

Two ¡players ¡zero-­‑sum ¡games ¡

• DefiniKon: ¡a ¡2-­‑players ¡zero-­‑sum ¡game ¡is ¡a ¡game ¡

where ¡u1(s)=-­‑u2(s) ¡for ¡all ¡strategy ¡profile ¡s ¡

– Sum ¡of ¡payoffs ¡constant ¡equal ¡to ¡0 ¡

• Example: ¡Matching ¡pennies ¡
• Define ¡u(s)=u1(s) ¡

– Player ¡1: ¡maximizer ¡ – Player ¡2: ¡minimizer ¡

59 ¡

heads ¡ tails ¡ heads ¡ tails ¡ 1 ¡, ¡-­‑1 ¡

• ­‑1, ¡1 ¡

1, ¡-­‑1 ¡

• ­‑1, ¡1 ¡

Player ¡1 ¡ Player ¡2 ¡

Minimax ¡theorem ¡

¡

• This ¡quanKty ¡is ¡called ¡the ¡value ¡of ¡the ¡game ¡ ¡

– corresponds ¡to ¡the ¡payoff ¡of ¡player ¡1 ¡at ¡NE ¡

• Maxmin ¡strategies ¡ó ¡NE ¡strategies ¡
• Can ¡be ¡computed ¡in ¡polynomial ¡Kme ¡(through ¡

linear ¡programming) ¡ ¡

60 ¡

Theorem: ¡Minimax ¡theorem ¡(Von ¡Neumann ¡1928) ¡ For ¡any ¡two-­‑player ¡zero-­‑sum ¡game ¡with ¡finite ¡acKon ¡ space: ¡

¡

max

s1 min s2 u(s1,s2) = min s2 max s1 u(s1,s2)

Outline ¡

• Stability ¡of ¡equilibrium ¡

– Trembling-­‑hand ¡perfect ¡equilibrium ¡

• EvoluKonary ¡stable ¡strategies ¡
• Correlated ¡equilibrium ¡
• Minimax ¡theorem ¡and ¡zero-­‑sum ¡games ¡
• ε-­‑Nash ¡equilibrium ¡

61 ¡

ε-­‑Nash ¡equilibrium ¡

• It ¡is ¡an ¡approximate ¡Nash ¡equilibrium ¡

– Agents ¡indifferent ¡to ¡small ¡gains ¡(could ¡not ¡gain ¡ more ¡than ¡ε ¡by ¡unilateral ¡deviaKon) ¡

• A ¡Nash ¡equilibrium ¡is ¡an ¡ε-­‑Nash ¡equilibrium ¡

for ¡all ¡ε! ¡

62 ¡

DefiniKon: ¡ε-­‑Nash ¡equilibrium ¡ For ¡ε>0, ¡a ¡strategy ¡profile ¡(s1*, ¡s2*,…, ¡sN*) ¡is ¡an ¡ε-­‑ Nash ¡equilibrium ¡if, ¡for ¡each ¡player ¡i, ¡ ¡ ui(si*, ¡s-­‑i*) ¡≥ ¡ui(si, ¡s-­‑i*) ¡-­‑ ¡ε ¡for ¡all ¡si ¡≠ ¡si

* ¡ ¡