SLIDE 1 ✂✁☎✄✝✆✟✞✂✠☛✡✌☞✎✍✑✏✓✒✔✞✂✕✖✞✂✡✘✗✚✙✛✞✢✜✣✏✓✡✤✠☛✡✌✥ ✦ ✧✩★✫✪✭✬✯✮✣✰✓✪✭✱✳✲✴★✫✵✷✶✹✸✻✺ ✦ ✼✾✽✿★❀✵❂❁❄❃❆❅❇★✫❅❈✶✹✸❊❉❆✶✭❋✔✶✹✸❊❉❍●✿❋■✶✫✸❊❉ ❏✭✺ ❑ ✮✣▲◆▼✿✲✴✵❂▲✭❖✔❖P★✫✪✭✵❇▼✓❃P▼✳◗ ❑ ✮✣▲◆▼✿✲✴✵❂▲✭❖✔✱❘▲✭❖❆❃❆❁❄❃❆★✫❅✌✲✴✰✓✪✭✲☎❁❙✰✳▲❚▲❯❅✴★❈▲◆✱✳✲❇❃P❱❲✪✭❖✢✪◆❁❄✲✴❃P▲◆▼✓❅ ❑✩❳ ❖P★✫✪❨✵❂▼✳❃P▼✓◗ ❑ ✮✣▲◆▼✿❩✭★❀✵❂◗◆★❀▼✓❁❄★ ❬P❭P❭ ❪ ❫ ❴ ❵ ❛❝❜ ❫❄❞ ❪ ❡ ❢❝❫ ❞✴❣ ❤❆❜☛❵ ❫ ✐❝❵ ❥❝❤❝❤❆❦✹❧❨♠P♥ ♦❆♣ qsr✎t✉r ♠P✈ qs♣ q❆✇P①❆②❂③s④❨❡ ❵ ❴ ⑤❆❫ ❪ ❪ ①⑥④❨❴❍⑦✎❜ ⑧❍⑨✳⑩❇❡ ❪ ❪ ①❷❶❍❸P❸P❹ ❺ ✍✣✡❻✗✳✏✳✍✑❼❲✙✛✞✢✜✣✏❽✡✌✠✴✡❾✥ ✮✣▲◆▼✓❅❇❃❆✬❊★❀✵✩❖P★✫✪❨✵❂▼✳❃P▼✓◗❲✲❇▲❿❁❙✰✳▲❚▲❯❅✴★✷✪◆❁❄✲✴❃P▲◆▼✓❅❀❋❽★✭❉ ◗✳❉❆❋ ❑ ✧☎▲◆➀❽▲◆✲☎❖P★✫✪✭✵❂▼✳❃P▼✳◗❲✲✴▲❲✬❊▲✿❁✎➁❲▲◆▼➂➀✓✪✭✲✴✲✴★✫✵❇➃➄❁❙✰✓✪✭✵❇◗◆★❀✵ ❑❻➅ ★✫✪✭✵❇▼✳❃❆▼✳◗➆✲❇▲❿❁❙✰✳▲❚▲❯❅❇★❈✪◆❁❄✲✴❃❆▲✭▼❽❅✩✲❇▲➆▲◆✱✳✲✴❃❆❱❿❃P➇❀★❈➈✉✪✭❁❄✲❇▲✭✵❂➃ ▲✭➉✓✲✴✱✓➉✳✲ ❑❻➅ ★✫✪✭✵❇▼✳❃❆▼✳◗➆✲❇▲➆✱✓❖❆✪✹➃➋➊❻✪◆❁✎➁❯◗◆✪✭❱❲❱❿▲◆▼ ➌ ▲✭✲❇★✷❅✴★❀❩◆★❀✵❂✪✭❖■✱✳✵❂▲◆➀✳❖P★❀❱➍❁❙✰✓✪✭✵❙✪✭❁❄✲❇★❀✵❇❃❆❅❇✲✴❃❆❁❀❅❀➎ ❑❻➏ ★✫❖❆✪✹➃◆★✫✬➄✵❇★❀➐✘✪✭✵❙✬ ❑❾➑ ✱✳✱❘▲✭✵❂✲✴➉✳▼✓❃P✲➒➃➓➈⑥▲◆✵✩✪◆❁❄✲✴❃❆❩✭★✷★❄✽✿✱✓❖P▲✭✵❙✪❨✲❇❃P▲◆▼ ❑❻➔ ▲❯❅❇❅❇❃P➀✳❃P❖P❃❆✲➒➃➂✲✴✰❽✪❨✲☎❅❇✲❇✪✭✲✴★✷▲◆▼✳❖P➃➋✱❽✪❨✵❂✲✴❃❆✪✭❖P❖P➃➂▲◆➀✓❅❇★❀✵❇❩❨✪❨➀✓❖P★ ❑❻➔ ▲❯❅❇❅❇❃P➀✳❖P★✷▼✓★❀★✫✬➋✲✴▲❲❖P★✫✪✭✵❇▼➂❱➆➉✳❖P✲❇❃P✱✳❖P★✷✲❇✪◆❅❂➁❯❅✩➐❻❃P✲❇✰→❅❇✪✭❱❲★ ❅✴★❀▼❽❅✴▲◆✵❂❅✎➣✻★❄↔❘★✫❁❄✲❇▲✭✵❙❅ ❬P❭P↕ ❪ ❫ ❴ ❵ ❛❝❜ ❫❄❞ ❪ ❡ ❢❝❫ ❞✴❣ ❤❆❜☛❵ ❫ ✐❝❵ ❥❝❤❝❤❆❦✹❧❨♠P♥ ♦❆♣ qsr✎t✉r ♠P✈ qs♣ q❆✇P①❆②❂③s④❨❡ ❵ ❴ ⑤❆❫ ❪ ❪ ①⑥④❨❴❍⑦✎❜ ⑧❍⑨✳⑩❇❡ ❪ ❪ ①❷❶❍❸P❸P❹ ➙→➛➝➜✝➞✷➟✾➠✔➡➤➢➦➥✉➜✔➧✛➨➓➩➭➫❀➯✯➠✔➡➲➡➤➳■➛ ✦ ➵✂★✫❅❇✪✭➉✳✵❂▲✳❋➸✶✹➺◆➺◆➻✻✺ ➅ ★✫✪✭✵❇▼➄✲❇▲❿✱✓❖❆✪✹➃➓➊❻✪◆❁✎➁❯◗◆✪✭❱❲❱❿▲◆▼ ➼ ❱❲❱❿★✫✬✳❃❆✪✭✲✴★✤✵❇★❀➐✘✪✭✵❂✬ ❑❾➽ ✶✫➾◆➾➆❃➚➈➝➐❻❃P▼ ❑✘➪ ✶✫➾◆➾✛❃➚➈➶❖P▲❯❅✴★ ❑ ➾✛➈➹▲✭✵✩✪❨❖P❖✢▲◆✲❇✰✳★❀✵✩❅❇✲❇✪✭✲✴★✫❅ ➵✢✵❙✪❨❃❆▼✳★✫✬➄➀✿➃➓✱✳❖❆✪✻➃❚❃P▼✳◗➭✶✭❉➚➻✛❱❲❃P❖P❖P❃P▲◆▼→◗❯✪✭❱❿★✫❅❻✪✭◗❯✪❨❃❆▼✓❅✴✲✩❃P✲❇❅❇★❀❖➚➈ ➌ ▲✻➐✚✪✭✱✳✱✳✵❂▲✹✽✿❃P❱➓✪✭✲✴★❀❖P➃➋★✫➘❯➉✓✪✭❖■✲✴▲❲➀❘★✫❅✴✲❻✰✿➉✓❱❲✪✭▼➋✱✳❖❆✪✻➃◆★❀✵ ❬P❭P❹ ❪ ❫ ❴ ❵ ❛❝❜ ❫❄❞ ❪ ❡ ❢❝❫ ❞✴❣ ❤❆❜☛❵ ❫ ✐❝❵ ❥❝❤❝❤❆❦✹❧❨♠P♥ ♦❆♣ qsr✎t✉r ♠P✈ qs♣ q❆✇P①❆②❂③s④❨❡ ❵ ❴ ⑤❆❫ ❪ ❪ ①⑥④❨❴❍⑦✎❜ ⑧❍⑨✳⑩❇❡ ❪ ❪ ①❷❶❍❸P❸P❹ ➴ ➜✿➷➬➛➦➮☛➳➸➱✻✃✿➜❊➡➲➜❊➛✔❐➄❒❾➜✳➠❽➱✭➛➝➷➬➛➝❮Ï❰Ð➱❨➳➸Ñ➶➥✉➜❊➡
Agent Environment
State Reward Action
r + γ γ r + r + ... , where γ <1 2 2 1 Goal: Learn to choose actions that maximize s 1 s 2 s a 1 a 2 a r 1 r 2 r ... <
❬P❭PÒ ❪ ❫ ❴ ❵ ❛❝❜ ❫❄❞ ❪ ❡ ❢❝❫ ❞✴❣ ❤❆❜☛❵ ❫ ✐❝❵ ❥❝❤❝❤❆❦✹❧❨♠P♥ ♦❆♣ qsr✎t✉r ♠P✈ qs♣ q❆✇P①❆②❂③s④❨❡ ❵ ❴ ⑤❆❫ ❪ ❪ ①⑥④❨❴❍⑦✎❜ ⑧❍⑨✳⑩❇❡ ❪ ❪ ①❷❶❍❸P❸P❹