❴ ❪ ❪ ❪ ✦ ❪ ➼ ➅ ✦ ❪ ❪ ❪ ❪ ❴ ❵ ❫ ❡ ❪ ❵ ❴ ❫ ❪ ❑ ❴ ❑ ❵ ❵ ❪ ❪ ❪ ➴ ❪ ❫ ❫ ❴ ❡ ➌ ❪ ❪ ❡ ❵ ❴ ❫ ❪ ❫ ❵ ➌ ❪ ❺ ❪ ❪ ❪ ❪ ❴ ❵ ❫ ❡ ❵ ❪ ❴ ❫ ❪ ❑ ❑ ❑ ✦ �✂✁☎✄✝✆✟✞✂✠☛✡✌☞✎✍✑✏✓✒✔✞✂✕✖✞✂✡✘✗✚✙✛✞✢✜✣✏✓✡✤✠☛✡✌✥ ✍✣✡❻✗✳✏✳✍✑❼❲✙✛✞✢✜✣✏❽✡✌✠✴✡❾✥ ✮✣▲◆▼✓❅❇❃❆✬❊★❀✵✩❖P★✫✪❨✵❂▼✳❃P▼✓◗❲✲❇▲❿❁❙✰✳▲❚▲❯❅✴★✷✪◆❁❄✲✴❃P▲◆▼✓❅❀❋❽★✭❉ ◗✳❉❆❋ ✧✩★✫✪✭✬✯✮✣✰✓✪✭✱✳✲✴★✫✵✷✶✹✸✻✺ ✼✾✽✿★❀✵❂❁❄❃❆❅❇★✫❅❈✶✹✸❊❉❆✶✭❋✔✶✹✸❊❉❍●✿❋■✶✫✸❊❉ ❏✭✺ ✧☎▲◆➀❽▲◆✲☎❖P★✫✪✭✵❂▼✳❃P▼✳◗❲✲✴▲❲✬❊▲✿❁✎➁❲▲◆▼➂➀✓✪✭✲✴✲✴★✫✵❇➃➄❁❙✰✓✪✭✵❇◗◆★❀✵ ✮✣▲◆▼✿✲✴✵❂▲✭❖✔❖P★✫✪✭✵❇▼✓❃P▼✳◗ ★✫✪✭✵❇▼✳❃❆▼✳◗➆✲❇▲❿❁❙✰✳▲❚▲❯❅❇★❈✪◆❁❄✲✴❃❆▲✭▼❽❅✩✲❇▲➆▲◆✱✳✲✴❃❆❱❿❃P➇❀★❈➈✉✪✭❁❄✲❇▲✭✵❂➃ ❑❻➅ ▲✭➉✓✲✴✱✓➉✳✲ ✮✣▲◆▼✿✲✴✵❂▲✭❖✔✱❘▲✭❖❆❃❆❁❄❃❆★✫❅✌✲✴✰✓✪✭✲☎❁❙✰✳▲❚▲❯❅✴★❈▲◆✱✳✲❇❃P❱❲✪✭❖✢✪◆❁❄✲✴❃P▲◆▼✓❅ ❖P★✫✪❨✵❂▼✳❃P▼✓◗ ★✫✪✭✵❇▼✳❃❆▼✳◗➆✲❇▲➆✱✓❖❆✪✹➃➋➊❻✪◆❁✎➁❯◗◆✪✭❱❲❱❿▲◆▼ ❑✩❳ ❑❻➅ ✮✣▲◆▼✿❩✭★❀✵❂◗◆★❀▼✓❁❄★ ▲✭✲❇★✷❅✴★❀❩◆★❀✵❂✪✭❖■✱✳✵❂▲◆➀✳❖P★❀❱➍❁❙✰✓✪✭✵❙✪✭❁❄✲❇★❀✵❇❃❆❅❇✲✴❃❆❁❀❅❀➎ ★✫❖❆✪✹➃◆★✫✬➄✵❇★❀➐✘✪✭✵❙✬ ❑❻➏ ✱✳✱❘▲✭✵❂✲✴➉✳▼✓❃P✲➒➃➓➈⑥▲◆✵✩✪◆❁❄✲✴❃❆❩✭★✷★❄✽✿✱✓❖P▲✭✵❙✪❨✲❇❃P▲◆▼ ❑❾➑ ▲❯❅❇❅❇❃P➀✳❃P❖P❃❆✲➒➃➂✲✴✰❽✪❨✲☎❅❇✲❇✪✭✲✴★✷▲◆▼✳❖P➃➋✱❽✪❨✵❂✲✴❃❆✪✭❖P❖P➃➂▲◆➀✓❅❇★❀✵❇❩❨✪❨➀✓❖P★ ❑❻➔ ▲❯❅❇❅❇❃P➀✳❖P★✷▼✓★❀★✫✬➋✲✴▲❲❖P★✫✪✭✵❇▼➂❱➆➉✳❖P✲❇❃P✱✳❖P★✷✲❇✪◆❅❂➁❯❅✩➐❻❃P✲❇✰→❅❇✪✭❱❲★ ❑❻➔ ❅✴★❀▼❽❅✴▲◆✵❂❅✎➣✻★❄↔❘★✫❁❄✲❇▲✭✵❙❅ ❬P❭P❭ ❛❝❜ ❫❄❞ ❢❝❫ ❞✴❣ ❤❆❜☛❵ ✐❝❵ ❥❝❤❝❤❆❦✹❧❨♠P♥ ♦❆♣ qsr✎t✉r ♠P✈ qs♣ q❆✇P①❆②❂③s④❨❡ ⑤❆❫ ①⑥④❨❴❍⑦✎❜ ⑧❍⑨✳⑩❇❡ ①❷❶❍❸P❸P❹ ❬P❭P↕ ❛❝❜ ❫❄❞ ❢❝❫ ❞✴❣ ❤❆❜☛❵ ✐❝❵ ❥❝❤❝❤❆❦✹❧❨♠P♥ ♦❆♣ qsr✎t✉r ♠P✈ qs♣ q❆✇P①❆②❂③s④❨❡ ⑤❆❫ ①⑥④❨❴❍⑦✎❜ ⑧❍⑨✳⑩❇❡ ①❷❶❍❸P❸P❹ ➙→➛➝➜✝➞✷➟✾➠✔➡➤➢➦➥✉➜✔➧✛➨➓➩➭➫❀➯✯➠✔➡➲➡➤➳■➛ ➜✿➷➬➛➦➮☛➳➸➱✻✃✿➜❊➡➲➜❊➛✔❐➄❒❾➜✳➠❽➱✭➛➝➷➬➛➝❮Ï❰Ð➱❨➳➸Ñ➶➥✉➜❊➡ ➵✂★✫❅❇✪✭➉✳✵❂▲✳❋➸✶✹➺◆➺◆➻✻✺ ★✫✪✭✵❇▼➄✲❇▲❿✱✓❖❆✪✹➃➓➊❻✪◆❁✎➁❯◗◆✪✭❱❲❱❿▲◆▼ Agent ❱❲❱❿★✫✬✳❃❆✪✭✲✴★✤✵❇★❀➐✘✪✭✵❂✬ ✶✫➾◆➾➆❃➚➈➝➐❻❃P▼ ❑❾➽ State Reward Action ✶✫➾◆➾✛❃➚➈➶❖P▲❯❅✴★ ❑✘➪ ➾✛➈➹▲✭✵✩✪❨❖P❖✢▲◆✲❇✰✳★❀✵✩❅❇✲❇✪✭✲✴★✫❅ Environment ➵✢✵❙✪❨❃❆▼✳★✫✬➄➀✿➃➓✱✳❖❆✪✻➃❚❃P▼✳◗➭✶✭❉➚➻✛❱❲❃P❖P❖P❃P▲◆▼→◗❯✪✭❱❿★✫❅❻✪✭◗❯✪❨❃❆▼✓❅✴✲✩❃P✲❇❅❇★❀❖➚➈ ▲✻➐✚✪✭✱✳✱✳✵❂▲✹✽✿❃P❱➓✪✭✲✴★❀❖P➃➋★✫➘❯➉✓✪✭❖■✲✴▲❲➀❘★✫❅✴✲❻✰✿➉✓❱❲✪✭▼➋✱✳❖❆✪✻➃◆★❀✵ a a a 0 1 2 s s s ... 0 1 2 r r r 0 1 2 Goal: Learn to choose actions that maximize 2 γ r + r + ... , where r + γ 0 < γ <1 0 1 2 ❬P❭P❹ ❛❝❜ ❫❄❞ ❢❝❫ ❞✴❣ ❤❆❜☛❵ ✐❝❵ ❥❝❤❝❤❆❦✹❧❨♠P♥ ♦❆♣ qsr✎t✉r ♠P✈ qs♣ q❆✇P①❆②❂③s④❨❡ ⑤❆❫ ①⑥④❨❴❍⑦✎❜ ⑧❍⑨✳⑩❇❡ ①❷❶❍❸P❸P❹ ❬P❭PÒ ❛❝❜ ❫❄❞ ❢❝❫ ❞✴❣ ❤❆❜☛❵ ✐❝❵ ❥❝❤❝❤❆❦✹❧❨♠P♥ ♦❆♣ qsr✎t✉r ♠P✈ qs♣ q❆✇P①❆②❂③s④❨❡ ⑤❆❫ ①⑥④❨❴❍⑦✎❜ ⑧❍⑨✳⑩❇❡ ①❷❶❍❸P❸P❹
Recommend
More recommend