Why probability in roboAcs? n OEen state of robot and state - PowerPoint PPT Presentation

Probability: ¡Review ¡ ¡ Pieter ¡Abbeel ¡ UC ¡Berkeley ¡EECS ¡ ¡ ¡ ¡ ¡ ¡ ¡ Many ¡slides ¡adapted ¡from ¡Thrun, ¡Burgard ¡and ¡Fox, ¡ProbabilisAc ¡RoboAcs ¡ ¡

Why ¡probability ¡in ¡roboAcs? ¡ n OEen ¡state ¡of ¡robot ¡and ¡state ¡of ¡its ¡environment ¡are ¡unknown ¡and ¡ only ¡noisy ¡sensors ¡available ¡ n Probability ¡provides ¡a ¡framework ¡to ¡fuse ¡sensory ¡informaAon ¡ à Result: ¡probability ¡distribuAon ¡over ¡possible ¡states ¡of ¡robot ¡and ¡environment ¡ n Dynamics ¡is ¡oEen ¡stochasAc, ¡hence ¡can’t ¡opAmize ¡for ¡a ¡parAcular ¡ outcome, ¡but ¡only ¡opAmize ¡to ¡obtain ¡a ¡good ¡distribuAon ¡over ¡ outcomes ¡ ¡ ¡ n Probability ¡provides ¡a ¡framework ¡to ¡reason ¡in ¡this ¡seLng ¡ à Ability ¡to ¡find ¡good ¡control ¡policies ¡for ¡stochasAc ¡dynamics ¡and ¡ environments ¡

Example ¡1: ¡Helicopter ¡ n State: ¡posiAon, ¡orientaAon, ¡velocity, ¡angular ¡rate ¡ n Sensors: ¡ ¡ n GPS ¡: ¡noisy ¡esAmate ¡of ¡posiAon ¡(someAmes ¡also ¡velocity) ¡ n InerAal ¡sensing ¡unit: ¡noisy ¡measurements ¡from ¡ ¡ 3-­‑axis ¡gyro ¡[=angular ¡rate ¡sensor], ¡ ¡ (i) (ii) 3-­‑axis ¡accelerometer ¡[=measures ¡acceleraAon ¡+ ¡gravity; ¡e.g., ¡measures ¡ (0,0,0) ¡in ¡free-­‑fall], ¡ (iii) 3-­‑axis ¡magnetometer ¡ n Dynamics: ¡ n Noise ¡from: ¡wind, ¡unmodeled ¡dynamics ¡in ¡engine, ¡servos, ¡blades ¡

Example ¡2: ¡Mobile ¡robot ¡inside ¡building ¡ n State: ¡posiAon ¡and ¡heading ¡ n Sensors: ¡ n Odometry ¡(=sensing ¡moAon ¡of ¡actuators): ¡e.g., ¡wheel ¡encoders ¡ ¡ n Laser ¡range ¡finder: ¡ ¡ n Measures ¡Ame ¡of ¡flight ¡of ¡a ¡laser ¡beam ¡between ¡departure ¡and ¡return ¡ ¡ n Return ¡is ¡typically ¡happening ¡when ¡hiLng ¡a ¡surface ¡that ¡reflects ¡the ¡beam ¡ back ¡to ¡where ¡it ¡came ¡from ¡ n Dynamics: ¡ n Noise ¡from: ¡wheel ¡slippage, ¡unmodeled ¡variaAon ¡in ¡floor ¡

Axioms ¡of ¡Probability ¡Theory ¡ 0 Pr( A ) 1 ≤ ≤ Pr( Ω ) = 1 Pr( φ ) = 0 Pr( A ∪ B ) = Pr( A ) + Pr( B ) − Pr( A ∩ B ) Pr (A) ¡denotes ¡probability ¡that ¡the ¡outcome ¡ω ¡is ¡an ¡element ¡of ¡ the ¡set ¡of ¡possible ¡outcomes ¡ A . ¡ A ¡is ¡oEen ¡called ¡an ¡event. ¡ ¡ Same ¡for ¡ B. ¡ Ω ¡is ¡the ¡set ¡of ¡all ¡possible ¡outcomes. ¡ ϕ ¡is ¡the ¡empty ¡set. ¡

A ¡Closer ¡Look ¡at ¡Axiom ¡3 ¡ Pr( A ∪ B ) = Pr( A ) + Pr( B ) − Pr( A ∩ B ) Ω A B A ∩ B

Using ¡the ¡Axioms ¡ Pr( A ∪ ( Ω \ A )) Pr( A ) + Pr( Ω \ A ) − Pr( A ∩ ( Ω \ A )) = Pr( Ω ) Pr( A ) + Pr( Ω \ A ) − Pr( φ ) = 1 Pr( A ) + Pr( Ω \ A ) − 0 = Pr( Ω \ A ) 1 − Pr( A ) =

Discrete ¡Random ¡Variables ¡ Ω x 2 x 3 x 1 x 4 n X ¡ denotes ¡a ¡random ¡variable. ¡ n X ¡ can ¡take ¡on ¡a ¡countable ¡number ¡of ¡values ¡in ¡{x 1 , ¡x 2 , ¡…, ¡x n }. ¡ n P(X=x i ) , ¡or ¡ P(x i ) , ¡is ¡the ¡probability ¡that ¡the ¡random ¡variable ¡ X ¡takes ¡ on ¡value ¡ x i . ¡ ¡ n P( ¡) ¡is ¡called ¡probability ¡mass ¡funcAon. ¡ ¡ . n E.g., ¡X ¡models ¡the ¡outcome ¡of ¡a ¡coin ¡flip, ¡ x 1 ¡ = ¡head, ¡x 2 ¡ = ¡tail, ¡P( ¡x 1 ¡ ) ¡= ¡ 0.5 ¡, ¡P( ¡x 2 ¡ ) ¡= ¡0.5 ¡ ¡

ConAnuous ¡Random ¡Variables ¡ n X ¡ takes ¡on ¡values ¡in ¡the ¡conAnuum. ¡ n p(X=x) , ¡or ¡ p(x) , ¡is ¡a ¡probability ¡density ¡funcAon. ¡ ¡ b Pr( x ( a , b )) p ( x ) dx ∈ = ∫ a p(x) n E.g. ¡ x

Joint ¡and ¡CondiAonal ¡Probability ¡ n P(X=x ¡ and ¡Y=y) ¡= ¡P(x,y) ¡ n If ¡X ¡and ¡Y ¡are ¡independent ¡then ¡ ¡ ¡ ¡ P(x,y) ¡= ¡P(x) ¡P(y) ¡ n P(x ¡| ¡y) ¡ is ¡the ¡probability ¡of ¡ x ¡given ¡y ¡ ¡ ¡P(x ¡| ¡y) ¡= ¡P(x,y) ¡/ ¡P(y) ¡ ¡ ¡P(x,y) ¡ ¡ ¡= ¡P(x ¡| ¡y) ¡P(y) ¡ n If ¡X ¡and ¡Y ¡are ¡independent ¡then ¡ ¡ ¡ P(x ¡| ¡y) ¡= ¡P(x) ¡ n Same ¡for ¡probability ¡densiEes, ¡just ¡P ¡ à ¡p ¡

Law ¡of ¡Total ¡Probability, ¡Marginals ¡ Discrete ¡case ¡ Con5nuous ¡case ¡ P ( x ) 1 ∑ p ( x ) dx = 1 = ∫ x P ( x ) P ( x , y ) ∑ p ( x ) p ( x , y ) dy = = ∫ y P ( x ) P ( x | y ) P ( y ) ∑ p ( x ) p ( x | y ) p ( y ) dy = = ∫ y

Bayes ¡Formula ¡ P ( x , y ) P ( x | y ) P ( y ) P ( y | x ) P ( x ) = = ⇒ P ( y | x ) P ( x ) likelihood prior ⋅ P ( x y ) = = P ( y ) evidence

NormalizaAon ¡ P ( y | x ) P ( x ) P ( x y ) P ( y | x ) P ( x ) = = η P ( y ) 1 1 P ( y ) − η = = P ( y | x ) P ( x ) ∑ x Algorithm: x : aux P ( y | x ) P ( x ) ∀ = x | y 1 η = aux ∑ x | y x x : P ( x | y ) aux ∀ = η x | y

CondiAoning ¡ n Law ¡of ¡total ¡probability: ¡ P ( x ) P ( x , z ) dz = ∫ P ( x ) P ( x | z ) P ( z ) dz = ∫ P ( x y ) P ( x | y , z ) P ( z | y ) dz = ∫

Bayes ¡Rule ¡with ¡Background ¡Knowledge ¡ P ( y | x , z ) P ( x | z ) P ( x | y , z ) = P ( y | z )

CondiAonal ¡Independence ¡ ¡ P ( x , y z ) P ( x | z ) P ( y | z ) = P ( x z ) P ( x | z , y ) ¡equivalent ¡to ¡ ¡ ¡ ¡ = ¡ ¡and ¡ P ( y z ) P ( y | z , x ) =

Simple ¡Example ¡of ¡State ¡EsAmaAon ¡ n Suppose ¡a ¡robot ¡obtains ¡measurement ¡ z ¡ n What ¡is ¡ P(open|z)? ¡

Causal ¡vs. ¡DiagnosAc ¡Reasoning ¡ n P(open|z) ¡ is ¡diagnosAc. ¡ n P(z|open) ¡ is ¡causal. ¡ count frequencies! n OEen ¡causal ¡knowledge ¡is ¡easier ¡to ¡obtain. ¡ n Bayes ¡rule ¡allows ¡us ¡to ¡use ¡causal ¡knowledge: ¡ P ( z | open ) P ( open ) P ( open | z ) = P ( z )

Example ¡ n P(z|open) = 0.6 P(z| ¬ open) = 0.3 n P(open) = P( ¬ open) = 0.5 P ( open | z ) = P ( z | open ) P ( open ) P ( z ) P ( z | open ) P ( open ) P ( open | z ) = P ( z | open ) p ( open ) P ( z | open ) p ( open ) + ¬ ¬ 0 . 6 0 . 5 2 ⋅ P ( open | z ) 0 . 67 = = = 0 . 6 0 . 5 0 . 3 0 . 5 3 ⋅ + ⋅ • z raises the probability that the door is open.

Combining ¡Evidence ¡ n Suppose ¡our ¡robot ¡obtains ¡another ¡observaAon ¡ z 2 . ¡ n How ¡can ¡we ¡integrate ¡this ¡new ¡informaAon? ¡ n More ¡generally, ¡how ¡can ¡we ¡esAmate ¡ ¡ ¡ ¡ ¡ P(x| z 1 ...z n ) ? ¡

Recursive ¡Bayesian ¡UpdaAng ¡ P ( z | x , z , … , z ) P ( x | z , … , z ) n 1 n 1 1 n 1 − − … P ( x | z , , z ) = 1 n P ( z | z , … , z ) n 1 n 1 − Markov ¡assump5on : ¡z n ¡ is ¡independent ¡of ¡z 1 ,...,z n-­‑1 ¡ if ¡we ¡know ¡ x. ¡ P ( x | z 1 , … , z n ) = P ( z n | x ) P ( x | z 1 , … , z n − 1 ) P ( z n | z 1 , … , z n − 1 ) = η P ( z n | x ) P ( x | z 1 , … , z n − 1 ) # & ∏ P ( z i | x ) ( P ( x ) = η 1... n % $ ' i = 1... n

Example: ¡Second ¡Measurement ¡ ¡ n P(z 2 |open) = 0.5 P(z 2 | ¬ open) = 0.6 n P(open|z 1 )=2/3 P ( z | open ) P ( open | z ) P ( open | z , z ) 2 1 = 2 1 P ( z | open ) P ( open | z ) P ( z | open ) P ( open | z ) + ¬ ¬ 2 1 2 1 1 2 ⋅ 5 2 3 0 . 625 = = = 1 2 3 1 8 ⋅ + ⋅ 2 3 5 3 • z 2 lowers the probability that the door is open.

A ¡Typical ¡Pipall ¡ n Two ¡possible ¡locaAons ¡ x 1 ¡ and ¡ x 2 ¡ n P(x 1 )=0.99 ¡ ¡ n P(z| x 2 )=0.09 ¡ P(z| x 1 )=0.07 ¡ ¡ 1 p(x2 | d) p(x1 | d) 0.9 0.8 0.7 0.6 p( x | d) 0.5 0.4 0.3 0.2 0.1 0 5 10 15 20 25 30 35 40 45 50 Number of integrations