Is There an Op,mal Search Strategy, When Time is Limited? - PowerPoint PPT Presentation

Is ¡There ¡an ¡Op,mal ¡Search ¡Strategy, ¡ When ¡Time ¡is ¡Limited? ¡ Michael ¡Shlesinger ¡ mike.shlesinger@navy.mil ¡ Unsolved ¡Problems ¡of ¡Noise ¡ Barcelona ¡July ¡13-­‑17, ¡2015 ¡

Reverend ¡Bayes ¡(1701-­‑1761) ¡ Bayes ’ ¡Theorem(1763) ¡ ( ) = p A B ( ) p B ( ) p A ( ) = p B A ( ) ∩ p A B A A ∩ B B

¡ ¡ The ¡Scep(cal ¡Bayesian’s ¡Unfair ¡Coin: ¡STATISTICS ¡VS. ¡PROBABILITY ¡ (when ¡to ¡stop ¡searching) ¡ ⎜ ⎞ ⎛ n ) = 1 heads ¡= ¡found ¡target ¡ ( ⎟ p nT for a fair coin ⎝ ⎠ 2 Flip ¡a ¡coin ¡n ¡,mes ¡and ¡get ¡n ¡TAILS ¡ ¡ ¡ What ¡can ¡you ¡infer ¡about ¡the ¡fairness ¡of ¡the ¡coin? ¡ ¡ Use ¡data ¡to ¡es,mate ¡q ¡ ( ) p q ( ) p nT q ( ) = p q nT 1 ( ) p q ∫ p nT q ( ) dq 0 1 1 ( ) p q ∫ p nT q ∫ q n p q ( ) dq ( ) dq q q q = = 0 0 1 1 ( ) p q ∫ p nT q ∫ ( ) dq ( ) dq q n p q ( ) = 1/2 q n = 0 0 0 q = n + 1 ( ) → 1 q n →∞ n + 2

When ¡to ¡switch ¡coins: ¡ Stick with same coin or switch coins? outcome estimate <T> estimate <H> switch if same as no coin toss 1/2 1/2 T 2/3 1/3 1/2-cost>1/3 cost<1/6 TT 3/4 1/4 1/2-cost>1/4 cost<1/4 TTT 4/5 1/5 1/2-cost>1/5 cost<3/10 TTTT 5/6 1/6 1/2-cost>1/6 cost<1/3 Flipping ¡a ¡coin ¡and ¡geVng ¡a ¡HEAD, ¡then ¡win ¡one ¡coin. ¡ w=prob(next ¡space ¡has ¡a ¡coin) ¡ N=number ¡of ¡TAILS ¡in ¡a ¡row ¡ C=cost ¡to ¡switch ¡coins ¡ One ¡flip ¡T ¡case ¡es,mated ¡gain ¡by ¡switching ¡=(1/2)w-­‑C ¡ Switch ¡coins ¡if ¡w/2-­‑C>1/3 ¡ ¡ N ¡tails ¡TTT…T ¡switch ¡if ¡(1/2)w-­‑C>1/(N+2) ¡ ¡ switch ¡if ¡ ¡cost<(w/2)-­‑(1/(N+2)) ¡ What if w=w(t)=exp(-bt)? ¡

︎ Finite ¡Time ¡T ¡Searching ¡Two ¡Regions ¡ λ=rate ¡of ¡success ¡to ¡find ¡target ¡in ¡a ¡search ¡if ¡a ¡target ¡is ¡present ¡ K= ¡rate ¡of ¡success ¡to ¡retrieve/capture ¡the ¡target ¡ ← ( T − τ ) → ← τ → G= ¡gain ¡(payoff ¡of ¡search) ¡ C=cost ¡of ¡search/unit ¡,me ¡ p=prob ¡that ¡a ¡target ¡is ¡present ¡ N= ¡net ¡return ¡ 1 2 ( ) + G 2 Κ 2 ( τ ) p 2 1 − exp − λ 2 τ ( ) ( ) ( ) ( ) = G 1 K 1 ( T − τ ) p 1 1 − exp − λ 1 T − τ ( ) N T , τ ( ) − C 2 τ − C 1 T − τ ( ) ∂ N T , τ = 0 Choose τ to maximize N ∂τ

Rate ¡Limited ¡or ¡Reac,on ¡Limited ¡ Getting to the right location does not mean the target is found

For Brownian motion with diffusion constant D and average target spacing d ¡ λ ∝ D 2 d For ballistic motion with velocity v and sighting range R ¡ λ ∝ v R 2 (2D) cost ∝ m v 2 t d λ ∝ v R 2 ⎧ 3 (3D) constant ⎪ d 1/ λ ⎨ gain G = ⎪ ( ) f λ ⎩ d → d 1/ α For fractal set of targets with dimension α ¡ ¡

← ( T − τ ) → ← τ → In the figure on the left both regions are the same; ¡ 1 2 Out[52]= Out[64]= in the figure on the right atime penalty was imposed to move from region 1 to region 2 so the max net return shifted to spending more time in region 1

Higher ¡cost ¡in ¡region ¡1 ¡shows ¡bejer ¡to ¡spend ¡more ¡ ,me ¡in ¡region ¡2 ¡ Payoff versus time in region 2 Low cost in region 1 favors more time in region 1 High cost in region 1 favors more time in region 2 τ Cost in region 1 highest in bottom curve lowest in top curve

Hunter ¡chooses ¡ between ¡going ¡to ¡ ¡the ¡ plains ¡(gain ¡G 1 )or ¡to ¡ the ¡river ¡(gain ¡G 2 ) ¡

Search ¡,me ¡T=.05 ¡ success ¡rate ¡in ¡region ¡1 ¡=2.0 ¡ ¡success ¡rate ¡in ¡region ¡2 ¡=1.0 ¡ Better to stay in region 1 as search time is very short

Generaliza,ons:scare ¡away ¡the ¡target ¡in ¡region ¡2 ¡ (the ¡longer ¡the ¡search ¡t he more likely the target has left) ¡ ( ) + G 2 p 2 τ ( ) ( ) ( ) ( ) = G 1 p 1 1 − exp − λ 1 T − τ ( ) ( ) 1 − exp − λ 2 τ N T , τ ( ) − C 2 τ − C 1 T − τ 2.5 2.0 1.5 0 1 2 3 4 5 tau in the figure on the right, the probability p that the target is in region 2 decreases exponentially with time. Small tau means search maximized by spending shorter time in region 2. ¡

Slower ¡than ¡exponen,al ¡search ¡success ¡rate ¡in ¡region ¡2 ¡ τ 0 ( ) ⇒ λ exp − λ t 0 + t 2 / n τ 2 n=10 ¡ 3.5 3.0 2.5 τ 0.5 1.0 1.5 2.0 2.5 3.0 n=1 ¡

Levy Flights vs Drives ( ) p ℓ ( ) = ψ t ℓ ( ) Ψ ℓ , t ⎛ ⎞ ℓ ( ) = δ t − ψ t ℓ ⎜ ⎟ ( ) diffusion ¡ V ℓ ⎝ ⎠ What ¡if ¡target ¡sites ¡looks ¡like ¡this, ¡a ¡fractal ¡ set? ¡

Some,mes ¡a ¡long ¡flight ¡pays ¡off: ¡C. ¡Columbus ¡(1492) ¡

Success rate ¡λ depending on velocity v or diffusion constant D ¡

Gain as a function of time in region 2 and reward value in region 1 ¡ Net ¡gain ¡ Region 1 reward ¡

Brownian Random Walker Lifetime Probability the trapping problem ⎛ ⎞ ( ) ∝ exp − 4 Dt Φ t ⎜ ⎟ ⎝ ⎠ R 2 B. Ya Balagorov and V. G. Vaks, Sov. Phys. JETP 38 968 (1974) random walker trap R ¡ Equivalent to one cell with periodic boundary conditions ( ) ∝ 4 D Mean number of contacts n t R 2 t in time t ¡

Donsker-­‑Varadhan ¡Brownian ¡trapping ¡problem ¡ ⎛ ⎞ ⎛ ⎞ R ∫ exp − Dt 1 exp − V ( ) ∝ lim t → ∞ lim t → ∞ Φ t ⎜ ⎟ ⎜ ⎟ dR ⎝ ⎠ R 2 ⎝ ⎠ V 0 V 0 ⎛ ⎞ d ∝ exp − t , t >> 0 ⎜ d + 2 ⎟ ⎝ ⎠ short lifetime long lifetime V ∝ R d Poisson ¡distribu,on ¡of ¡trap ¡sites ¡

Donsker-­‑Varadhan ¡Levy ¡trapping ¡problem ¡ ⎛ ⎞ ⎛ ⎞ ⎛ ⎞ R d ∫ exp − Dt 1 exp − V ( ) ∝ lim t → ∞ lim t → ∞ Φ t ⎜ ⎟ ⎟ dR ∝ exp − t ⎜ ⎜ d + 1 ⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ R V 0 V 0 ⎛ ⎞ d shallower tail than exp − t ⎜ ⎟ d + 2 ⎝ ⎠ When should Brownian search give up and take a Levy flight? ¡

Es,ma,on ¡of ¡success ¡p* ¡decreases ¡in ¡,me ¡with ¡con,nued ¡failure ¡ ( ) p * = P T present search fails , T not found ( ) P T present ( ) P T not found T present = ( ) P T present ( ) P T not present ( ) + P T not found T not present ( ) P T not foundT present ( ) p 1 − f = ( ) p + 1* 1 − p ( ) 1 − f = p − fp 1 − fp < p ( ) p φ t pe − λ t ( ) = = < p p * t ( pe − λ t + 1 − p ( ( ) + 1 − p ) ) p φ t