[PPT] - Using Predictions in Online Optimization: Looking Forward PowerPoint Presentation

SLIDE 1

Using ¡Predictions ¡in ¡Online ¡Optimization: ¡ Looking ¡Forward ¡with ¡an ¡Eye ¡on ¡the ¡Past

Niangjun ¡Chen ¡

Joint ¡work ¡with ¡Joshua ¡Comden, ¡Zhenhua Liu, ¡Anshul Gandhi, ¡and ¡Adam ¡Wierman

1

SLIDE 2

2

Predictions ¡are ¡crucial ¡for ¡decision ¡making

SLIDE 3

3

Predictions ¡are ¡crucial ¡for ¡decision ¡making

“The ¡human ¡brain, ¡it ¡is ¡being ¡increasingly ¡argued ¡in ¡the ¡ scientific ¡literature, ¡is ¡best ¡viewed ¡as ¡an ¡advanced ¡prediction ¡ machine.”

SLIDE 4

We ¡know ¡how ¡to ¡make ¡predictions

4

SLIDE 5

We ¡know ¡how ¡to ¡make ¡predictions

5

How ¡should ¡an ¡algorithm ¡ use ¡predictions ¡if ¡errors ¡are

independent correlated vs

But ¡not ¡how ¡to ¡design ¡algorithms ¡to ¡use ¡prediction

SLIDE 6

This ¡paper: ¡Online ¡algorithm ¡design ¡with ¡ predictions in ¡mind

6

SLIDE 7

𝑑" 𝑑"(𝑦") 𝑦" 𝐺 𝑑̂" 𝑑̂( 𝑑̂)

7

Cost ¡= ¡𝑑" 𝑦"

𝑑̂*

Prediction ¡error

SLIDE 8

𝑦" 𝐺 𝑑̂*

8

𝑦( 𝑑( 𝑑((𝑦() 𝛾‖𝑦( − 𝑦"‖ : ¡switching ¡cost

Cost ¡= ¡𝑑" 𝑦" + 𝛾 𝑦( − 𝑦" + 𝑑( 𝑦( Cost ¡= ¡𝑑" 𝑦"

𝑑̂( 𝑑̂)

Prediction ¡error

SLIDE 9

𝑦" 𝐺 𝑑̂*

9

𝑦( 𝑦) 𝑑) 𝛾‖𝑦) − 𝑦(‖ 𝑑)(𝑦))

Cost ¡= ¡𝑑" 𝑦" + 𝛾 𝑦( − 𝑦" + 𝑑( 𝑦( + 𝛾 𝑦) − 𝑦( + 𝑑) 𝑦) … Cost ¡= ¡𝑑" 𝑦" + 𝛾 𝑦( − 𝑦" + 𝑑( 𝑦(

𝑑̂)

Prediction ¡error

SLIDE 10

min

34∈6 7 𝑑 𝑦8, 𝑧8

8

+ 𝛾‖𝑦8 − 𝑦8<"‖ ¡

switching ¡cost

nline

𝑦", 𝑧", 𝑦(, 𝑧(, 𝑦), 𝑧) …

convex

Online ¡convex ¡optimization ¡using ¡predictions

e.g. ¡online ¡tracking ¡cost 𝑑 𝑦8, 𝑧8

Time Information ¡Available Decision 1 𝑧"|> 𝑧(|> 𝑧)|> … ¡ 𝑦" 2 𝑧" 𝑧(|" 𝑧)|" … 𝑦( 3 𝑧" 𝑧( 𝑧)|( … 𝑦) 4 𝑧" 𝑧( 𝑧) … 𝑦* ¡

Given ¡prediction ¡of ¡𝑧8 ¡at ¡time ¡𝜐, 𝑧8|A

10

Goal: ¡minimize ¡competitive ¡difference ¡ cost(𝐵𝑀𝐻) ¡– ¡cost(𝑃𝑄𝑈)

SLIDE 11

Prediction ¡noise ¡model

prediction ¡error Prediction ¡for ¡time ¡𝑢 given ¡to ¡ algorithm ¡at ¡time ¡𝜐

𝑧8 = 𝑧8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡)

8 RSAT"

Realization ¡that ¡algorithm ¡is ¡trying ¡to ¡track

11

[Gan et ¡al ¡2013] ¡[Chen ¡et ¡al ¡2014] ¡[Chen ¡et ¡al ¡2015]

SLIDE 12

𝑧8 = 𝑧8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡)

8 RSAT"

Per-‑step ¡noise

Prediction ¡noise ¡model

9

[Gan et ¡al ¡2013] ¡[Chen ¡et ¡al ¡2014] ¡[Chen ¡et ¡al ¡2015]

SLIDE 13

𝑧8 = 𝑧8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡)

8 RSAT"

Weighting ¡factor

How ¡important ¡is ¡the ¡noise ¡at ¡time ¡ ¡𝑢 − 𝑡 for ¡the ¡prediction ¡of ¡𝑢?

Prediction ¡noise ¡model

13

𝑢 = 𝑡 𝜏 𝑔 0 ( + ⋯ + 𝑔 𝑡 ()

[Gan et ¡al ¡2013] ¡[Chen ¡et ¡al ¡2014] ¡[Chen ¡et ¡al ¡2015]

SLIDE 14

𝑧8 = 𝑧8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡)

8 RSAT"

prediction ¡error

Predictions ¡are ¡“refined” ¡as ¡time ¡moves ¡forward
Predictions ¡are ¡more ¡noisy ¡as ¡you ¡look ¡further ¡ahead
Prediction ¡errors ¡can ¡be ¡correlated
Form ¡of ¡errors ¡matches ¡many ¡classical ¡models

Prediction ¡noise ¡model

14

[Gan et ¡al ¡2013] ¡[Chen ¡et ¡al ¡2014] ¡[Chen ¡et ¡al ¡2015] Prediction ¡of ¡wide-‑sense ¡stationary ¡process ¡using ¡Wiener ¡filter Prediction ¡of ¡linear ¡dynamical ¡system ¡using ¡Kalman filter

SLIDE 15

Dynamic ¡capacity ¡management ¡in ¡data ¡centers ¡[Gandhi ¡et ¡al. ¡2012][Lin ¡et ¡al ¡2013] Power ¡system ¡generation/load ¡scheduling[Lu ¡et ¡al. ¡ ¡2013] ¡ Portfolio ¡management ¡[Cover ¡1991][Boyd ¡et ¡al. ¡2012] Video ¡streaming ¡[Sen ¡et ¡al. ¡2000][Liu ¡et ¡al. ¡2008] Network ¡routing ¡[Bansal ¡et ¡al. ¡2003][Kodialam et ¡al. ¡2003] Geographical ¡load ¡balancing ¡[Hindman et ¡al. ¡2011] ¡[Lin ¡et ¡al. ¡2012] Visual ¡speech ¡generation ¡[Kim ¡et ¡al. ¡2015] … ¡

Lots ¡of ¡applications ¡…

15

SLIDE 16

Dynamic ¡capacity ¡management ¡in ¡data ¡centers ¡[Gandhi ¡et ¡al. ¡2012][Lin ¡et ¡al ¡2013] Power ¡system ¡generation/load ¡scheduling[Lu ¡et ¡al. ¡ ¡2013] ¡ Portfolio ¡management ¡[Cover ¡1991][Boyd ¡et ¡al. ¡2012] Video ¡streaming ¡[Sen ¡et ¡al. ¡2000][Liu ¡et ¡al. ¡2008] Network ¡routing ¡[Bansal ¡et ¡al. ¡2003][Kodialam et ¡al. ¡2003] Geographical ¡load ¡balancing ¡[Hindman et ¡al. ¡2011] ¡[Lin ¡et ¡al. ¡2012] Visual ¡speech ¡generation ¡[Kim ¡et ¡al. ¡2015] … ¡

Lots ¡of ¡applications ¡…

16

SLIDE 17

Dynamic ¡capacity ¡management ¡in ¡data ¡centers ¡[Gandhi ¡et ¡al. ¡2012][Lin ¡et ¡al ¡2013] Power ¡system ¡generation/load ¡scheduling[Lu ¡et ¡al. ¡ ¡2013] ¡ Portfolio ¡management ¡[Cover ¡1991][Boyd ¡et ¡al. ¡2012] Video ¡streaming ¡[Sen ¡et ¡al. ¡2000][Liu ¡et ¡al. ¡2008] Network ¡routing ¡[Bansal ¡et ¡al. ¡2003][Kodialam et ¡al. ¡2003] Geographical ¡load ¡balancing ¡[Hindman et ¡al. ¡2011] ¡[Lin ¡et ¡al. ¡2012] Visual ¡speech ¡generation ¡[Kim ¡et ¡al. ¡2015] … ¡

Lots ¡of ¡applications ¡…

17

SLIDE 18

Dynamic ¡capacity ¡management ¡in ¡data ¡centers ¡[Gandhi ¡et ¡al. ¡2012][Lin ¡et ¡al ¡2013] Power ¡system ¡generation/load ¡scheduling[Lu ¡et ¡al. ¡ ¡2013] ¡ Portfolio ¡management ¡[Cover ¡1991][Boyd ¡et ¡al. ¡2012] Video ¡streaming ¡[Sen ¡et ¡al. ¡2000][Liu ¡et ¡al. ¡2008] Network ¡routing ¡[Bansal ¡et ¡al. ¡2003][Kodialam et ¡al. ¡2003] Geographical ¡load ¡balancing ¡[Hindman et ¡al. ¡2011] ¡[Lin ¡et ¡al. ¡2012] Visual ¡speech ¡generation ¡[Kim ¡et ¡al. ¡2015] … ¡

Lots ¡of ¡applications ¡…

18

SLIDE 19

Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]…

19

𝑧8T"|8, 𝑧8T(|8, … , 𝑧8TX|8, 𝑧8TXT"|8, 𝑧8TXT(|8, … 𝑦8T", 𝑦8T(, … , 𝑦8TX = argmin 7 𝑑(𝑦8, 𝑧8|R) + 𝛾 𝑦8 − 𝑦8<"

" 8TX RS8T"

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms

SLIDE 20

Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]…

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms

20

𝑧8T"|8, 𝑧8T(|8, … , 𝑧8TX|8, 𝑧8TXT"|8, 𝑧8TXT(|8, … 𝑧8T(|8T", 𝑧8T)|8T", … , 𝑧8TXT"|8T", 𝑧8TXT(|8T", 𝑧8TXT)|8T", … 𝑦8T(, 𝑦8T), … 𝑦8TXT"

SLIDE 21

Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]…

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms

21

𝑧8T"|8, 𝑧8T(|8, … , 𝑧8TX|8, 𝑧8TXT"|8, 𝑧8TXT(|8, … 𝑧8T(|8T", 𝑧8T)|8T", … , 𝑧8TXT"|8T", 𝑧8TXT(|8T", 𝑧8TXT)|8T", … 𝑦8T), 𝑦8T*, … 𝑦8TXT( 𝑧8T)|8T(, 𝑧8T*|8T(, … , 𝑧8TXT(|8T(, 𝑧8TXT)|8T(, 𝑧8TXT*|8T(, …

SLIDE 22

Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]…

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms

Recent ¡suggestion: ¡Averaging ¡Fixed ¡Horizon ¡Control ¡(AFHC) [Lin ¡et ¡al ¡2012] ¡[Chen ¡et ¡al ¡2015] ¡[Kim ¡et ¡al ¡2015] ¡

22

SLIDE 23

Averaging ¡Fixed ¡Horizon ¡Control

𝑧8T"|8, 𝑧8T(|8, … , 𝑧8TX|8, 𝑧8TXT"|8TX, 𝑧8TXT(|8TX, …

Fixed ¡Horizon ¡Control ¡(FHC)

𝑦8T", 𝑦8T(, … , 𝑦8TX ¡= argmin

7 𝑑(𝑦8, 𝑧8|R) + 𝛾 𝑦8 − 𝑦8<"

" 8TX RS8T"

23

SLIDE 24

Averaging ¡Fixed ¡Horizon ¡Control

𝑧8T"|8, 𝑧8T(|8, … , 𝑧8TX|8, 𝑧8TXT"|8TX, 𝑧8TXT(|8TX, …

Fixed ¡Horizon ¡Control ¡(FHC)

𝑦8T", 𝑦8T(, … , 𝑦8TX 𝑦8TXT", 𝑦8TXT(, … , 𝑦8T(X

24

SLIDE 25

𝑦8

X

Averaging ¡Fixed ¡Horizon ¡Control

Average ¡choices ¡of ¡FHC ¡algorithms ¡ 𝑦\6]^ = "

_∑

𝑦6]^

a X aS"

𝑥 FHC ¡algorithms

25

𝑦8<(

"

, 𝑦8<"

"

, 𝑦8

" … , 𝑦8TX<( "

𝑦8

), 𝑦8T* )

, 𝑦8Tc

)

… , 𝑦8TX

)

…

𝑦8TX<"

"

, … , 𝑦8TX

(

, … , ¡ 𝑦8TXT"

)

, … , ¡ 𝑦8<"

(

, 𝑦8

(, 𝑦8T* (

… , 𝑦8TX<"

(

SLIDE 26

Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]…

Algorithms ¡Using ¡Noisy ¡Prediction

Recent ¡suggestion: ¡Averaging ¡Fixed ¡Horizon ¡Control ¡(AFHC) [Lin ¡et ¡al ¡2012] ¡[Chen ¡et ¡al ¡2015] ¡[Kim ¡et ¡al ¡2015] ¡

26

Which ¡algorithm ¡is ¡better? ¡ Unclear… ¡

SLIDE 27

Empirically

AFHC ¡is ¡better ¡in ¡worst ¡case ¡under ¡perfect ¡predictions ¡ RHC ¡is ¡better ¡in ¡stochastic ¡case ¡when ¡prediction ¡errors ¡are ¡correlated ¡

27

AFHC ¡and ¡RHC ¡have ¡vastly ¡different ¡behavior

SLIDE 28

This ¡paper: ¡Online ¡algorithm ¡design ¡with ¡ predictions in ¡mind

28

How ¡to ¡design ¡algorithm ¡optimal ¡for ¡prediction ¡noise? ¡

SLIDE 29

Three ¡key ¡design ¡choices

𝑧8T"|8, 𝑧8T(|8, … , 𝑧8TX|8, 𝑧8TXT"|8, 𝑧8TXT(|8, …

1. ¡How ¡far ¡to ¡look-‑ahead ¡in ¡making ¡decisions?

Lookahead ¡𝑥 steps

29

SLIDE 30

Three ¡key ¡design ¡choices

𝑧8T"|8, 𝑧8T(|8, … , 𝑧8TX|8, 𝑧8TXT"|8, 𝑧8TXT(|8, … 𝑦8T", 𝑦8T(, … , 𝑦8TX = argmin 7 𝑑(𝑦8, 𝑧8|R) + 𝛾 𝑦8 − 𝑦8<"

" 8TX RS8T"

1. ¡How ¡far ¡to ¡look-‑ahead ¡in ¡making ¡decisions?
2. ¡How ¡many ¡actions ¡to ¡commit? ¡ ¡

30

SLIDE 31

Three ¡key ¡design ¡choices

𝑧8T"|8, 𝑧8T(|8, … , 𝑧8TX|8, 𝑧8TXT"|8, 𝑧8TXT(|8, … 𝑦8T", 𝑦8T(, … , 𝑦8TX = argmin 7 𝑑(𝑦8, 𝑧8|R) + 𝛾 𝑦8 − 𝑦8<"

" 8TX RS8T"

1. ¡How ¡far ¡to ¡look-‑ahead ¡in ¡making ¡decisions?
2. ¡How ¡many ¡actions ¡to ¡commit? ¡ ¡

commits ¡𝑤 steps

31

SLIDE 32

Three ¡key ¡design ¡choices

𝑦8<(

"

, 𝑦8<"

"

, 𝑦8

" … , 𝑦8TX<( "

1. ¡How ¡far ¡to ¡look-‑ahead ¡in ¡making ¡decisions?
2. ¡How ¡many ¡actions ¡to ¡commit? ¡ ¡
3. ¡How ¡to ¡aggregate ¡action ¡plans? ¡ ¡

𝑦8<"

(

, 𝑦8

(, 𝑦8T* (

… , 𝑦8TX<"

(

𝑦8

), 𝑦8T* )

, 𝑦8Tc

)

… , 𝑦8TX

)

𝑦8 = 𝑕(𝑦8

", 𝑦8 (, 𝑦8 ))

32

Our ¡focus: ¡what ¡is ¡the ¡optimal ¡ commitment ¡level given ¡the ¡structure

f ¡prediction ¡noise?

Key: ¡commitment ¡balances ¡switching ¡cost and ¡prediction ¡errors

SLIDE 33

Committed ¡Horizon ¡Control

FHC ¡with ¡limited ¡commitment ¡𝑤, ¡for ¡𝑢 ≡ 𝑙 ¡mod ¡𝑥

𝑧8T"|8, 𝑧8T(|8, … 𝑧8Ti|8, 𝑧8TiT"|8, … , 𝑧8TX|8, 𝑧8TXT"|8, 𝑧8TXT(|8, … 𝑦8T", 𝑦8T(, … , 𝑦8Ti, 𝑦8TiT", … , 𝑦8TX = argmin 7 𝑑(𝑦8, 𝑧8|R) + 𝛾 𝑦8 − 𝑦8<"

" 8TX RS8T"

𝑦(a) = (… , 𝑦8T"

a

, 𝑦8T(

a

, … , 𝑦8Ti

a

, )

33

SLIDE 34

Committed ¡Horizon ¡Control

FHC ¡with ¡limited ¡commitment ¡𝑤, for ¡𝑢 ≡ 𝑙 ¡mod ¡𝑥

𝑦(a) = (… , 𝑦8T"

a

, 𝑦8T(

a

, … , 𝑦8Ti

a

, 𝑦8TiT"

a

, 𝑦8TiT(

a

, … , 𝑦8T(i

a

)

34

SLIDE 35

Committed ¡Horizon ¡Control

FHC ¡with ¡limited ¡commitment ¡𝑤, ¡for ¡𝑢 ≡ 𝑙 ¡mod ¡𝑤

𝑦(a) = (… , 𝑦8T"

a

, 𝑦8T(

a

, … , 𝑦8Ti

a

, 𝑦8TiT"

a

, 𝑦8TiT(

a

, … , 𝑦8T(i

a

, 𝑦8T(iT"

a

, 𝑦8T(iT(

a

, … , 𝑦8T)i

a

)

35

SLIDE 36

Committed ¡Horizon ¡Control

FHC ¡with ¡limited ¡commitment ¡𝑤, ¡for ¡𝑢 ≡ 𝑙 ¡mod ¡𝑤

𝑦(a) = (… , 𝑦8T"

a

, 𝑦8T(

a

, … , 𝑦8Ti

a

, 𝑦8TiT"

a

, 𝑦8TiT(

a

, … , 𝑦8T(i

a

, 𝑦8T(iT"

a

, 𝑦8T(iT(

a

, … , 𝑦8T)i

a

, … )

36

𝑦8T(iT", 𝑦8T(iT(, … , 𝑦8T)i, 𝑦8T)iT", … , 𝑦8TXT(i

SLIDE 37

Committed ¡Horizon ¡Control

FHC ¡with ¡limited ¡commitment ¡𝑤, ¡for ¡𝑢 ≡ 𝑙 ¡mod ¡𝑤

𝑦(a) = (… , 𝑦8T"

a

, 𝑦8T(

a

, … , 𝑦8Ti

a

, 𝑦8TiT"

a

, 𝑦8TiT(

a

, … , 𝑦8T(i

a

, 𝑦8T(iT"

a

, 𝑦8T(iT(

a

, … , 𝑦8T)i

a

, … ) 𝑦(i) = (… , 𝑦8T"

i

, 𝑦8T(

i

, … , 𝑦8Ti

i

, 𝑦8TiT"

i

, 𝑦8TiT(

i

, … , 𝑦8T(i

i

, 𝑦8T(iT"

i

, 𝑦8T(iT(

i

, … , 𝑦8T)i

i

, … ) 𝑦(") = (… , 𝑦8T"

"

, 𝑦8T(

"

, … , 𝑦8Ti

"

, 𝑦8TiT"

"

, 𝑦8TiT(

"

, … , 𝑦8T(i

"

, 𝑦8T(iT"

"

, 𝑦8T(iT(

"

, … , 𝑦8T)i

"

, … ) 𝑤 FHC(v) ¡algorithms ⋮ ⋮

37

SLIDE 38

Committed ¡Horizon ¡Control

FHC ¡with ¡limited ¡commitment ¡𝑤, ¡for ¡𝑢 ≡ 𝑙 ¡mod ¡𝑤

𝑦(a) = (… , 𝑦8T"

a

, 𝑦8T(

a

, … , 𝑦8Ti

a

, 𝑦8TiT"

a

, 𝑦8TiT(

a

, … , 𝑦8T(i

a

, 𝑦8T(iT"

a

, 𝑦8T(iT(

a

, … , 𝑦8T)i

a

, … ) 𝑦^]^ 𝑢 = 1 𝑤 7 𝑦8

a i aS"

𝑦(i) = (… , 𝑦8T"

i

, 𝑦8T(

i

, … , 𝑦8Ti

i

, 𝑦8TiT"

i

, 𝑦8TiT(

i

, … , 𝑦8T(i

i

, 𝑦8T(iT"

i

, 𝑦8T(iT(

i

, … , 𝑦8T)i

i

, … ) 𝑦(") = (… , 𝑦8T"

"

, 𝑦8T(

"

, … , 𝑦8Ti

"

, 𝑦8TiT"

"

, 𝑦8TiT(

"

, … , 𝑦8T(i

"

, 𝑦8T(iT"

"

, 𝑦8T(iT(

"

, … , 𝑦8T)i

"

, … ) ⋮ ⋮

38

𝑤 FHC(v) ¡algorithms

SLIDE 39

Committed ¡Horizon ¡Control

FHC ¡with ¡limited ¡commitment ¡𝑤, ¡for ¡𝑢 ≡ 𝑙 ¡mod ¡𝑤

𝑤 = 1 RHC, 𝑤 = 𝑥 AFHC 𝑦(a) = (… , 𝑦8T"

a

, 𝑦8T(

a

, … , 𝑦8Ti

a

, 𝑦8TiT"

a

, 𝑦8TiT(

a

, … , 𝑦8T(i

a

, 𝑦8T(iT"

a

, 𝑦8T(iT(

a

, … , 𝑦8T)i

a

, … ) 𝑦(i) = (… , 𝑦8T"

i

, 𝑦8T(

i

, … , 𝑦8Ti

i

, 𝑦8TiT"

i

, 𝑦8TiT(

i

, … , 𝑦8T(i

i

, 𝑦8T(iT"

i

, 𝑦8T(iT(

i

, … , 𝑦8T)i

i

, … ) 𝑦(") = (… , 𝑦8T"

"

, 𝑦8T(

"

, … , 𝑦8Ti

"

, 𝑦8TiT"

"

, 𝑦8TiT(

"

, … , 𝑦8T(i

"

, 𝑦8T(iT"

"

, 𝑦8T(iT(

"

, … , 𝑦8T)i

"

, … ) ⋮ ⋮ 𝑦^]^ 𝑢 = 1 𝑤 7 𝑦8

a i aS"

39

𝑤 FHC(v) ¡algorithms

SLIDE 40

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Main ¡Result

40

SLIDE 41

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Competitive ¡difference

Main ¡Result

41

SLIDE 42

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Main ¡Result

42

Commitment ¡level ¡𝑤

?

SLIDE 43

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Due ¡to ¡ switching ¡cost

Main ¡Result

43

SLIDE 44

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

𝑦" − 𝑦( ≤ 𝐸, ∀𝑦", 𝑦( ∈ 𝐺

Main ¡Result

44

Due ¡to ¡ switching ¡cost

SLIDE 45

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Due ¡to ¡ prediction ¡error Due ¡to ¡ switching ¡cost

Main ¡Result

45

SLIDE 46

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

𝑑 𝑦, 𝑧" − 𝑑 𝑦, 𝑧( ≤ 𝐻 𝑧" − 𝑧(

s, ∀𝑦, 𝑧", 𝑧(

Main ¡Result

46

Due ¡to ¡ prediction ¡error Due ¡to ¡ switching ¡cost

SLIDE 47

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

𝑔

a ( ≜ 𝐅

𝑧8Ta − 𝑧8Ta|8

(

= 𝜏( 7 𝑔 𝑡 (

a RS"

Prediction ¡error ¡k-‑steps ¡away

Main ¡Result

47

Due ¡to ¡ prediction ¡error Due ¡to ¡ switching ¡cost

SLIDE 48

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Due ¡to ¡ prediction ¡error Due ¡to ¡ switching ¡cost

Main ¡Result

48

𝑙

SLIDE 49

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Main ¡Result

49

Due ¡to ¡ prediction ¡error Due ¡to ¡ switching ¡cost Commitment ¡level ¡𝑤

?

SLIDE 50

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Due ¡to ¡ switching ¡cost Due ¡to ¡ prediction ¡error

Key: ¡choose ¡commitment ¡level ¡𝑤 ¡to ¡balance ¡these ¡two ¡terms

Main ¡Result

50

Commitment ¡level ¡𝑤

?

SLIDE 51

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Main ¡Result

51

e.g. ¡i.i.d. ¡noise ¡𝑔 𝑡 = v1, 𝑡 = 0 0, 𝑡 > 0

Decreasing ¡function ¡of ¡𝑤 AFHC ¡is ¡best ¡when ¡noise ¡is ¡i.i.d

= 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈𝜏s

SLIDE 52

i.i.d. ¡prediction ¡noise 𝑔 𝑡 = x1, 𝑡 = 0 0, 𝑡 > 0 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

52

SLIDE 53

i.i.d. ¡prediction ¡noise 𝑔 𝑡 = x1, 𝑡 = 0 0, 𝑡 > 0 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Long ¡range ¡correlated 𝑔 𝑡 = x1, 𝑡 ≤ 𝑀 0, 𝑡 > 𝑀, 𝑀 > 𝑥

53

SLIDE 54

i.i.d. ¡prediction ¡noise 𝑔 𝑡 = x1, 𝑡 = 0 0, 𝑡 > 0 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Long ¡range ¡correlated 𝑔 𝑡 = x1, 𝑡 ≤ 𝑀 0, 𝑡 > 𝑀, 𝑀 > 𝑥 Short ¡range ¡correlated 𝑔 𝑡 = x1, 𝑡 ≤ 𝑀 0, 𝑡 > 𝑀, 𝑀 ≤ 𝑥

54

SLIDE 55

i.i.d. ¡prediction ¡noise 𝑔 𝑡 = x1, 𝑡 = 0 0, 𝑡 > 0 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Long ¡range ¡correlated 𝑔 𝑡 = x1, 𝑡 ≤ 𝑀 0, 𝑡 > 𝑀, 𝑀 > 𝑥 Short ¡range ¡correlated 𝑔 𝑡 = x1, 𝑡 ≤ 𝑀 0, 𝑡 > 𝑀, 𝑀 ≤ 𝑥 Exponentially ¡decaying 𝑔 𝑡 = 𝑏R, 𝑏 < 1

55

SLIDE 56

Optimal ¡commitment ¡level ¡depends ¡on ¡ prediction ¡noise ¡structure

i.i.d. ¡prediction ¡noise 𝑔 𝑡 = x1, 𝑡 = 0 0, 𝑡 > 0 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ Long ¡range ¡correlated 𝑔 𝑡 = x1, 𝑡 ≤ 𝑀 0, 𝑡 > 𝑀, 𝑀 > 𝑥 Short ¡range ¡correlated 𝑔 𝑡 = x1, 𝑡 ≤ 𝑀 0, 𝑡 > 𝑀, 𝑀 ≤ 𝑥 Exponentially ¡decaying 𝑔 𝑡 = 𝑏R, 𝑏 < 1

56

SLIDE 57

Prediction ¡error ¡ dominant Switching ¡cost ¡dominant Intermediate

RHC AFHC

Theorem If ¡prediction ¡noise ¡is ¡long-‑range ¡ correlated, ¡𝑔 𝑡 = x1, 𝑡 ≤ 𝑀 0, 𝑡 > 𝑀, 𝑀 > 𝑥 AFHC ¡is ¡optimal ¡if ¡

{| }~• > 𝛽 2𝑥 "T•

€

RHC ¡is ¡optimal ¡if ¡ ¡ ¡

{• }~• < ( ¡sT(

CHC ¡is ¡optimal ¡with ¡𝑤 ∈ (1, 𝑥) o/w

𝑤∗ = argmin 2𝑈𝛾𝐸 𝛽 + 2 − 4𝐻𝑈𝜏s 𝑤 𝛽 + 2 + 2)Ts

(𝐻𝑈𝜏s

𝛽 + 2 𝑤

s (

Relative ¡importance ¡of ¡ prediction ¡error ¡ and ¡switching ¡cost

57

More ¡detail: ¡long-‑range ¡correlated ¡noise

SLIDE 58

Theorem If ¡prediction ¡noise ¡is ¡short-‑range ¡ correlated, 𝑔 𝑡 = x1, 𝑡 ≤ 𝑀 0, 𝑡 > 𝑀, 𝑀 ≤ 𝑥 AFHC ¡is ¡optimal ¡if ¡

{| }~• > 𝐼(𝑀)

RHC ¡is ¡optimal ¡if ¡ ¡ ¡

{• }~• < ( sT(

CHC ¡is ¡optimal ¡with ¡𝑤 ∈ (1, 𝑥) o/w

Intermediate Prediction ¡error ¡dominant Switching ¡cost ¡dominant

More ¡detail: ¡short-‑range ¡correlated ¡noise

RHC AFHC

𝑤∗ = argmin 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈𝜏s 𝑀 + 1 s/( − 2𝐻𝑈𝜏s 𝑤 𝐼(𝑀)

58

1 𝛽 + 2 𝑀 + 1

s ( 𝛽𝑀 − 2 + 1

SLIDE 59

Theorem If ¡prediction ¡noise ¡is ¡exponentially ¡ decaying, ¡ ¡𝑔 𝑡 = 𝑏R, 0 < 𝑏 < 1 AFHC ¡is ¡optimal ¡if ¡

{| }~• > …€ (("<…€)

RHC ¡is ¡optimal ¡if ¡ ¡ ¡

{• }~• < …€ (("T…) ¡

CHC ¡is ¡optimal ¡with ¡𝑤 ∈ (1, 𝑥) o/w

59

Prediction ¡error ¡dominant Switching ¡cost ¡dominant Intermediate

RHC AFHC

More ¡detail: ¡exponentially ¡decaying ¡noise

𝑤∗ = argmin 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈𝜏 1 − 𝑏( − 𝑏( 1 − 𝑏(i 𝐻𝑈𝜏 𝑤 1 − 𝑏( (

SLIDE 60

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Main ¡Result

We ¡can ¡use ¡prediction ¡error ¡structure ¡to ¡guide ¡design ¡of ¡online ¡algorithm

60

SLIDE 61

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

a s i aS"

Main ¡Result

Competitive ¡difference ¡holds ¡with ¡high ¡probability

𝐐(cost 𝐷𝐼𝐷 − cost 𝑃𝑄𝑈 > 𝑊 + 𝑣) > exp − 𝑣( 𝐺(𝑤)

=: ¡𝑊

61

SLIDE 62

Conclusion

Design ¡of ¡optimal ¡algorithm ¡depends ¡on ¡ structure ¡of ¡prediction ¡error This ¡talk: ¡OCO ¡with ¡prediction ¡

“Commitment” ¡should ¡be ¡optimal ¡to ¡ prediction ¡noise

Future: ¡can ¡we ¡extend ¡this ¡framework ¡to ¡other ¡online ¡problems?

62

Using ¡Predictions ¡in ¡Online ¡Optimization: ¡ Looking ¡Forward ¡with ¡an ¡Eye ¡on ¡the ¡Past

Niangjun ¡Chen ¡

Predictions ¡are ¡crucial ¡for ¡decision ¡making

Predictions ¡are ¡crucial ¡for ¡decision ¡making

“The ¡human ¡brain, ¡it ¡is ¡being ¡increasingly ¡argued ¡in ¡the ¡ scientific ¡literature, ¡is ¡best ¡viewed ¡as ¡an ¡advanced ¡prediction ¡ machine.”

We ¡know ¡how ¡to ¡make ¡predictions

We ¡know ¡how ¡to ¡make ¡predictions

How ¡should ¡an ¡algorithm ¡ use ¡predictions ¡if ¡errors ¡are

independent correlated vs

But ¡not ¡how ¡to ¡design ¡algorithms ¡to ¡use ¡prediction

This ¡paper: ¡Online ¡algorithm ¡design ¡with ¡ predictions in ¡mind

𝑑" 𝑑"(𝑦") 𝑦" 𝐺 𝑑̂" 𝑑̂( 𝑑̂)

Cost ¡= ¡𝑑" 𝑦"

𝑑̂*

𝑦" 𝐺 𝑑̂*

𝑦( 𝑑( 𝑑((𝑦() 𝛾‖𝑦( − 𝑦"‖ : ¡switching ¡cost

Cost ¡= ¡𝑑" 𝑦" + 𝛾 𝑦( − 𝑦" + 𝑑( 𝑦( Cost ¡= ¡𝑑" 𝑦"

𝑑̂( 𝑑̂)

𝑦" 𝐺 𝑑̂*

𝑦( 𝑦) 𝑑) 𝛾‖𝑦) − 𝑦(‖ 𝑑)(𝑦))

Cost ¡= ¡𝑑" 𝑦" + 𝛾 𝑦( − 𝑦" + 𝑑( 𝑦( + 𝛾 𝑦) − 𝑦( + 𝑑) 𝑦) … Cost ¡= ¡𝑑" 𝑦" + 𝛾 𝑦( − 𝑦" + 𝑑( 𝑦(

𝑑̂)

min

+ 𝛾‖𝑦8 − 𝑦8<"‖ ¡

𝑦", 𝑧", 𝑦(, 𝑧(, 𝑦), 𝑧) …

Online ¡convex ¡optimization ¡using ¡predictions

Goal: ¡minimize ¡competitive ¡difference ¡ cost(𝐵𝑀𝐻) ¡– ¡cost(𝑃𝑄𝑈)

Prediction ¡noise ¡model

prediction ¡error Prediction ¡for ¡time ¡𝑢 given ¡to ¡ algorithm ¡at ¡time ¡𝜐

𝑧8 = 𝑧8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡)

Realization ¡that ¡algorithm ¡is ¡trying ¡to ¡track

𝑧8 = 𝑧8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡)

Per-­‑step ¡noise

Prediction ¡noise ¡model

𝑧8 = 𝑧8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡)

Weighting ¡factor

Prediction ¡noise ¡model

𝑧8 = 𝑧8|A + 7 𝑔 𝑢 − 𝑡 𝑓(𝑡)

prediction ¡error

Prediction ¡noise ¡model

Lots ¡of ¡applications ¡…

Lots ¡of ¡applications ¡…

Lots ¡of ¡applications ¡…

Lots ¡of ¡applications ¡…

Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]…

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms

Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]…

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms

Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]…

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms

Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]…

Lots ¡of ¡applications… ¡lots ¡of ¡algorithms

Recent ¡suggestion: ¡Averaging ¡Fixed ¡Horizon ¡Control ¡(AFHC) [Lin ¡et ¡al ¡2012] ¡[Chen ¡et ¡al ¡2015] ¡[Kim ¡et ¡al ¡2015] ¡

Averaging ¡Fixed ¡Horizon ¡Control

Fixed ¡Horizon ¡Control ¡(FHC)

Averaging ¡Fixed ¡Horizon ¡Control

Fixed ¡Horizon ¡Control ¡(FHC)

𝑦8

Averaging ¡Fixed ¡Horizon ¡Control

Average ¡choices ¡of ¡FHC ¡algorithms ¡ 𝑦\6]^ = "

𝑦6]^

𝑥 FHC ¡algorithms

𝑦8<(

, 𝑦8<"

, 𝑦8

𝑦8

, 𝑦8Tc

… , 𝑦8TX

…

𝑦8TX<"

, … , 𝑦8TX

, … , ¡ 𝑦8TXT"

, … , ¡ 𝑦8<"

, 𝑦8

… , 𝑦8TX<"

Most ¡popular ¡choice ¡by ¡far: ¡Receding ¡Horizon ¡Control ¡(RHC) ¡ [Morari et ¡al ¡1989][Mayne 1990][Rawling et ¡al ¡2000][Camacho ¡2013]…

Algorithms ¡Using ¡Noisy ¡Prediction

Recent ¡suggestion: ¡Averaging ¡Fixed ¡Horizon ¡Control ¡(AFHC) [Lin ¡et ¡al ¡2012] ¡[Chen ¡et ¡al ¡2015] ¡[Kim ¡et ¡al ¡2015] ¡

Which ¡algorithm ¡is ¡better? ¡ Unclear… ¡

Empirically

Per-‑step ¡noise

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

Prediction ¡error ¡k-‑steps ¡away

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, ¡ 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔

Theorem For ¡𝑑 that ¡is ¡𝛽-‑Hölder continuous ¡in ¡the ¡second ¡argument ¡and ¡feasible ¡ set ¡𝐺 is ¡bounded, 𝐅cost 𝐷𝐼𝐷 − 𝐅cost 𝑃𝑄𝑈 ≤ 2𝑈𝛾𝐸 𝑤 + 2𝐻𝑈 𝑤 7 𝑔