Explicit vs Implicit CommunicaGon in Control Anant Sahai - - PowerPoint PPT Presentation

UC ¡Berkeley ¡

Anant ¡Sahai ¡ UC ¡Berkeley ¡ ¡ Joint ¡with ¡Se ¡Yong ¡Park ¡and ¡Pulkit ¡Grover ¡ Thanks ¡to ¡NSF ¡for ¡funding ¡this ¡ (and ¡a ¡Samsung ¡Scholarship) ¡

Explicit ¡vs ¡Implicit ¡ CommunicaGon ¡in ¡Control ¡

UC ¡Berkeley ¡

Two ¡Basic ¡Problems ¡

Actuator ¡

Plant ¡

CommunicaGon ¡ Channel ¡ Observer ¡

Plant ¡

Controller ¡ Controller ¡ Controller ¡ Controller ¡

UC ¡Berkeley ¡

Two ¡Basic ¡Problems ¡

• ­‑ Implicit ¡InformaGon ¡Flow ¡
• ­‑ Plant ¡as ¡Channel??? ¡

Actuator ¡

Plant ¡

CommunicaGon ¡ Channel ¡ Observer ¡

Plant ¡

Controller ¡ Controller ¡ Controller ¡ Controller ¡

• ­‑ Explicit ¡InformaGon ¡Flow ¡
• ­‑ Plant ¡as ¡Source ¡

InformaGon ¡ Flow ¡ InformaGon ¡ Flows? ¡

UC ¡Berkeley ¡

• Control ¡over ¡explicit ¡channels: ¡

– Real ¡Erasure ¡Channel ¡(packet ¡drops) ¡

• Implicit ¡Comm ¡in ¡Decentralized ¡control: ¡

– LTI ¡(linear ¡Gme-­‑invariant) ¡controllers ¡ – Nonlinear ¡controllers ¡

Outline: ¡three ¡short ¡vigneQes ¡ ¡

UC ¡Berkeley ¡

DeterminisGc ¡perspecGve ¡on ¡the ¡data ¡rate ¡theorem ¡

• At ¡each ¡Gme ¡step, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡bits ¡ ¡ ¡

UC ¡Berkeley ¡

• Delay ¡error ¡exponent ¡is ¡important ¡

Control ¡over ¡noisy ¡channels ¡

\ ¡ Theorem ¡[S. ¡and ¡MiQer, ¡2006] ¡ Observer ¡ Actuator ¡ Noisy ¡Channel ¡ Feedback ¡

UC ¡Berkeley ¡

Restrict ¡to ¡linear: ¡observaGon ¡over ¡erasure ¡channels ¡

Observer ¡ Actuator ¡ PLANT ¡ SENSOR ¡ EsGmator ¡

UC ¡Berkeley ¡

• Q: ¡How ¡can ¡we ¡characterize ¡ ¡ ¡ ¡ ¡ ¡ ¡? ¡

– For ¡scalar ¡system, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡by ¡the ¡noisy ¡channel ¡result ¡ ¡ ¡

IntermiQent ¡Kalman ¡Filtering ¡

\ ¡ Theorem ¡[Sinopoli ¡et ¡al., ¡2004] ¡

UC ¡Berkeley ¡

IntermiQent ¡Kalman ¡Filtering: ¡Vector ¡Systems ¡

¡[Mo ¡and ¡Sinopoli, ¡2008] ¡ InformaGon ¡is ¡a ¡two-­‑dimensional ¡vector ¡space. ¡ We ¡need ¡both ¡even ¡and ¡odd ¡Gme ¡observaGons ¡to ¡decode ¡ Delay ¡Gll ¡we ¡get ¡both ¡kinds ¡of ¡observaGons ¡becomes ¡larger ¡ CriGcal ¡Erasure ¡Probability ¡decreases ¡to ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡from ¡ ¡

UC ¡Berkeley ¡

IntermiQent ¡Kalman ¡Filtering: ¡need ¡enough ¡rank ¡

\ ¡ Theorem ¡[Park ¡and ¡S., ¡2011] ¡ Pe=1 ¡ Stability ¡ Pe=0 ¡ Observability ¡ IntermiQent ¡Kalman ¡Filtering ¡ Sinopoli ¡et ¡al. ¡[2004] ¡ Lyapunov ¡Stability ¡: ¡ Bound ¡on ¡ ¡ Park ¡and ¡S. ¡[2011] ¡ IntermiQent ¡Observability ¡: ¡ Exact ¡CharacterizaGon ¡of ¡

where ¡… ¡

UC ¡Berkeley ¡

Nonuniform ¡sampling ¡= ¡each ¡observaGon ¡adds ¡rank ¡

Gming ¡jiQer ¡ Uniform ¡ Sampling ¡ Nonuniform ¡ Sampling ¡

UC ¡Berkeley ¡

• Noiseless ¡Channels ¡

– Source ¡(and ¡desGnaGon??) ¡

• f ¡informaGon ¡are ¡states. ¡
• Noisy ¡Channels ¡

– Delay ¡is ¡also ¡important. ¡

• Real ¡Erasure ¡Channels ¡

– With ¡linear ¡controllers, ¡ informaGon ¡should ¡be ¡ measured ¡in ¡dimensions. ¡

Summary ¡so ¡far ¡

Actuator ¡

Plant ¡

CommunicaGon ¡ Channel ¡ Observer ¡ InformaGon ¡ Flow ¡

UC ¡Berkeley ¡

• Control ¡over ¡explicit ¡channels: ¡

– Real ¡Erasure ¡Channel ¡(packet ¡drops) ¡

• Implicit ¡Comm ¡in ¡Decentralized ¡control: ¡

– LTI ¡(linear ¡Gme-­‑invariant) ¡controllers ¡ – Nonlinear ¡controllers ¡

Outline: ¡three ¡short ¡vigneQes ¡ ¡

UC ¡Berkeley ¡

Signaling ¡by ¡acGons ¡= ¡Implicit ¡CommunicaGon ¡

Plant ¡

Controller ¡ Controller ¡ Controller ¡ Controller ¡ Informa/on ¡ Flows?? ¡

UC ¡Berkeley ¡

• InformaGon ¡should ¡be ¡measured ¡in ¡dimensions. ¡

The ¡moral ¡of ¡linear ¡network ¡coding ¡

a, ¡b ¡ a ¡ R2 ¡ S ¡ R1 ¡ R3 ¡ R4 ¡

D1 ¡ D2 ¡

b ¡ b ¡ b ¡ a ¡ a ¡ a+b ¡ a+b ¡ a+b ¡ a, ¡b ¡ a, ¡b ¡ a, ¡a+b ¡ a+b, ¡b ¡ Two-­‑dimensional ¡Source ¡ Received ¡ Decoded ¡ Two-­‑dimensional ¡

UC ¡Berkeley ¡

Network ¡coding ¡and ¡decentralized ¡linear ¡systems? ¡

a ¡ R2 ¡ S ¡ R1 ¡ R3 ¡ R4 ¡

D1 ¡ D2 ¡

b ¡ b ¡ b ¡ a ¡ a ¡ a+b ¡ a+b ¡ a+b ¡ a, ¡b ¡ a, ¡b ¡

? ¡

UC ¡Berkeley ¡

LTI ¡Stabilizability ¡of ¡decentralized ¡linear ¡systems ¡

UC ¡Berkeley ¡

Conceptual ¡Example ¡

Controller ¡1 ¡ K1 ¡ Controller ¡2 ¡ K2 ¡ Plant ¡

• State-­‑space ¡representaGon ¡of ¡Decentralized ¡

Control ¡System ¡

UC ¡Berkeley ¡

Conceptual ¡Example ¡

Controller ¡1 ¡ K1 ¡ Controller ¡2 ¡ K2 ¡ Plant ¡

• State-­‑space ¡representaGon ¡of ¡Decentralized ¡

Control ¡System ¡

UC ¡Berkeley ¡

Conceptual ¡Example ¡

Controller ¡1 ¡ K1 ¡ Controller ¡2 ¡ K2 ¡ Plant ¡

• State-­‑space ¡representaGon ¡of ¡Decentralized ¡

Control ¡System ¡

UC ¡Berkeley ¡

Conceptual ¡Example ¡

Controller ¡1 ¡ K1 ¡ Controller ¡2 ¡ K2 ¡ Plant ¡

• State-­‑space ¡representaGon ¡of ¡Decentralized ¡

Control ¡System ¡

UC ¡Berkeley ¡ H’’ ¡ H’ ¡

• LTI ¡Network ¡representaGon ¡of ¡communicaGon ¡

Conceptual ¡Example ¡

Controller ¡1 ¡ K1 ¡ Controller ¡2 ¡ K2 ¡ Plant ¡ K1 ¡ y1 ¡ K2 ¡ x1 ¡ x2 ¡ x1 ¡ x2 ¡ u1 ¡ y2 ¡ u2 ¡ H

UC ¡Berkeley ¡

Conceptual ¡Example ¡

K1 ¡ y1 ¡ K2 ¡ x1 ¡ x2 ¡ x1 ¡ x2 ¡ u1 ¡ y2 ¡ u2 ¡ H H’ ¡ H’’ ¡

Controller ¡ 1 ¡ Controller ¡ 2 ¡

Plant ¡ Decentralized ¡Linear ¡Systems ¡ Relay ¡Communica/on ¡Networks ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡2 ¡ Source ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡2 ¡ DesGnaGon ¡ Controllers ¡ Relays ¡ Remaining ¡States ¡and ¡Bi, ¡Ci ¡ Channels ¡

UC ¡Berkeley ¡

Conceptual ¡Example ¡

K1 ¡ y1 ¡ K2 ¡ x1 ¡ x2 ¡ x1 ¡ x2 ¡ u1 ¡ y2 ¡ u2 ¡ H H’ ¡ H’’ ¡

Controller ¡ 1 ¡ Controller ¡ 2 ¡

Plant ¡ Decentralized ¡Linear ¡Systems ¡ Relay ¡Communica/on ¡Networks ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡2 ¡ Source ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡2 ¡ DesGnaGon ¡ Controllers ¡ Relays ¡ Remaining ¡States ¡and ¡Bi, ¡Ci ¡ Channels ¡ Unstable ¡Subspace ¡associated ¡with ¡eigenvalue ¡2 ¡ Message ¡ Dimension ¡of ¡unstable ¡subspace ¡ ¡ associated ¡with ¡eigenvalue ¡2 ¡ Rate ¡of ¡Message ¡ Stabilizability ¡(Enough ¡implicit ¡communicaGon ¡ for ¡unstable ¡subspace) ¡ Capacity ¡

UC ¡Berkeley ¡

• LTI-­‑Stabilizable ¡since ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡(dimension ¡of ¡x1, ¡x2) ¡ ¡≤ ¡ ¡(capacity ¡of ¡network) ¡ ¡

Conceptual ¡Example ¡

K1 ¡ y1 ¡ K2 ¡ x1 ¡ x2 ¡ x1 ¡ x2 ¡ u1 ¡ y2 ¡ u2 ¡ H H’ ¡ H’’ ¡

Controller ¡ 1 ¡ Controller ¡ 2 ¡

Plant ¡ Decentralized ¡Linear ¡Systems ¡ Relay ¡Communica/on ¡Networks ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡2 ¡ Source ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡2 ¡ DesGnaGon ¡ Controllers ¡ Relays ¡ Remaining ¡States ¡and ¡Bi, ¡Ci ¡ Channels ¡ Stabilizability ¡(Enough ¡implicit ¡communicaGon ¡ for ¡unstable ¡subspace) ¡ Capacity ¡

UC ¡Berkeley ¡ H’ ¡

• Not ¡LTI-­‑Stabilizable ¡since ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡(dimension ¡of ¡x1, ¡x2) ¡ ¡≰ ¡ ¡(capacity ¡of ¡network) ¡ ¡

Conceptual ¡Example ¡

K1 ¡ y1 ¡ K2 ¡ x1 ¡ x2 ¡ x1 ¡ x2 ¡ u1 ¡ y2 ¡ u2 ¡ H H’’ ¡ Contr

• ller ¡1 ¡

Contr

• ller ¡2 ¡

Plant ¡ Decentralized ¡Linear ¡Systems ¡ Relay ¡Communica/on ¡Networks ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡2 ¡ Source ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡2 ¡ DesGnaGon ¡ Controllers ¡ Relays ¡ Remaining ¡States ¡and ¡Bi, ¡Ci ¡ Channels ¡ Stabilizability ¡(Enough ¡implicit ¡communicaGon ¡ for ¡unstable ¡subspace) ¡ Capacity ¡

UC ¡Berkeley ¡

• Stabilizable ¡by ¡LTI ¡controllers ¡since ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡(dimension ¡of ¡x1, ¡x2) ¡ ¡≤ ¡ ¡(capacity ¡of ¡network) ¡ ¡

Conceptual ¡Example ¡

K1 ¡ y1 ¡ K2 ¡ x1 ¡ x2 ¡ x1 ¡ x2 ¡ u1 ¡ y2 ¡ u2 ¡ H H’ ¡ H’’ ¡ Decentralized ¡Linear ¡Systems ¡ Relay ¡Communica/on ¡Networks ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡2 ¡ Source ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡2 ¡ DesGnaGon ¡ Controllers ¡ Relays ¡ Remaining ¡States ¡and ¡Bi, ¡Ci ¡ Channels ¡ Stabilizability ¡(Enough ¡implicit ¡communicaGon ¡ for ¡unstable ¡subspace) ¡ Capacity ¡

UC ¡Berkeley ¡

The ¡general ¡case ¡

Decentralized ¡Linear ¡Systems ¡ Relay ¡Communica/on ¡Networks ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡λ ¡ Source ¡ Unstable ¡States ¡associated ¡with ¡eigenvalue ¡λ ¡ DesGnaGon ¡ Controllers ¡ Relays ¡ Remaining ¡States ¡and ¡Bi, ¡Ci ¡ Channels ¡ Unstable ¡Subspace ¡associated ¡with ¡eigenvalue ¡λ ¡ Message ¡ Number ¡of ¡Jordan ¡blocks ¡associated ¡with ¡ eigenvalue ¡λ ¡ Rate ¡of ¡Message ¡ Stabilizability ¡(Enough ¡implicit ¡communicaGon ¡ for ¡unstable ¡subspace) ¡ Capacity ¡

UC ¡Berkeley ¡

Key ¡idea: ¡realize ¡transfer ¡funcGons ¡as ¡networks ¡

Theorem ¡[Park ¡and ¡S., ¡2011] ¡

UC ¡Berkeley ¡

Witsenhausen’s ¡Counterexample ¡ ¡‘68 ¡

¡

• Nonlinear ¡controllers ¡outperform ¡best ¡linear ¡
• Linear ¡controllers ¡can ¡be ¡arbitrary-­‑factor ¡

worse ¡than ¡Nonlinear ¡ones ¡[MiQer ¡and ¡S. ¡‘99] ¡

UC ¡Berkeley ¡

Witsenhausen’s ¡Counterexample ¡today ¡

• Implicit ¡CommunicaGon ¡from ¡C1 ¡to ¡C2 ¡
• Constant-­‑RaGo ¡Approximate ¡OpGmality ¡

[Grover, ¡Park, ¡S., ¡2012] ¡

• ­‑ Binary ¡linear ¡determinisGc ¡model ¡divides ¡
• ne-­‑dimensional ¡space ¡into ¡bit-­‑levels ¡ ¡

“fracGonal-­‑dimensional ¡subspaces.” ¡

¡

UC ¡Berkeley ¡

Bit-­‑level ¡picture ¡of ¡Witsenhausen’s ¡counterexample ¡

• Can ¡we ¡extend ¡understanding ¡to ¡infinite-­‑horizon? ¡

floaGng ¡ point ¡

UC ¡Berkeley ¡

• Scalar ¡Two-­‑User ¡

Simple ¡decentralized ¡LQG ¡problem ¡

UC ¡Berkeley ¡

• Scalar ¡Two-­‑User ¡with ¡Asymmetric ¡Controllers ¡

– Controller ¡1 ¡has ¡perfect ¡observaGons ¡ – Controller ¡2 ¡has ¡free ¡inputs ¡

Key ¡hard ¡decentralized ¡LQG ¡problem ¡

UC ¡Berkeley ¡

Key ¡hard ¡decentralized ¡LQG ¡problem ¡

C1[0] ¡ C2[0] ¡ C1[1] ¡ C2[1] ¡ C1[2] ¡ C2[2] ¡ C1[n] ¡ C2[n] ¡

Radner’s ¡ Problem ¡ Witsenhausen’s ¡ Counterexample ¡

UC ¡Berkeley ¡

Linear ¡controllers: ¡a ¡determinisGc ¡perspecGve ¡

Time ¡1 ¡ Time ¡2 ¡ Time ¡3 ¡ Time ¡4 ¡

floaGng ¡ point ¡ Noise ¡ level ¡for ¡ ¡ controller ¡2 ¡ Input ¡ constraint ¡for ¡ ¡ controller ¡1 ¡

UC ¡Berkeley ¡

Nonlinear ¡controller ¡

Time ¡1 ¡ Time ¡2 ¡ Time ¡3 ¡ Time ¡4 ¡

floaGng ¡ point ¡ Noise ¡ level ¡for ¡ ¡ controller ¡2 ¡ Input ¡ constraint ¡for ¡ ¡ controller ¡1 ¡

UC ¡Berkeley ¡

Gap ¡between ¡linear ¡and ¡nonlinear ¡

• The ¡raGo ¡between ¡opGmal ¡strategy ¡cost ¡and ¡

linear ¡strategy ¡cost ¡must ¡go ¡to ¡infinity. ¡

UC ¡Berkeley ¡

Gap ¡between ¡linear ¡and ¡nonlinear ¡

0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡

• ­‑5 ¡ -­‑4 ¡ -­‑3 ¡ -­‑2 ¡ -­‑1 ¡ 0 ¡ 1 ¡ 2 ¡ 3 ¡ 4 ¡ 5 ¡

Linear ¡ Nonlinear ¡

UC ¡Berkeley ¡

Approximately ¡OpGmal ¡Strategy ¡

C1[0] ¡ C2[0] ¡ C1[1] ¡ C2[1] ¡ C1[2] ¡ C2[2] ¡ C1[s] ¡ C2[s] ¡

UC ¡Berkeley ¡

Approximately ¡OpGmal ¡Strategy ¡

C1[0] ¡ C2[0] ¡ C1[1] ¡ C2[1] ¡ C1[2] ¡ C2[2] ¡ C1[s] ¡ C2[s] ¡

1-­‑Stage ¡Signaling ¡

UC ¡Berkeley ¡

Approximately ¡OpGmal ¡Strategy ¡

C1[0] ¡ C2[0] ¡ C1[1] ¡ C2[1] ¡ C1[2] ¡ C2[2] ¡ C1[s] ¡ C2[s] ¡

1-­‑Stage ¡Signaling ¡ s-­‑Stage ¡Signaling ¡

UC ¡Berkeley ¡

Approximately ¡OpGmal ¡Strategy ¡

\ ¡ Theorem ¡[Park ¡and ¡S., ¡2012] ¡

UC ¡Berkeley ¡

• There ¡are ¡informaGon ¡flows ¡in ¡control ¡systems. ¡
• InformaGon ¡can ¡explicitly ¡flow ¡through ¡communicaGon ¡

networks, ¡and ¡also ¡implicitly ¡flow ¡through ¡plants. ¡

• In ¡linear ¡systems, ¡informaGon ¡can ¡be ¡measured ¡in ¡

dimensions ¡and ¡network-­‑coding/compressive-­‑sensing ¡ ideas ¡apply. ¡

• To ¡understand ¡nonlinear ¡control ¡of ¡linear ¡systems, ¡one ¡

dimensional ¡space ¡can ¡be ¡resolved ¡into ¡mulGple ¡ fracGonal ¡dimensional ¡“subspaces” ¡by ¡bitwise ¡linear ¡ determinisGc ¡models. ¡

Conclusion ¡

UC ¡Berkeley ¡

• Thanks ¡

UC ¡Berkeley ¡

IntermiQent ¡Kalman ¡Filtering ¡

Back ¡… ¡