r r rts - - PowerPoint PPT Presentation

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

❋r❛♥ç♦✐s✲❳❛✈✐❡r ❉✉♣é ✫ ❙❛♥❞r✐♥❡ ❆♥t❤♦✐♥❡

▲■❋ ✫ ■✷▼ ❆✐①✲▼❛rs❡✐❧❧❡ ❯♥✐✈❡rs✐té ✲ ❈◆❘❙ ✲ ❊❝♦❧❡ ❈❡♥tr❛❧❡ ▼❛rs❡✐❧❧❡✱ ▼❛rs❡✐❧❧❡ ❆◆❘ ●r❡t❛

❙é♠✐♥❛✐r❡ P❛r✐s✐❡♥ ❞❡s ▼❛t❤é♠❛t✐q✉❡s ❆♣♣❧✐q✉é❡s à ❧✬■♠❛❣❡r✐❡✱ ✵✺✴✵✶✴✷✵✶✼

❙♣❛rs❡ ❛♣♣r♦①✐♠❛t✐♦♥

❙♣❛rs✐t② ✐s ❣♦♦❞✱ ❙❛t✉r♥ ✭♦r✐❣✐♥❛❧✮

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷ ✴ ✸✽

❙♣❛rs❡ ❛♣♣r♦①✐♠❛t✐♦♥

❙♣❛rs✐t② ✐s ❣♦♦❞✱ ❙❛t✉r♥ ✭♦r✐❣✐♥❛❧✮ ❙❛t✉r♥ ✭❝♦❡✣❝✐❡♥ts✮

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷ ✴ ✸✽

❙♣❛rs❡ ❛♣♣r♦①✐♠❛t✐♦♥

❙♣❛rs✐t② ✐s ❣♦♦❞✱ ❙❛t✉r♥ ✭♦r✐❣✐♥❛❧✮ ❙❛t✉r♥ ✭2.6% ♦❢ t❤❡ ❝♦❡✣❝✐❡♥ts✮

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷ ✴ ✸✽

❙♣❛rs❡ ❛♣♣r♦①✐♠❛t✐♦♥

❈❧❛ss✐❝❛❧❧② ❋✐♥❞ t❤❡ ❜❡st k✲s♣❛rs❡ ♠✐♥✐♠✐③❡r ♦❢ y ♦♥ t❤❡ ❞✐❝t✐♦♥❛r② Φ✱ min

x∈Rn y − Φx2 2

s✳t✳ x0 k ✭❆✮ ▼♦r❡ ❣❡♥❡r❛❧❧② ❋✐♥❞ t❤❡ ❜❡st ✲s♣❛rs❡ ♠✐♥✐♠✐③❡r✱ s✳t✳ ✭P✮ ❚♦❞❛② ❋✐♥❞ ❛ ✲s♣❛rs❡ ③❡r♦ ♦❢ ❛♥ ♦♣❡r❛t♦r ✭❡✳❣✳ ✮✱ ❋✐♥❞ s✳t ✭◗✮ ✿ ❍✐❧❜❡rt s♣❛❝❡✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸ ✴ ✸✽

❙♣❛rs❡ ❛♣♣r♦①✐♠❛t✐♦♥

❈❧❛ss✐❝❛❧❧② ❋✐♥❞ t❤❡ ❜❡st k✲s♣❛rs❡ ♠✐♥✐♠✐③❡r ♦❢ y ♦♥ t❤❡ ❞✐❝t✐♦♥❛r② Φ✱ min

x∈Rn y − Φx2 2

s✳t✳ x0 k ✭❆✮ ▼♦r❡ ❣❡♥❡r❛❧❧② ❋✐♥❞ t❤❡ ❜❡st k✲s♣❛rs❡ ♠✐♥✐♠✐③❡r✱ min

x∈H f(x)

s✳t✳ x0 k ✭P✮ ❚♦❞❛② ❋✐♥❞ ❛ ✲s♣❛rs❡ ③❡r♦ ♦❢ ❛♥ ♦♣❡r❛t♦r ✭❡✳❣✳ ✮✱ ❋✐♥❞ s✳t ✭◗✮ ✿ ❍✐❧❜❡rt s♣❛❝❡✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸ ✴ ✸✽

❙♣❛rs❡ ❛♣♣r♦①✐♠❛t✐♦♥

❈❧❛ss✐❝❛❧❧② ❋✐♥❞ t❤❡ ❜❡st k✲s♣❛rs❡ ♠✐♥✐♠✐③❡r ♦❢ y ♦♥ t❤❡ ❞✐❝t✐♦♥❛r② Φ✱ min

x∈Rn y − Φx2 2

s✳t✳ x0 k ✭❆✮ ▼♦r❡ ❣❡♥❡r❛❧❧② ❋✐♥❞ t❤❡ ❜❡st k✲s♣❛rs❡ ♠✐♥✐♠✐③❡r✱ min

x∈H f(x)

s✳t✳ x0 k ✭P✮ ❚♦❞❛② ❋✐♥❞ ❛ k✲s♣❛rs❡ ③❡r♦ ♦❢ ❛♥ ♦♣❡r❛t♦r T : H → H ✭❡✳❣✳ T = ∇f✮✱ ❋✐♥❞ x ∈ H s✳t

• x0 k

0 = T(x) ✭◗✮ H✿ ❍✐❧❜❡rt s♣❛❝❡✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸ ✴ ✸✽

▲✐t❡r❛t✉r❡

❍♦✇ t♦ s♦❧✈❡ t❤❡s❡ ♣r♦❜❧❡♠s ❄ ▲✐♥❡❛r s❡tt✐♥❣ ✭❆✮✱ ❛t ❧❡❛st ❢♦✉r ❢❛♠✐❧✐❡s ♦❢ ♠❡t❤♦❞s✱ ❝♦♥✈❡① r❡❧❛①❛t✐♦♥❀ ▼P✱ ❖▼P❀ ❈♦❙❛▼P✱ ❙P❀ ■❍❚✱ ❍❚P✳ ❍♦✇ t♦ ❣❡♥❡r❛❧✐③❡ ❄ ❈♦♥✈❡r❣❡♥❝❡ ❄

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✹ ✴ ✸✽

▲✐t❡r❛t✉r❡

❍♦✇ t♦ s♦❧✈❡ t❤❡s❡ ♣r♦❜❧❡♠s ❄ ▲✐♥❡❛r s❡tt✐♥❣ ✭❆✮✱ ❛t ❧❡❛st ❢♦✉r ❢❛♠✐❧✐❡s ♦❢ ♠❡t❤♦❞s✱ ❝♦♥✈❡① r❡❧❛①❛t✐♦♥❀ ▼P✱ ❖▼P❀ ❈♦❙❛▼P✱ ❙P❀ ■❍❚✱ ❍❚P✳ ❍♦✇ t♦ ❣❡♥❡r❛❧✐③❡ ❄ ❈♦♥✈❡r❣❡♥❝❡ ❄

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✹ ✴ ✸✽

▲✐t❡r❛t✉r❡

❍♦✇ t♦ s♦❧✈❡ t❤❡s❡ ♣r♦❜❧❡♠s ❄ ▲✐♥❡❛r s❡tt✐♥❣ ✭❆✮✱ ❛t ❧❡❛st ❢♦✉r ❢❛♠✐❧✐❡s ♦❢ ♠❡t❤♦❞s✱ ❝♦♥✈❡① r❡❧❛①❛t✐♦♥❀ ▼P✱ ❖▼P❀ ❈♦❙❛▼P✱ ❙P❀ ■❍❚✱ ❍❚P✳ ❍♦✇ t♦ ❣❡♥❡r❛❧✐③❡ ❄ ❈♦♥✈❡r❣❡♥❝❡ ❄

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✹ ✴ ✸✽

▲✐t❡r❛t✉r❡

• ❡♥❡r❛❧✐③❛t✐♦♥ ❢♦r ✭P✮✱

❖▼P ❬❩❤❛♥❣ ✷✵✶✶❪✱

• r❛❙P ❬❇❛❤♠❛♥✐ ❡t✳ ❛❧✳ ✷✵✶✸❪✱

■❍❚✱ ❍❚P ❬❨✉❛♥ ❡t✳ ❛❧✳ ✷✵✶✸❪❀ ❚♦❞❛②✬s t❛❧❦✿

• ♦❛❧ s♦❧✈❡ ✭P✮ ♦r✴❛♥❞ ✭◗✮✱

❆♣♣r♦❛❝❤ ❣r❡❡❞② ✲ t❤❡♦r❡t✐❝❛❧❧② ❣r♦✉♥❞❡❞✱ ✲ ✐♥s♣✐r❡❞ ❜② ❈♦❙❛▼P ❬◆❡❡❞❡❧❧✱ ❚r♦♣♣✱ ✷✵✵✾❪ ❛♥❞ ●r❛❙P ❬❇❛❤♠❛♥✐ ❡t✳ ❛❧✳✱ ✷✵✶✸❪✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✺ ✴ ✸✽

▲✐t❡r❛t✉r❡

• ❡♥❡r❛❧✐③❛t✐♦♥ ❢♦r ✭P✮✱

❖▼P ❬❩❤❛♥❣ ✷✵✶✶❪✱

• r❛❙P ❬❇❛❤♠❛♥✐ ❡t✳ ❛❧✳ ✷✵✶✸❪✱

■❍❚✱ ❍❚P ❬❨✉❛♥ ❡t✳ ❛❧✳ ✷✵✶✸❪❀ ❚♦❞❛②✬s t❛❧❦✿

• ♦❛❧ s♦❧✈❡ ✭P✮ ♦r✴❛♥❞ ✭◗✮✱

❆♣♣r♦❛❝❤ ❣r❡❡❞② ✲ t❤❡♦r❡t✐❝❛❧❧② ❣r♦✉♥❞❡❞✱ ✲ ✐♥s♣✐r❡❞ ❜② ❈♦❙❛▼P ❬◆❡❡❞❡❧❧✱ ❚r♦♣♣✱ ✷✵✵✾❪ ❛♥❞ ●r❛❙P ❬❇❛❤♠❛♥✐ ❡t✳ ❛❧✳✱ ✷✵✶✸❪✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✺ ✴ ✸✽

❚♦❞❛②✬s t♦♣✐❝

✶ ❈♦❙❛▼P ❛♥❞ ✐ts ❣❡♥❡r❛❧✐③❛t✐♦♥s ✷ ❚❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ✸ ❚❤r❡❡ ♦t❤❡r ❣❡♥❡r❛❧✐③❛t✐♦♥s ✹ P♦✐ss♦♥ ◆♦✐s❡ ❘❡♠♦✈❛❧

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✻ ✴ ✸✽

❚♦❞❛②✬s t♦♣✐❝

✶ ❈♦❙❛▼P ❛♥❞ ✐ts ❣❡♥❡r❛❧✐③❛t✐♦♥s

❈♦❙❛▼P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s

• r❛❙P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s
• ❈♦❙❛▼P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s

✷ ❚❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ✸ ❚❤r❡❡ ♦t❤❡r ❣❡♥❡r❛❧✐③❛t✐♦♥s

• ❡♥❡r❛❧✐③❡❞ ❙✉❜s♣❛❝❡ P✉rs✉✐t
• ❡♥❡r❛❧✐③❡❞ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣ P✉rs✉✐t
• ❡♥❡r❛❧✐③❡❞ ■t❡r❛t✐✈❡ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣

✹ P♦✐ss♦♥ ◆♦✐s❡ ❘❡♠♦✈❛❧

▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥ ❊①♣❡r✐♠❡♥ts

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✼ ✴ ✸✽

❖♣t✐♠✐③❛t✐♦♥ ♣r♦❜❧❡♠

▲❡t T : H → H ❜❡ ❛♥ ♦♣❡r❛t♦r k t❤❡ ❡①♣❡❝t❡❞ s♣❛rs✐t②✳

❲❡ ✇✐s❤ t♦ s♦❧✈❡

❋✐♥❞ x ∈ H s✉❝❤ t❤❛t T(x) = 0 ❛♥❞ x0 k . ✭◗✮ ❙♣❡❝✐❛❧ ❝❛s❡✿ ✭◗✮✿ ✜♥❞ ❛ ❝r✐t✐❝❛❧ ♣♦✐♥t ♦❢ t❤❛t ✐s ✲s♣❛rs❡✳ ❘❡❧❛t❡❞ ♣r♦❜❧❡♠✿ ✜♥❞ ❛ ♠✐♥✐♠✐③❡r ♦❢ ❛♠♦♥❣ t❤❡ ✲s♣❛rs❡ ✈❡❝t♦rs✳ ❘❡❧❛t❡❞ ❛❧❣♦r✐t❤♠s✿

✿ ❈♦❙❛▼P✱ ❙P✳ ✳ ✳ ✱ ❝♦♥✈❡①✿ ●r❛❙P✱ ●❖▼P✳ ✳ ✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✽ ✴ ✸✽

❖♣t✐♠✐③❛t✐♦♥ ♣r♦❜❧❡♠

▲❡t T : H → H ❜❡ ❛♥ ♦♣❡r❛t♦r k t❤❡ ❡①♣❡❝t❡❞ s♣❛rs✐t②✳

❲❡ ✇✐s❤ t♦ s♦❧✈❡

❋✐♥❞ x ∈ H s✉❝❤ t❤❛t T(x) = 0 ❛♥❞ x0 k . ✭◗✮ ❙♣❡❝✐❛❧ ❝❛s❡✿ T = ∇f ✭◗✮✿ ✜♥❞ ❛ ❝r✐t✐❝❛❧ ♣♦✐♥t ♦❢ f t❤❛t ✐s k✲s♣❛rs❡✳ ❘❡❧❛t❡❞ ♣r♦❜❧❡♠✿ ✜♥❞ ❛ ♠✐♥✐♠✐③❡r ♦❢ f ❛♠♦♥❣ t❤❡ k✲s♣❛rs❡ ✈❡❝t♦rs✳ ❘❡❧❛t❡❞ ❛❧❣♦r✐t❤♠s✿

◮ T(x) = ∇x(||Φx − y||2

2)✿ ❈♦❙❛▼P✱ ❙P✳ ✳ ✳

◮ T(x) = ∇f(x)✱ f ❝♦♥✈❡①✿ ●r❛❙P✱ ●❖▼P✳ ✳ ✳ ❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✽ ✴ ✸✽

❈♦❙❛▼P ❬◆❡❡❞❡❧❧✱ ❚r♦♣♣✱ ✷✵✵✾❪

• ♦❛❧✿ min

x ||Φx − y||2 2 s✳ t✳ x0 k

❆❧❣♦r✐t❤♠

❘❡q✉✐r❡✿ y✱ Φ✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ g = Φ∗(Φxt − y) ✱

✭s❡❧❡❝t ♥❡✇ ❞✐r❡❝t✐♦♥s✮

G = supp(g|2k) ✱ S = G ∪ supp(xt) ✱

✭s❡t ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

z = Φ†

Sy ✱

✭s♦❧✈❡ ♦♥ ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

T = supp(z|k) ✳

✭s❡t s✉♣♣♦rt✮

xt+1 = z|k ✳

✭❛♣♣r♦①✐♠❛t❡❧② s♦❧✈❡ ♦♥ t❤❡ s✉♣♣♦rt✮

❖✉t♣✉t ✿ xN✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✾ ✴ ✸✽

❈♦❙❛▼P ❬◆❡❡❞❡❧❧✱ ❚r♦♣♣✱ ✷✵✵✾❪

• ♦❛❧✿ min

x ||Φx − y||2 2 s✳ t✳ x0 k

❆❧❣♦r✐t❤♠

❘❡q✉✐r❡✿ y✱ Φ✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ g = Φ∗(Φxt − y) ✱

✭s❡❧❡❝t ♥❡✇ ❞✐r❡❝t✐♦♥s✮

G = supp(g|2k) ✱ S = G ∪ supp(xt) ✱

✭s❡t ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

z = argmin

{x/ supp(x)⊆S}

||Φx − y||2

2 ✱

✭s♦❧✈❡ ♦♥ ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

T = supp(z|k) ✳

✭s❡t s✉♣♣♦rt✮

xt+1 = z|k ✳

✭❛♣♣r♦①✐♠❛t❡❧② s♦❧✈❡ ♦♥ t❤❡ s✉♣♣♦rt✮

❖✉t♣✉t ✿ xN✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✾ ✴ ✸✽

❈♦❙❛▼P ❬◆❡❡❞❡❧❧✱ ❚r♦♣♣✱ ✷✵✵✾❪

• ♦❛❧✿ min

x ||Φx − y||2 2 s✳ t✳ x0 k

❆❧❣♦r✐t❤♠

❘❡q✉✐r❡✿ y✱ Φ✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ G = supp([Φ∗(Φxt − y)]|2k) ✱

✭s❡❧❡❝t ♥❡✇ ❞✐r❡❝t✐♦♥s✮

S = G ∪ supp(xt) ✱

✭s❡t ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

z = argmin

{x/ supp(x)⊆S}

||Φx − y||2

2 ✱

✭s♦❧✈❡ ♦♥ ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

T = supp(z|k) ✳

✭s❡t s✉♣♣♦rt✮

xt+1 = z|k ✳

✭❛♣♣r♦①✐♠❛t❡❧② s♦❧✈❡ ♦♥ t❤❡ s✉♣♣♦rt✮

❖✉t♣✉t ✿ xN✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✾ ✴ ✸✽

❈♦❙❛▼P ❣✉❛r❛♥t❡❡s

• ♦❛❧✿ min

x ||Φx − y||2 2 s✳ t✳ x0 k

❘❡str✐❝t❡❞ ■s♦♠❡tr② Pr♦♣❡rt②

Φ ✐s ❤❛s t❤❡ ❘❡str✐❝t❡❞ ■s♦♠❡tr② Pr♦♣❡rt② ✇✐t❤ ❝♦♥st❛♥t δk ✐❢ ❛♥❞ ♦♥❧② ✐❢ ∀x s✳t✳ card(supp(x)) ≤ k, (1 − δk) x ≤ Φx ≤ (1 + δk) x ❈♦♥s✐❞❡r

❚❤❡♦r❡♠ ✭❈♦❙❛▼P ❡rr♦r ❜♦✉♥❞✮

■❢ ✐s ❤❛s t❤❡ ❘■P ✇✐t❤ ❝♦♥st❛♥t ✱ t❤❡♥ ❛t ✐t❡r❛t✐♦♥ ✱ ✈❡r✐✜❡s ✇✐t❤ t❤❡ ✐♥❝♦♠♣r❡ss✐❜❧❡ ❡rr♦r✿

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✵ ✴ ✸✽

❈♦❙❛▼P ❣✉❛r❛♥t❡❡s

• ♦❛❧✿ min

x ||Φx − y||2 2 s✳ t✳ x0 k

❘❡str✐❝t❡❞ ■s♦♠❡tr② Pr♦♣❡rt②

Φ ✐s ❤❛s t❤❡ ❘❡str✐❝t❡❞ ■s♦♠❡tr② Pr♦♣❡rt② ✇✐t❤ ❝♦♥st❛♥t δk ✐❢ ❛♥❞ ♦♥❧② ✐❢ ∀x s✳t✳ card(supp(x)) ≤ k, (1 − δk) x ≤ Φx ≤ (1 + δk) x ❈♦♥s✐❞❡r y = Φu + e

❚❤❡♦r❡♠ ✭❈♦❙❛▼P ❡rr♦r ❜♦✉♥❞✮

■❢ Φ ✐s ❤❛s t❤❡ ❘■P ✇✐t❤ ❝♦♥st❛♥t δ4k 0.1✱ t❤❡♥ ❛t ✐t❡r❛t✐♦♥ t✱ xt ✈❡r✐✜❡s

• xt − u
• 1

2t u + 20ν , ✇✐t❤ ν t❤❡ ✐♥❝♦♠♣r❡ss✐❜❧❡ ❡rr♦r✿

• u − u|k
• 2 +

1 √ k

• u − u|k
• 1 + e2 .

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✵ ✴ ✸✽

• r❛❞✐❡♥t ❙✉♣♣♦rt P✉rs✉✐t ❬❇❛❤♠❛♥✐ ❡t✳ ❛❧✳✱ ✷✵✶✸❪
• ♦❛❧✿ min

x f(x) s✳ t✳ x0 k

❈♦❙❛▼P

❘❡q✉✐r❡✿ f✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ G = supp([Φ∗(Φxt − y)]|2k) ✱

✭s❡❧❡❝t ♥❡✇ ❞✐r❡❝t✐♦♥s✮

S = G ∪ supp(xt) ✱

✭s❡t ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

z = argmin

{x/ supp(x)⊆S}

||Φx − y||2

2 ✱

✭s♦❧✈❡ ♦♥ ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

T = supp(z|k) ✳

✭s❡t s✉♣♣♦rt✮

xt+1 = z|k ✳

✭❛♣♣r♦①✐♠❛t❡❧② s♦❧✈❡ ♦♥ t❤❡ s✉♣♣♦rt✮

❖✉t♣✉t ✿ xN✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✶ ✴ ✸✽

• r❛❞✐❡♥t ❙✉♣♣♦rt P✉rs✉✐t ❬❇❛❤♠❛♥✐ ❡t✳ ❛❧✳✱ ✷✵✶✸❪
• ♦❛❧✿ min

x f(x) s✳ t✳ x0 k

• r❛❞✐❡♥t ❙✉♣♣♦rt P✉rs✉✐t ✭●r❛❙P✮

❘❡q✉✐r❡✿ f✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ G = supp([∇f(x)]|2k) ✱

✭s❡❧❡❝t ♥❡✇ ❞✐r❡❝t✐♦♥s✮

S = G ∪ supp(xt) ✱

✭s❡t ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

z ∈ argmin

{x/ supp(x)⊆S}

f(x) ✱

✭s♦❧✈❡ ♦♥ ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

T = supp(z|k) ✳

✭s❡t s✉♣♣♦rt✮

xt+1 = z|k ✳

✭❛♣♣r♦①✐♠❛t❡❧② s♦❧✈❡ ♦♥ t❤❡ s✉♣♣♦rt✮

❖✉t♣✉t ✿ xN✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✶ ✴ ✸✽

• r❛❙P ❣✉❛r❛♥t❡❡s
• ♦❛❧✿ min

x f(x) s✳ t✳ x0 k

❙t❛❜❧❡ ❘❡str✐❝t❡❞ ❍❡ss✐❛♥

f ❤❛s ❛ ❙t❛❜❧❡ ❘❡str✐❝t❡❞ ❍❡ss✐❛♥ ✇✐t❤ ❝♦♥st❛♥t µk ✐❢ ❛♥❞ ♦♥❧② ✐❢ Ak(x) Bk(x) ≤ µk, ∀x s✳t✳ card(supp(x)) ≤ k, ✇❤❡r❡ Ak(x) = sup

• y, Hf(x)y

y2

2

| card(supp(x) ∪ supp(y)) ≤ k

• ,

Bk(x) = inf

• y, Hf(x)y

y2

2

| card(supp(x) ∪ supp(y)) ≤ k

• .

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✷ ✴ ✸✽

• r❛❙P ❣✉❛r❛♥t❡❡s
• ♦❛❧✿ min

x f(x) s✳ t✳ x0 k

❚❤❡♦r❡♠ ✭●r❛❙P ❡rr♦r ❜♦✉♥❞✮

f ❤❛s ❛ ❙t❛❜❧❡ ❘❡str✐❝t❡❞ ❍❡ss✐❛♥ ✇✐t❤ ❝♦♥st❛♥t µ4k 1+

√ 3 2

❛♥❞ t❤❡r❡ ❡①✐sts ǫ > 0 s✉❝❤ t❤❛t B4k(u) > ǫ ∀u✱ t❤❡♥ ❛t ✐t❡r❛t✐♦♥ t✱ xt ✈❡r✐✜❡s

• xt − u⋆

1 2t u⋆ + C ǫ

• ∇f(u⋆)|3k
• .

❊rr♦r ❜♦✉♥❞ ❢♦r ♦♥❧② ♦♥❝❡ ✏❞✐✛❡r❡♥t✐❛❜❧❡✑✳ ◆♦t✐♦♥ ♦❢ ❝♦♥✈❡①✐t② r❡str✐❝t❡❞ t♦ ✲s♣❛rs❡ ✈❡❝t♦rs✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✸ ✴ ✸✽

• r❛❙P ❣✉❛r❛♥t❡❡s
• ♦❛❧✿ min

x f(x) s✳ t✳ x0 k

❚❤❡♦r❡♠ ✭●r❛❙P ❡rr♦r ❜♦✉♥❞✮

f ❤❛s ❛ ❙t❛❜❧❡ ❘❡str✐❝t❡❞ ❍❡ss✐❛♥ ✇✐t❤ ❝♦♥st❛♥t µ4k 1+

√ 3 2

❛♥❞ t❤❡r❡ ❡①✐sts ǫ > 0 s✉❝❤ t❤❛t B4k(u) > ǫ ∀u✱ t❤❡♥ ❛t ✐t❡r❛t✐♦♥ t✱ xt ✈❡r✐✜❡s

• xt − u⋆

1 2t u⋆ + C ǫ

• ∇f(u⋆)|3k
• .

❊rr♦r ❜♦✉♥❞ ❢♦r f ♦♥❧② ♦♥❝❡ ✏❞✐✛❡r❡♥t✐❛❜❧❡✑✳ ◆♦t✐♦♥ ♦❢ ❝♦♥✈❡①✐t② r❡str✐❝t❡❞ t♦ k✲s♣❛rs❡ ✈❡❝t♦rs✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✸ ✴ ✸✽

• ❡♥❡r❛❧✐③❡❞ ❈♦❙❛▼P
• ♦❛❧✿ ❋✐♥❞ x ∈ H s✳ t✳ T(x) = 0 ❛♥❞ x0 k
• r❛❞✐❡♥t ❙✉♣♣♦rt P✉rs✉✐t ✭●r❛❙P✮

❘❡q✉✐r❡✿ T✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ G = supp([∇f(x)]|2k) ✱

✭s❡❧❡❝t ♥❡✇ ❞✐r❡❝t✐♦♥s✮

S = G ∪ supp(xt) ✱

✭s❡t ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

z ∈ argmin

{x/ supp(x)⊆S}

f(x) ✱

✭s♦❧✈❡ ♦♥ ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

T = supp(z|k) ✳

✭s❡t s✉♣♣♦rt✮

xt+1 = z|k ✳

✭❛♣♣r♦①✐♠❛t❡❧② s♦❧✈❡ ♦♥ t❤❡ s✉♣♣♦rt✮

❖✉t♣✉t ✿ xN✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✹ ✴ ✸✽

• ❡♥❡r❛❧✐③❡❞ ❈♦❙❛▼P
• ♦❛❧✿ ❋✐♥❞ x ∈ H s✳ t✳ T(x) = 0 ❛♥❞ x0 k
• ❈♦❙❛▼P

❘❡q✉✐r❡✿ T✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ G = supp([T(x)]|2k) ✱

✭s❡❧❡❝t ♥❡✇ ❞✐r❡❝t✐♦♥s✮

S = G ∪ supp(xt) ✱

✭s❡t ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

z s✳ t✳ supp(z) ⊆ S T(z)|S = 0. ✱

✭s♦❧✈❡ ♦♥ ❡①t❡♥❞❡❞ s✉♣♣♦rt✮

T = supp(z|k) ✳

✭s❡t s✉♣♣♦rt✮

xt+1 = z|k ✳

✭❛♣♣r♦①✐♠❛t❡❧② s♦❧✈❡ ♦♥ t❤❡ s✉♣♣♦rt✮

❖✉t♣✉t ✿ xN✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✹ ✴ ✸✽

❯♥✐❢♦r♠ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt②

D1 =   D : H → H, x →

• i

dixiei s✳t✳ ∀x Dx ≥ x    .

❉❡✜♥✐t✐♦♥ ✭❯♥✐❢♦r♠ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt②✮

T ✐s s❛✐❞ t♦ ❤❛✈❡ t❤❡ ❯♥✐❢♦r♠ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ✭❯❘❉P✮ ♦❢ ♦r❞❡r k ✐❢ t❤❡r❡ ❡①✐sts αk > 0 ❛♥❞ ❛ ❞✐❛❣♦♥❛❧ ♦♣❡r❛t♦r Dk ✐♥ D1 s✉❝❤ t❤❛t ∀(x, y) ∈ H2✱ card(supp(x) ∪ supp(y)) k ⇒ T(x) − T(y) − Dk(x − y) αk x − y .

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✺ ✴ ✸✽

❯♥✐❢♦r♠ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt②

D1 =   D : H → H, x →

• i

dixiei s✳t✳ ∀x Dx ≥ x    .

❉❡✜♥✐t✐♦♥ ✭❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt②✮

T ✐s s❛✐❞ t♦ ❤❛✈❡ t❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ✭❘❉P✮ ♦❢ ♦r❞❡r k ✐❢ t❤❡r❡ ❡①✐sts αk > 0 s✉❝❤ t❤❛t ❢♦r ❛❧❧ s✉❜s❡ts S ♦❢ N ♦❢ ❝❛r❞✐♥❛❧ ❛t ♠♦st k✱ t❤❡r❡ ❡①✐sts ❛ ❞✐❛❣♦♥❛❧ ♦♣❡r❛t♦r DS ✐♥ D1 s✉❝❤ t❤❛t ∀(x, y) ∈ H2✱ supp(x) ⊆ S supp(y) ⊆ S

• ⇒

T(x) − T(y) − DS(x − y) αk x − y .

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✺ ✴ ✸✽

• ❡♥❡r❛❧✐③❡❞ ❈♦❙❛▼P
• ♦❛❧✿ ❋✐♥❞ x ∈ H s✳ t✳ T(x) = 0 ❛♥❞ x0 k

❚❤❡♦r❡♠ ✭●❡♥❡r❛❧✐③❡❞ ❈♦❙❛▼P ❡rr♦r ❜♦✉♥❞✮

❉❡♥♦t❡ ❜② x⋆ ❛♥② k✲s♣❛rs❡ ✈❡❝t♦r ❛♥❞ αC =

2 √ 3 − 1✳ ■❢ t❤❡r❡ ❡①✐sts

ρ > 0 s✉❝❤ t❤❛t ρT ❤❛s t❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ♦❢ ♦r❞❡r 4k ✇✐t❤ α4k αC t❤❡♥ ❛t ✐t❡r❛t✐♦♥ t✱ xt ✈❡r✐✜❡s

• xt − x⋆

1 2t x⋆ + 12ρ

• T(x⋆)|3k
• .

✭✶✮

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✻ ✴ ✸✽

❚♦❞❛②✬s t♦♣✐❝

✶ ❈♦❙❛▼P ❛♥❞ ✐ts ❣❡♥❡r❛❧✐③❛t✐♦♥s

❈♦❙❛▼P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s

• r❛❙P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s
• ❈♦❙❛▼P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s

✷ ❚❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ✸ ❚❤r❡❡ ♦t❤❡r ❣❡♥❡r❛❧✐③❛t✐♦♥s

• ❡♥❡r❛❧✐③❡❞ ❙✉❜s♣❛❝❡ P✉rs✉✐t
• ❡♥❡r❛❧✐③❡❞ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣ P✉rs✉✐t
• ❡♥❡r❛❧✐③❡❞ ■t❡r❛t✐✈❡ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣

✹ P♦✐ss♦♥ ◆♦✐s❡ ❘❡♠♦✈❛❧

▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥ ❊①♣❡r✐♠❡♥ts

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✼ ✴ ✸✽

❚❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ❛♥❞ ❘■P

❉❡✜♥✐t✐♦♥ ✭❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt②✮

T ❤❛s ❘❉P ♦❢ ♦r❞❡r k ✿ ∃αk > 0, ∀S ⊆ N✱ ✇✐t❤ |S| ≤ k✱ ∃DS ∈ D1 s✉❝❤ t❤❛t supp(x) ⊆ S & supp(y) ⊆ S ⇒ T(x) − T(y) − DS(x − y) αk x − y . ❆ss✉♠❡ t❤❛t T ❤❛s ❘❉P ♦❢ ♦r❞❡r 2k✱ t❤❡♥ ✐❢ x0 ≤ k ❛♥❞ y0 ≤ k✿ T(x) − T(y) ≥ (1 − α2k) x − y ✭✐♥❥❡❝t✐✈✐t②✮ ✭ ♦r ✐❢ ❡①✐sts✮✳ ✐s ❘■P✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✽ ✴ ✸✽

❚❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ❛♥❞ ❘■P

❉❡✜♥✐t✐♦♥ ✭❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt②✮

T ❤❛s ❘❉P ♦❢ ♦r❞❡r k ✿ ∃αk > 0, ∀S ⊆ N✱ ✇✐t❤ |S| ≤ k✱ ∃DS ∈ D1 s✉❝❤ t❤❛t supp(x) ⊆ S & supp(y) ⊆ S ⇒ T(x) − T(y) − DS(x − y) αk x − y . ❆ss✉♠❡ t❤❛t T ❤❛s ❘❉P ♦❢ ♦r❞❡r 2k✱ t❤❡♥ ✐❢ x0 ≤ k ❛♥❞ y0 ≤ k✿ T(x) − T(y) ≥ (1 − α2k) x − y ✭✐♥❥❡❝t✐✈✐t②✮ (1 − α2k) x − y T(x) − T(y) (D + α2k) x − y ✭D = |||D2k||| ♦r sup |||DS||| ✐❢ ❡①✐sts✮✳ ✐s ❘■P✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✽ ✴ ✸✽

❚❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ❛♥❞ ❘■P

❉❡✜♥✐t✐♦♥ ✭❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt②✮

T ❤❛s ❘❉P ♦❢ ♦r❞❡r k ✿ ∃αk > 0, ∀S ⊆ N✱ ✇✐t❤ |S| ≤ k✱ ∃DS ∈ D1 s✉❝❤ t❤❛t supp(x) ⊆ S & supp(y) ⊆ S ⇒ T(x) − T(y) − DS(x − y) αk x − y . ❆ss✉♠❡ t❤❛t T ❤❛s ❘❉P ♦❢ ♦r❞❡r 2k✱ t❤❡♥ ✐❢ x0 ≤ k ❛♥❞ y0 ≤ k✿ T(x) − T(y) ≥ (1 − α2k) x − y ✭✐♥❥❡❝t✐✈✐t②✮ (1 − α2k) x − y T(x) − T(y) (D + α2k) x − y ✭D = |||D2k||| ♦r sup |||DS||| ✐❢ ❡①✐sts✮✳ T(x) = Φ∗(Φx − z) ⇔ Φ ✐s ❘■P✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✽ ✴ ✸✽

❯♥✐❢♦r♠ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt②✿ ❝❤❛r❛❝t❡r✐③❛t✐♦♥

❚❤❡♦r❡♠

βT ✐s ❯❘❉P ♦❢ ♦r❞❡r k ❢♦r D✱ ✇✐t❤ αk < 1 ❛♥❞ β > 0 ⇔ ∃(m, L) s✉❝❤ t❤❛t 0 < m ❛♥❞ 0 ≤ |||D|||2 − m2 L2 < 1 ❛♥❞ | supp(x) ∪ supp(y)| ≤ k ⇒ T(x) − T(y) ≤ L x − y T(x) − T(y), D(x − y) ≥ m x − y2 . ✲▲✐♣s❝❤✐t③ ♣r♦♣❡rt② ♦♥ s♣❛rs❡ ❡❧❡♠❡♥ts✳ ✿ ✏♠♦♥♦t♦♥❡ ♦♣❡r❛t♦r✑✳ ■❢ ✲▲✐♣s❝❤✐t③ ♣r♦♣❡rt②✿ ❘❡str✐❝t❡❞ ❙tr♦♥❣ ❙♠♦♦t❤♥❡ss✳ ✐❢ ✿ ❘❡str✐❝t❡❞ ❙tr♦♥❣ ❈♦♥✈❡①✐t② r❡❝♦✈❡rs t❤❡ ❝♦♥❞✐t✐♦♥s ♦❢ ❬❇❛❤♠❛♥✐ ❡t✳ ❛❧✳✱ ✷✵✶✸❪✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✾ ✴ ✸✽

❯♥✐❢♦r♠ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt②✿ ❝❤❛r❛❝t❡r✐③❛t✐♦♥

❚❤❡♦r❡♠

βT ✐s ❯❘❉P ♦❢ ♦r❞❡r k ❢♦r D✱ ✇✐t❤ αk < 1 ❛♥❞ β > 0 ⇔ ∃(m, L) s✉❝❤ t❤❛t 0 < m ❛♥❞ 0 ≤ |||D|||2 − m2 L2 < 1 ❛♥❞ | supp(x) ∪ supp(y)| ≤ k ⇒ T(x) − T(y) ≤ L x − y T(x) − T(y), D(x − y) ≥ m x − y2 . L✲▲✐♣s❝❤✐t③ ♣r♦♣❡rt② ♦♥ s♣❛rs❡ ❡❧❡♠❡♥ts✳ D = I✿ ✏♠♦♥♦t♦♥❡ ♦♣❡r❛t♦r✑✳ ■❢ ✲▲✐♣s❝❤✐t③ ♣r♦♣❡rt②✿ ❘❡str✐❝t❡❞ ❙tr♦♥❣ ❙♠♦♦t❤♥❡ss✳ ✐❢ ✿ ❘❡str✐❝t❡❞ ❙tr♦♥❣ ❈♦♥✈❡①✐t② r❡❝♦✈❡rs t❤❡ ❝♦♥❞✐t✐♦♥s ♦❢ ❬❇❛❤♠❛♥✐ ❡t✳ ❛❧✳✱ ✷✵✶✸❪✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✾ ✴ ✸✽

❯♥✐❢♦r♠ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt②✿ ❝❤❛r❛❝t❡r✐③❛t✐♦♥

❚❤❡♦r❡♠

β∇f ✐s ❯❘❉P ♦❢ ♦r❞❡r k ❢♦r D✱ ✇✐t❤ αk < 1 ❛♥❞ β > 0 ⇔ ∃(m, L) s✉❝❤ t❤❛t 0 < m ❛♥❞ 0 ≤ |||D|||2 − m2 L2 < 1 ❛♥❞ | supp(x)∪supp(y)| ≤ k ⇒ ∇f(x) − ∇f(y) ≤ L x − y ∇f(x) − ∇f(y), D(x − y) ≥ m x − y2 . L✲▲✐♣s❝❤✐t③ ♣r♦♣❡rt② ♦♥ s♣❛rs❡ ❡❧❡♠❡♥ts✳ D = I✿ ✏♠♦♥♦t♦♥❡ ♦♣❡r❛t♦r✑✳ ■❢ T = ∇f L✲▲✐♣s❝❤✐t③ ♣r♦♣❡rt②✿ ❘❡str✐❝t❡❞ ❙tr♦♥❣ ❙♠♦♦t❤♥❡ss✳ ✐❢ D = I✿ ❘❡str✐❝t❡❞ ❙tr♦♥❣ ❈♦♥✈❡①✐t② ֒ → r❡❝♦✈❡rs t❤❡ ❝♦♥❞✐t✐♦♥s ♦❢ ❬❇❛❤♠❛♥✐ ❡t✳ ❛❧✳✱ ✷✵✶✸❪✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✶✾ ✴ ✸✽

❚♦❞❛②✬s t♦♣✐❝

✶ ❈♦❙❛▼P ❛♥❞ ✐ts ❣❡♥❡r❛❧✐③❛t✐♦♥s

❈♦❙❛▼P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s

• r❛❙P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s
• ❈♦❙❛▼P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s

✷ ❚❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ✸ ❚❤r❡❡ ♦t❤❡r ❣❡♥❡r❛❧✐③❛t✐♦♥s

• ❡♥❡r❛❧✐③❡❞ ❙✉❜s♣❛❝❡ P✉rs✉✐t
• ❡♥❡r❛❧✐③❡❞ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣ P✉rs✉✐t
• ❡♥❡r❛❧✐③❡❞ ■t❡r❛t✐✈❡ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣

✹ P♦✐ss♦♥ ◆♦✐s❡ ❘❡♠♦✈❛❧

▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥ ❊①♣❡r✐♠❡♥ts

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✵ ✴ ✸✽

• ❡♥❡r❛❧✐③❡❞ ❙✉❜s♣❛❝❡ P✉rs✉✐t
• ❈♦❙❛▼P

❘❡q✉✐r❡✿ T✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ G = supp([T(x)]|2k) ✱ S = G ∪ supp(xt) ✱ z s✳ t✳ supp(z) ⊆ S T(z)|S = 0. ✱ T = supp(z|k) ✳ xt+1 = z|k ✳ ❖✉t♣✉t ✿ xN✳

• ❙P

❘❡q✉✐r❡✿ T✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ G = supp([T(x)]|k) ✱ S = G ∪ supp(xt) ✱ z s✳ t✳ supp(z) ⊆ S T(z)|S = 0. ✱ T = supp(z|k) ✳ xt+1 s✳ t✳ supp(xt+1) ⊆ T T(xt+1)|S = 0. ✳ ❖✉t♣✉t ✿ xN✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✶ ✴ ✸✽

• ❡♥❡r❛❧✐③❡❞ ❙✉❜s♣❛❝❡ P✉rs✉✐t

❚❤❡♦r❡♠ ✭●❡♥❡r❛❧✐③❡❞ ❈♦❙❛▼P ❡rr♦r ❜♦✉♥❞✮

■❢ ρT ❤❛s t❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ♦❢ ♦r❞❡r 4k ✇✐t❤ α4k αC =

2 √ 3 − 1 t❤❡♥ ❛t ✐t❡r❛t✐♦♥ t ♦❢ ●❈♦❙❛▼P✱ xt ✈❡r✐✜❡s

• xt − x⋆

1

2t x⋆ + 12ρ

• T(x⋆)|3k
• .

❚❤❡♦r❡♠ ✭●❡♥❡r❛❧✐③❡❞ ❙✉❜s♣❛❝❡ P✉rs✉✐t ❡rr♦r ❜♦✉♥❞✮

■❢ ρT ❤❛s t❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ♦❢ ♦r❞❡r 3k ✇✐t❤ α3k αS t❤❡♥ ❛t ✐t❡r❛t✐♦♥ t ♦❢ ●❙P✱ xt ✈❡r✐✜❡s

• xt − x⋆

1

2t x⋆ + 12ρ

• T(x⋆)|2k
• .

x⋆ ✐s k✲s♣❛rs❡✳ αS ✐s t❤❡ r❡❛❧ r♦♦t ♦❢ x3 + x2 + 7x − 1✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✷ ✴ ✸✽

• ❡♥❡r❛❧✐③❡❞ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣ P✉rs✉✐t
• ❈♦❙❛▼P

❘❡q✉✐r❡✿ T✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ G = supp([T(x)]|2k) ✱ S = G ∪ supp(xt) ✱ z s✳ t✳ supp(z) ⊆ S T(z)|S = 0. ✱ T = supp(z|k) ✳ xt+1 = z|k ✳ ❖✉t♣✉t ✿ xN✳

• ❍❚P

❘❡q✉✐r❡✿ T✱ k✱ η ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ G = supp([T(x)]|k) ✱ S = G ∪ supp(xt) ✱ z =

• (I − ηT)(xt)
• |S ✱

T = supp(z|k) ✳ xt+1 s✳ t✳ supp(xt+1) ⊆ T T(xt+1)|S = 0. ✳ ❖✉t♣✉t ✿ xN✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✸ ✴ ✸✽

• ❡♥❡r❛❧✐③❡❞ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣ P✉rs✉✐t

❚❤❡♦r❡♠ ✭●❡♥❡r❛❧✐③❡❞ ❈♦❙❛▼P ❡rr♦r ❜♦✉♥❞✮

■❢ ρT ❤❛s t❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ♦❢ ♦r❞❡r 4k ✇✐t❤ α4k αC =

2 √ 3 − 1 t❤❡♥ ❛t ✐t❡r❛t✐♦♥ t ♦❢ ●❈♦❙❛▼P✱ xt ✈❡r✐✜❡s

• xt − x⋆

1

2t x⋆ + 12ρ

• T(x⋆)|3k
• .

❚❤❡♦r❡♠ ✭●❡♥❡r❛❧✐③❡❞ ❍❚P ❡rr♦r ❜♦✉♥❞✮

■❢ T ❤❛s t❤❡ ❯♥✐❢♦r♠ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ♦❢ ♦r❞❡r 2k ✇✐t❤ D2k = I✱ α2k αH ❛♥❞ 3

4 < η < 5 4✱ t❤❡♥ ❛t ✐t❡r❛t✐♦♥ t ♦❢ ●❍❚P✱ xt

✈❡r✐✜❡s

• xt − x⋆

1

2t x⋆ + 2 (1+2η)(1−α2k)+4 (1−α2k)2

• T(x⋆)|2k
• .

✭✷✮ x⋆ ✐s k✲s♣❛rs❡✳ αH = 7 − 2 √ 11✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✹ ✴ ✸✽

• ❡♥❡r❛❧✐③❡❞ ■t❡r❛t✐✈❡ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣
• ❈♦❙❛▼P

❘❡q✉✐r❡✿ T✱ k ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ G = supp([T(x)]|2k) ✱ S = G ∪ supp(xt) ✱ z s✳ t✳ supp(z) ⊆ S T(z)|S = 0. ✱ T = supp(z|k) ✳ xt+1 = z|k ✳ ❖✉t♣✉t ✿ xN✳

• ■❍❚

❘❡q✉✐r❡✿ T✱ k✱ η ✳ ■♥✐t✐❛❧✐③❛t✐♦♥✿ x0 = 0 ✳ ❋♦r t = 0 t♦ N − 1✱ z = (I − ηT)(xt) ✱ T = supp(z|k) ✳ xt+1 = z|k ✳ ❖✉t♣✉t ✿ xN✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✺ ✴ ✸✽

• ❡♥❡r❛❧✐③❡❞ ■t❡r❛t✐✈❡ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣

❚❤❡♦r❡♠ ✭●❡♥❡r❛❧✐③❡❞ ❈♦❙❛▼P ❡rr♦r ❜♦✉♥❞✮

■❢ ρT ❤❛s t❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ♦❢ ♦r❞❡r 4k ✇✐t❤ α4k αC =

2 √ 3 − 1 t❤❡♥ ❛t ✐t❡r❛t✐♦♥ t ♦❢ ●❈♦❙❛▼P✱ xt ✈❡r✐✜❡s

• xt − x⋆

1

2t x⋆ + 12ρ

• T(x⋆)|3k
• .

❚❤❡♦r❡♠ ✭●❡♥❡r❛❧✐③❡❞ ■❍❚ ❡rr♦r ❜♦✉♥❞✮

■❢ T ❤❛s t❤❡ ❯♥✐❢♦r♠ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ♦❢ ♦r❞❡r 2k ✇✐t❤ D2k = I✱ 3

4 < η < 5 4 ❛♥❞ α2k αη t❤❡♥ ❛t ✐t❡r❛t✐♦♥ t ♦❢ ●■❍❚✱ xt

✈❡r✐✜❡s

• xt − x⋆

1

2t x⋆ + 4η

• T(x⋆)|3k
• .

x⋆ ✐s k✲s♣❛rs❡✳ αη =

1−4|η−1| 4(1+|η−1|)✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✻ ✴ ✸✽

❆❜♦✉t t❤❡s❡ ❡rr♦r ❜♦✉♥❞s

❋♦r ❛❧❧ ❢♦✉r ❛❧❣♦r✐t❤♠s

• ✉❛r❛♥t❡❡❞ ❝♦♥✈❡r❣❡♥❝❡ t♦ ✉♥✐q✉❡ s♦❧✉t✐♦♥ ✐❢ ✐t ❡①✐sts✱ ❛t ❛♥

❡①♣♦♥❡♥t✐❛❧ r❛t❡✳ ■♥❝♦♠♣r❡ss✐❜❧❡ ❡rr♦r ♦❢ t❤❡ ❢♦r♠

• T(x)|·k
• ✳

❋♦r ●❈♦❙❛▼P ❛♥❞ ●❙P ■♥✈❛r✐❛♥❝❡ t♦ s❝❛❧✐♥❣ ♦❢ t❤❡ ❛❧❣♦r✐t❤♠✱ ♥♦ ♣❛r❛♠❡t❡rs t♦ s❡t✳

• ✉❛r❛♥t❡❡ ✐♥ t❤❡ ❘❉P ❝❛s❡ ✭♥♦ ✏♠♦♥♦t♦♥✐❝✐t②✑ ♦❢

♦r ✏❝♦♥✈❡①✐t②✑ ♦❢ r❡q✉✐r❡❞✮✳ ❋♦r ●❍❚P ❛♥❞ ●■❍❚ ❘❡q✉✐r❡s ❝❛r❡❢✉❧ s❡tt✐♥❣ ♦❢ t❤❡ st❡♣ ✇✳r✳t t♦ ✳

• ✉❛r❛♥t❡❡ ♦♥❧② ✐♥ t❤❡ ❯❘❉P ❝❛s❡ ✇✐t❤

✭✏♠♦♥♦t♦♥✐❝✐t②✑ ♦❢ ♦r ✏❝♦♥✈❡①✐t②✑ ♦❢ r❡q✉✐r❡❞✮✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✼ ✴ ✸✽

❆❜♦✉t t❤❡s❡ ❡rr♦r ❜♦✉♥❞s

❋♦r ❛❧❧ ❢♦✉r ❛❧❣♦r✐t❤♠s

• ✉❛r❛♥t❡❡❞ ❝♦♥✈❡r❣❡♥❝❡ t♦ ✉♥✐q✉❡ s♦❧✉t✐♦♥ ✐❢ ✐t ❡①✐sts✱ ❛t ❛♥

❡①♣♦♥❡♥t✐❛❧ r❛t❡✳ ■♥❝♦♠♣r❡ss✐❜❧❡ ❡rr♦r ♦❢ t❤❡ ❢♦r♠

• T(x)|·k
• ✳

❋♦r ●❈♦❙❛▼P ❛♥❞ ●❙P ■♥✈❛r✐❛♥❝❡ t♦ s❝❛❧✐♥❣ ♦❢ t❤❡ ❛❧❣♦r✐t❤♠✱ ♥♦ ♣❛r❛♠❡t❡rs t♦ s❡t✳

• ✉❛r❛♥t❡❡ ✐♥ t❤❡ ❘❉P ❝❛s❡ ✭♥♦ ✏♠♦♥♦t♦♥✐❝✐t②✑ ♦❢ T ♦r ✏❝♦♥✈❡①✐t②✑

♦❢ f r❡q✉✐r❡❞✮✳ ❋♦r ●❍❚P ❛♥❞ ●■❍❚ ❘❡q✉✐r❡s ❝❛r❡❢✉❧ s❡tt✐♥❣ ♦❢ t❤❡ st❡♣ ✇✳r✳t t♦ ✳

• ✉❛r❛♥t❡❡ ♦♥❧② ✐♥ t❤❡ ❯❘❉P ❝❛s❡ ✇✐t❤

✭✏♠♦♥♦t♦♥✐❝✐t②✑ ♦❢ ♦r ✏❝♦♥✈❡①✐t②✑ ♦❢ r❡q✉✐r❡❞✮✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✼ ✴ ✸✽

❆❜♦✉t t❤❡s❡ ❡rr♦r ❜♦✉♥❞s

❋♦r ❛❧❧ ❢♦✉r ❛❧❣♦r✐t❤♠s

• ✉❛r❛♥t❡❡❞ ❝♦♥✈❡r❣❡♥❝❡ t♦ ✉♥✐q✉❡ s♦❧✉t✐♦♥ ✐❢ ✐t ❡①✐sts✱ ❛t ❛♥

❡①♣♦♥❡♥t✐❛❧ r❛t❡✳ ■♥❝♦♠♣r❡ss✐❜❧❡ ❡rr♦r ♦❢ t❤❡ ❢♦r♠

• T(x)|·k
• ✳

❋♦r ●❈♦❙❛▼P ❛♥❞ ●❙P ■♥✈❛r✐❛♥❝❡ t♦ s❝❛❧✐♥❣ ♦❢ t❤❡ ❛❧❣♦r✐t❤♠✱ ♥♦ ♣❛r❛♠❡t❡rs t♦ s❡t✳

• ✉❛r❛♥t❡❡ ✐♥ t❤❡ ❘❉P ❝❛s❡ ✭♥♦ ✏♠♦♥♦t♦♥✐❝✐t②✑ ♦❢ T ♦r ✏❝♦♥✈❡①✐t②✑

♦❢ f r❡q✉✐r❡❞✮✳ ❋♦r ●❍❚P ❛♥❞ ●■❍❚ ❘❡q✉✐r❡s ❝❛r❡❢✉❧ s❡tt✐♥❣ ♦❢ t❤❡ st❡♣ η ✇✳r✳t t♦ T✳

• ✉❛r❛♥t❡❡ ♦♥❧② ✐♥ t❤❡ ❯❘❉P ❝❛s❡ ✇✐t❤ D = I ✭✏♠♦♥♦t♦♥✐❝✐t②✑ ♦❢

T ♦r ✏❝♦♥✈❡①✐t②✑ ♦❢ f r❡q✉✐r❡❞✮✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✼ ✴ ✸✽

❚♦❞❛②✬s t♦♣✐❝

✶ ❈♦❙❛▼P ❛♥❞ ✐ts ❣❡♥❡r❛❧✐③❛t✐♦♥s

❈♦❙❛▼P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s

• r❛❙P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s
• ❈♦❙❛▼P ❛♥❞ ✐ts ❣✉❛r❛♥t❡❡s

✷ ❚❤❡ ❘❡str✐❝t❡❞ ❉✐❛❣♦♥❛❧ Pr♦♣❡rt② ✸ ❚❤r❡❡ ♦t❤❡r ❣❡♥❡r❛❧✐③❛t✐♦♥s

• ❡♥❡r❛❧✐③❡❞ ❙✉❜s♣❛❝❡ P✉rs✉✐t
• ❡♥❡r❛❧✐③❡❞ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣ P✉rs✉✐t
• ❡♥❡r❛❧✐③❡❞ ■t❡r❛t✐✈❡ ❍❛r❞ ❚❤r❡s❤♦❧❞✐♥❣

✹ P♦✐ss♦♥ ◆♦✐s❡ ❘❡♠♦✈❛❧

▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥ ❊①♣❡r✐♠❡♥ts

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✽ ✴ ✸✽

❋♦r✇❛r❞ ♠♦❞❡❧

❚❤❡ ♦❜s❡r✈❡❞ ❞❛t❛ y ✐s ❛ P♦✐ss♦♥ ♥♦✐s❡ ❝♦rr✉♣t❡❞ ✈❡rs✐♦♥ ♦❢ x✱ y ∼ P(x) .

❙♣❛rs✐t② ❛ss✉♠♣t✐♦♥

x = Φα ✇✐t❤ α0 k ❛♥❞ k << n. ✇✐t❤ y t❤❡ ♦❜s❡r✈❛t✐♦♥ ✭❡✳❣✳ ❛ √n × √n ✐♠❛❣❡✮✱ x t❤❡ tr✉❡ ✐♠❛❣❡✱ Φ ∈ Rn×d ❛ ❞✐❝t✐♦♥❛r② ✭r❡❞✉♥❞❛♥t ✐❢ d > n✮✱ α ❝♦❡✣❝✐❡♥ts t♦ ❜❡ ❢♦✉♥❞ ✭x = Φα✮✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✷✾ ✴ ✸✽

❘❡❣✉❧❛r✐③❡❞ ❙♣❛rs❡ P♦✐ss♦♥ ❞❡♥♦✐s✐♥❣

❲r✐t✐♥❣ Fy(x) = − log P(y|x)✱ ♦♥❡ ♥❛t✉r❛❧❧② s❡❡❦s t♦

▼✐♥✐♠✐③❡ t❤❡ ♥❡❣✲❧♦❣✲❧✐❦❡❧✐❤♦♦❞ ✉♥❞❡r ❛ s♣❛rs✐t② ❝♦♥str❛✐♥t

min

α∈Rd Fy(Φ(α))

s✳ t✳ α0 k . Fy : x ∈ Rn →

n

• i=1

fi

y(x[i])✱ ✇✐t❤

fi

y(ξ) =

     −y[i] log(ξ) + ξ ✐❢ y[i] > 0 ❛♥❞ ξ > 0, ξ ✐❢ y[i] = 0 ❛♥❞ ξ 0, +∞ ♦t❤❡r✇✐s❡✳ ■ss✉❡s ✿ ♥♦ ❢✉❧❧ ❞♦♠❛✐♥✱ ♥♦ t♦❧❡r❛♥❝❡ ✐❢ ❛ ♣✐①❡❧ ✐s r❡♠♦✈❡❞ ✭s❡t t♦ ✵✮✱ ♥♦♥✲▲✐♣s❝❤✐t③ ❣r❛❞✐❡♥t✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✵ ✴ ✸✽

❘❡❣✉❧❛r✐③❡❞ ❙♣❛rs❡ P♦✐ss♦♥ ❞❡♥♦✐s✐♥❣

❲r✐t✐♥❣ Fy(x) = − log P(y|x)✱ ♦♥❡ ♥❛t✉r❛❧❧② s❡❡❦s t♦

▼✐♥✐♠✐③❡ t❤❡ ♥❡❣✲❧♦❣✲❧✐❦❡❧✐❤♦♦❞ ✉♥❞❡r ❛ s♣❛rs✐t② ❝♦♥str❛✐♥t

min

α∈Rd Fy(Φ(α))

s✳ t✳ α0 k . Fy : x ∈ Rn →

n

• i=1

fi

y(x[i])✱ ✇✐t❤

fi

y(ξ) =

     −y[i] log(ξ) + ξ ✐❢ y[i] > 0 ❛♥❞ ξ > 0, ξ ✐❢ y[i] = 0 ❛♥❞ ξ 0, +∞ ♦t❤❡r✇✐s❡✳ ■ss✉❡s ✿ ♥♦ ❢✉❧❧ ❞♦♠❛✐♥✱ ♥♦ t♦❧❡r❛♥❝❡ ✐❢ ❛ ♣✐①❡❧ ✐s r❡♠♦✈❡❞ ✭s❡t t♦ ✵✮✱ ♥♦♥✲▲✐♣s❝❤✐t③ ❣r❛❞✐❡♥t✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✵ ✴ ✸✽

❘❡❣✉❧❛r✐③❡❞ ❙♣❛rs❡ P♦✐ss♦♥ ❞❡♥♦✐s✐♥❣

■♥st❡❛❞✱ ✇❡ ♣r♦♣♦s❡

▼✐♥✳ ❛ r❡❣✉❧❛r✐③❡❞ ♥❡❣✲❧♦❣✲❧✐❦❡❧✐❤♦♦❞ ✉♥❞❡r ❛ s♣❛rs✐t② ❝♦♥str❛✐♥t

min

α∈Rd Mλ,Fy(Φ(α))

s✳ t✳ α0 k . ✇❤✐❝❤ ✐s ❡q✉✐✈❛❧❡♥t t♦ ❯s✐♥❣ ●❈♦❙❛▼P✴●❙P ✇✐t❤ T =

1 νλΦ∗ ◦ (I − proxνλFy) ◦ Φ

Mλ,f ✐s t❤❡ ▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥ ♦❢ f ✇✐t❤ ♣❛r❛♠❡t❡r λ✳ proxf ✐s t❤❡ ♣r♦①✐♠❛❧ ♦♣❡r❛t♦r✳ ν ✐s t❤❡ ❢r❛♠❡ ❜♦✉♥❞ ❢♦r Φ✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✶ ✴ ✸✽

❊①♣❡r✐♠❡♥ts

❲❡ ❝♦♠♣❛r❡ ✉s✐♥❣ ●❙P✱ ●❈♦❙❛▼P✱ ●❍❚P ♦r ●■❍❚ t♦ s♦❧✈❡ min

α∈Rd Mλ,Fy◦Φ(α)

s✳ t✳ α0 k , t♦ ❙✉❜s♣❛❝❡ P✉rs✉✐t ✭❙P✮✿❬❉❛✐ ❛♥❞ ▼✐❧❡♥❦♦✈✐❝✱ ✷✵✵✾❪ s✳ t✳ ✲r❡❧❛①❛t✐♦♥✿ ✉s✐♥❣ ❋♦r✇❛r❞✲❇❛❝❦✇❛r❞✲❋♦r✇❛r❞ ♣r✐♠❛❧✲❞✉❛❧ ❛❧❣♦r✐t❤♠ ❬❈♦♠❜❡tt❡s ❡t✳ ❛❧✳ ✷✵✶✷❪ t♦ s♦❧✈❡ ❙❆❋■❘✿ ❛❞❛♣t❛t✐♦♥ ♦❢ ❇▼✸❉ ❬❇♦✉❧❛♥❣❡r ❡t ❛❧✳✱ ✷✵✶✵❪✳ ▼❙❱❙❚✿ ✈❛r✐❛♥❝❡✲st❛❜✐❧✐③✐♥❣ ♠❡t❤♦❞ ❬❩❤❛♥❣ ❡t ❛❧✳✱ ✷✵✵✽❪✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✷ ✴ ✸✽

❊①♣❡r✐♠❡♥ts

❲❡ ❝♦♠♣❛r❡ ✉s✐♥❣ ●❙P✱ ●❈♦❙❛▼P✱ ●❍❚P ♦r ●■❍❚ t♦ s♦❧✈❡ min

α∈Rd Mλ,Fy◦Φ(α)

s✳ t✳ α0 k , t♦ ❙✉❜s♣❛❝❡ P✉rs✉✐t ✭❙P✮✿❬❉❛✐ ❛♥❞ ▼✐❧❡♥❦♦✈✐❝✱ ✷✵✵✾❪ min

α∈Rd Φ(α) − y2 2

s✳ t✳ α0 k , l1✲r❡❧❛①❛t✐♦♥✿ ✉s✐♥❣ ❋♦r✇❛r❞✲❇❛❝❦✇❛r❞✲❋♦r✇❛r❞ ♣r✐♠❛❧✲❞✉❛❧ ❛❧❣♦r✐t❤♠ ❬❈♦♠❜❡tt❡s ❡t✳ ❛❧✳ ✷✵✶✷❪ t♦ s♦❧✈❡ min

α∈Rd Fy ◦ Φ(α) + γ α1 ,

❙❆❋■❘✿ ❛❞❛♣t❛t✐♦♥ ♦❢ ❇▼✸❉ ❬❇♦✉❧❛♥❣❡r ❡t ❛❧✳✱ ✷✵✶✵❪✳ ▼❙❱❙❚✿ ✈❛r✐❛♥❝❡✲st❛❜✐❧✐③✐♥❣ ♠❡t❤♦❞ ❬❩❤❛♥❣ ❡t ❛❧✳✱ ✷✵✵✽❪✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✷ ✴ ✸✽

❈♦♠♣❛r✐♥❣ ❣r❡❡❞② l0 ❛♥❞ l1 r❡s✉❧ts

✭❛✮ ❖r✐❣✐♥❛❧ ✭❜✮ ◆♦✐s② ✭❝✮ ●❙P ✭❞✮ ●❍❚P ✭❡✮ ●❈♦❙❛▼P

❋✐❣✉r❡ ✿ ❈❛♠❡r❛♠❛♥✱ ♠❛①✐♠❛❧ ✐♥t❡♥s✐t② ✸✵✱ ✉♥❞❡❝✐♠❛t❡❞ ✇❛✈❡❧❡t tr❛♥s❢♦r♠✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✸ ✴ ✸✽

❈♦♠♣❛r✐♥❣ ❣r❡❡❞② l0 ❛♥❞ l1 r❡s✉❧ts

✭❝✮ ●❙P ✭❞✮ ●❍❚P ✭❡✮ ●❈♦❙❛▼P ✭❢✮ ●■❍❚ ✭❣✮ ℓ1 ♠❡t❤♦❞

❋✐❣✉r❡ ✿ ❈❛♠❡r❛♠❛♥✱ ♠❛①✐♠❛❧ ✐♥t❡♥s✐t② ✸✵✱ ✉♥❞❡❝✐♠❛t❡❞ ✇❛✈❡❧❡t tr❛♥s❢♦r♠✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✸ ✴ ✸✽

■♥✢✉❡♥❝❡ ♦❢ λ ✐♥ Mλ,·

❖r✐❣✐♥❛❧ ◆♦✐s② λ = 10✱ ▼❆❊❂✵✳✽✶ λ = 0.1✱ ▼❆❊❂✵✳✼✹ ▼❛①✐♠❛❧ ■♥t❡♥s✐t②✿ ✶✵✱ k✿ ✶✺✵✵✱ Φ✿ ❝②❝❧❡✲s♣✐♥♥✐♥❣ ✇❛✈❡❧❡t tr❛♥s❢♦r♠✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✹ ✴ ✸✽

❘❡s✉❧ts

✭❛✮ ❖r✐❣✐♥❛❧ ✭❜✮ ◆♦✐s② ✭❝✮ ●❙P ✭❞✮ ❙P ✭❡✮ ℓ1✲r❡❧❛①❛t✐♦♥

❋✐❣✉r❡ ✿ ◆●❈ ✷✾✾✼ ●❛❧❛①② ✐♠❛❣❡✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✺ ✴ ✸✽

❘❡s✉❧ts

✭❝✮ ●❙P ✭❞✮ ❙P ✭❡✮ ℓ1✲r❡❧❛①❛t✐♦♥ ✭❢✮ ❙❆❋■❘ ✭❣✮ ▼❙❱❙❚

❋✐❣✉r❡ ✿ ◆●❈ ✷✾✾✼ ●❛❧❛①② ✐♠❛❣❡✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✺ ✴ ✸✽

◆✉♠❡r✐❝❛❧ r❡s✉❧ts

❙♣❛rs❡ ❈❛♠❡r❛♠❛♥

• ❛❧❛①②

▼❆❊ ❙❙■▼ ▼❆❊ ❙❙■▼ ◆♦✐s② ✶✳✺✼ ✵✳✷✺✷ ✵✳✻✸ ✵✳✶✾

• ❙P

✵✳✷✺✷ ✵✳✽✼ ✵✳✶✼ ✵✳✼✶ ❙P ✵✳✺✺ ✵✳✻✸ ✵✳✷✽ ✵✳✺✺ ❙❆❋■❘ ✵✳✷✺✻ ✵✳✽✻ ✵✳✶✺ ✵✳✽✹ ▼❙❱❙❚ ✵✳✷✺✶ ✵✳✽✹ ✵✳✶✷ ✵✳✽✸ ℓ1✲r❡❧❛①❛t✐♦♥ ✵✳✻✹ ✵✳✼✸ ✵✳✷✺✷ ✵✳✺✵

❚❛❜❧❡ ✿ ❈♦♠♣❛r✐s♦♥ ♦❢ ❞❡♥♦✐s✐♥❣ ♠❡t❤♦❞s ♦♥ ❛ s♣❛rs❡ ✈❡rs✐♦♥ ♦❢ ❈❛♠❡r❛♠❛♥ ✭k/n = 0.15✮ ❛♥❞ t❤❡ ◆●❈ ✷✾✾✼ ●❛❧❛①②✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✻ ✴ ✸✽

❚❛❦❡ ❛✇❛② ♠❡ss❛❣❡s

❲❡ ❤❛✈❡ ♣r❡s❡♥t❡❞ ❛ ❣❡♥❡r❛❧ ❣r❡❡❞② ♦♣t✐♠✐③❛t✐♦♥ ❛❧❣♦r✐t❤♠s✱ ✇✐t❤ t❤❡♦r❡t✐❝❛❧ ❣✉❛r❛♥t❡❡s❀ ❛♣♣❧✐❡❞ ✐t t♦ ❛ ▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥ ♦❢ P♦✐ss♦♥ ❧✐❦❡❧✐❤♦♦❞❀ s❤♦✇♥ ❡♥❝♦✉r❛❣✐♥❣ r❡s✉❧ts ❢♦r P♦✐ss♦♥ ❞❡♥♦✐s✐♥❣✳ P❡rs♣❡❝t✐✈❡s ✐♥❝❧✉❞❡s ❛♣♣❧✐❝❛t✐♦♥ ✐♥ ♦t❤❡r ❦♥♦✇♥ s❡tt✐♥❣s s✉❝❤ ❛s ❞✐❝t✐♦♥❛r② ❧❡❛r♥✐♥❣✱ ❛❞❞✐t✐♦♥❛❧ r❡❣✉❧❛r✐③❛t✐♦♥✳ ✳ ✳ ❣❛✐♥ ✉♥❞❡rst❛♥❞✐♥❣ ♦♥ t❤❡ ❜❡❤❛✈✐♦r ♦❢ ●❈♦❙❛▼P✱ ●❙P ❛♥❞ ❝♦✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✼ ✴ ✸✽

❚❤❛♥❦s ❢♦r ②♦✉r ❛tt❡♥t✐♦♥✳ ❆♥② q✉❡st✐♦♥s ❄

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✽ ✴ ✸✽

▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥

❉❡✜♥✐t✐♦♥ ✭▲❡♠❛ré❝❤❛❧ ❡t ❛❧✱ ✶✾✾✼✮

▲❡t f : Rd → R ∪ {+∞} ❜❡ ❛ ♣r♦♣❡r✱ ❝♦♥✈❡① ❛♥❞ ❧♦✇❡r s❡♠✐✲❝♦♥t✐♥✉♦✉s ❢✉♥❝t✐♦♥✳ ❚❤❡ ▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥ ♦❢ f ✇✐t❤ ♣❛r❛♠❡t❡r λ ✐s✿ Mλ,f : Rd → R, s → inf

x∈Rd

1

2λ||s − x||2 + f(x)

• ❘❡♠❛r❦s✿

❚❤❡ ❣r❛❞✐❡♥t ♦❢ ✐s ❧✐♥❦❡❞ ✇✐t❤ ♣r♦①✐♠❛❧ ♦♣❡r❛t♦r✳ r❡❣✉❧❛t❡s t❤❡ s✐♠✐❧❛r✐t② ❜❡t✇❡❡♥ ❛♥❞ ✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✾ ✴ ✸✽

▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥

❉❡✜♥✐t✐♦♥ ✭▲❡♠❛ré❝❤❛❧ ❡t ❛❧✱ ✶✾✾✼✮

▲❡t f : Rd → R ∪ {+∞} ❜❡ ❛ ♣r♦♣❡r✱ ❝♦♥✈❡① ❛♥❞ ❧♦✇❡r s❡♠✐✲❝♦♥t✐♥✉♦✉s ❢✉♥❝t✐♦♥✳ ❚❤❡ ▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥ ♦❢ f ✇✐t❤ ♣❛r❛♠❡t❡r λ ✐s✿ Mλ,f : Rd → R, s → inf

x∈Rd

1

2λ||s − x||2 + f(x)

• ❘❡♠❛r❦s✿

❚❤❡ ❣r❛❞✐❡♥t ♦❢ Mλ,f ✐s ❧✐♥❦❡❞ ✇✐t❤ ♣r♦①✐♠❛❧ ♦♣❡r❛t♦r✳ λ r❡❣✉❧❛t❡s t❤❡ s✐♠✐❧❛r✐t② ❜❡t✇❡❡♥ f ❛♥❞ Mλ,f✳

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✾ ✴ ✸✽

• r❛❞✐❡♥t ❢♦r t❤❡ ▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥ ♦❢ P♦✐ss♦♥

❧✐❦❡❧✐❤♦♦❞

Pr♦♣♦s✐t✐♦♥ ✭❈♦♠❜❡tt❡s ❛♥❞ P❡sq✉❡t✱ ✷✵✵✼✮

▲❡t Φ ✐s ❛ t✐❣❤t ❢r❛♠❡ ✭✐✳❡✳ ∃ ν > 0✱ s✉❝❤ t❤❛t Φ ◦ Φ∗ = νI✮✱ t❤❡♥ t❤❡ ❣r❛❞✐❡♥t ♦❢ t❤❡ ▼♦r❡❛✉✲❨♦s✐❞❛ r❡❣✉❧❛r✐③❛t✐♦♥ ♦❢ Fy ◦ Φ ✐s✿ ∇Mλ,Fy◦Φ(x) =

1 νλΦ∗ ◦ (I − proxνλFy) ◦ Φ

✇✐t❤

proxνλFy(x)[i] = x[i] − νλ +

• |x[i] − νλ|2 + 4νλy[i]

2

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✾ ✴ ✸✽

❖♣t✐♠✐③❛t✐♦♥ ♣r♦❜❧❡♠

min

α∈Rd Mλ,Fy◦Φ(α)

s✳ t✳ α0 k ✭P✮, ✇✐t❤✱ Φ t❤❡ ❞✐❝t✐♦♥❛r②✱ λ t❤❡ r❡❣✉❧❛r✐③❛t✐♦♥ ♣❛r❛♠❡t❡r✱ k s♦✉❣❤t s♣❛rs✐t②✳ ❚❤❡ ❜✐❛s ❜❡t✇❡❡♥ t❤❡ s♦❧✉t✐♦♥ ♦❢ ✭P✮ ❛♥❞ t❤❡ ♥♦♥✲r❡❣✉❧❛r✐③❡❞ ♣r♦❜❧❡♠✱ ✉♥❞❡r ♠✐❧❞ ❝♦♥❞✐t✐♦♥✱ ✐s ✳ ❬▼❛❤❡② ❡t ❚❛♦✱ ✶✾✾✸❪

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✾ ✴ ✸✽

❖♣t✐♠✐③❛t✐♦♥ ♣r♦❜❧❡♠

min

α∈Rd Mλ,Fy◦Φ(α)

s✳ t✳ α0 k ✭P✮, ✇✐t❤✱ Φ t❤❡ ❞✐❝t✐♦♥❛r②✱ λ t❤❡ r❡❣✉❧❛r✐③❛t✐♦♥ ♣❛r❛♠❡t❡r✱ k s♦✉❣❤t s♣❛rs✐t②✳ ❚❤❡ ❜✐❛s ❜❡t✇❡❡♥ t❤❡ s♦❧✉t✐♦♥ ♦❢ ✭P✮ ❛♥❞ t❤❡ ♥♦♥✲r❡❣✉❧❛r✐③❡❞ ♣r♦❜❧❡♠✱ ✉♥❞❡r ♠✐❧❞ ❝♦♥❞✐t✐♦♥✱ ✐s O( √ λ)✳ ❬▼❛❤❡② ❡t ❚❛♦✱ ✶✾✾✸❪

❋✲❳ ❉✉♣é✱ ❙✳ ❆♥t❤♦✐♥❡ ✭▲■❋✱ ■✷▼✮

• ❡♥❡r❛❧✐③❡❞ ❣r❡❡❞② ❛❧❣♦r✐t❤♠s✳

✵✺✴✵✶✴✷✵✶✼ ✸✾ ✴ ✸✽