Sparse Approxima-on, List Decoding, and Uncertainty - PowerPoint PPT Presentation

Sparse ¡Approxima-on, ¡List ¡ Decoding, ¡and ¡ ¡ Uncertainty ¡Principles ¡ ¡ Anna ¡C. ¡Gilbert ¡ ¡ Depart ment ¡of ¡Mathema5cs ¡ University ¡of ¡Michigan ¡ Joint ¡work ¡with ¡Mahmoud ¡Abo ¡Khamis, ¡Hung ¡Q. ¡Ngo, ¡ ¡ Atri ¡Rudra ¡(SUNY: ¡University ¡at ¡Buffalo) ¡

Sparse ¡Approxima5on: ¡ Defini5ons ¡ n ¡ = x b A m ¡ input signal redundant dictionary sparse coefficients EXACT: ¡Given ¡ A,b , ¡find ¡sparsest ¡ x ¡s.t. ¡ Ax ¡= ¡b . ¡ ¡ x = argmin k x k 0 s.t. Ax = b ˆ ¡ SPARSE: ¡Given ¡ A,b,k , ¡find ¡best ¡ k -­‑term ¡approxima5on ¡for ¡ b . ¡ x = argmin k Ax � b k 2 s.t. k x k 0  k ˆ

Sparse ¡Approxima5on: ¡ Unique ¡repn. ¡ “barriers” ¡ • Spark( A ) ¡= ¡ σ(A) ¡= ¡min ¡number ¡of ¡linearly ¡ dependent ¡cols ¡ • Unique ¡EXACT ¡ solu5on: ¡If ¡ k ¡< ¡ σ/2 , ¡ then ¡there’s ¡a ¡ unique ¡sparsest ¡solu5on ¡with ¡sparsity ¡ k . ¡ [Donoho, ¡ Elad, ¡2003] ¡ Unique ¡sparse ¡ representa5ons • Coherence( A ) ¡= ¡ μ(A) ¡= ¡max ¡dot ¡product ¡between ¡ !? ¡ cols ¡ • Unique ¡EXACT ¡solu-on: ¡ if ¡k ¡< ¡ μ/2 , ¡then ¡there’s ¡a ¡ unique ¡sparsest ¡solu5on ¡with ¡sparsity ¡ k. ¡ [Donoho, ¡ Elad, ¡2003] ¡ • A ¡= ¡spikes ¡and ¡sines, ¡ μ(A) ¡= ¡1/√n ¡ • Bounds ¡= ¡form ¡of ¡ Uncertainty ¡Principle ¡

Error ¡Correc5ng ¡Codes: ¡ Unique ¡decoding ¡ • Distance ¡of ¡code ¡= ¡ minimum ¡distance ¡ between ¡2 ¡ codewords ¡ ≤ D/ 2 ≤ D • Receive ¡corrupted ¡ codeword ¡ • Return ¡closest ¡ codeword ¡ • Tolerate ¡errors ¡up ¡ to ¡ D/2 ¡ ¡

List ¡Decoding ¡ECC: ¡ defini5ons ¡ • Return ¡small ¡list ¡of ¡ Almost all the space codewords, ¡with ¡ in higher dimension. All but an guarantee ¡that ¡ exponential (in n) transmibed ¡ fraction codeword ¡is ¡in ¡the ¡ ≤ D/ 2 list ¡ [Elias, ¡1957, ¡Wozencrai, ¡ 1958] ¡ • Formal ¡defn: ¡ ρ ¡= ¡ frac5on ¡of ¡errors, ¡list ¡ words ¡differ ¡from ¡ transmibed ¡by ¡no ¡ more ¡than ¡ ρ ¡

List ¡Decoding ¡ECC: ¡ implica5ons ¡ • Informa5on ¡Theory ¡ Unique decoding • Informa5on ¡theore5c ¡limit ¡ ρ ¡< ¡1 ¡– ¡R ¡ Inf. theoretic limit • Explicit ¡construc5ons, ¡efficient ¡(?) ¡ algorithms: ¡Folded ¡RS ¡codes ¡ • Cryptography ¡ Guruswami- • Cryptanalysis ¡of ¡certain ¡block-­‑ ciphers ¡[ Jakobsen, ¡1998 ] ¡ Sudan Parvaresh- • Efficient ¡traitor ¡tracing ¡scheme ¡ Vardy [ Silverberg, ¡Staddon, ¡Walker ¡2003 ] ¡ Frac. of Errors ( ρ ) • Complexity ¡Theory ¡ • Hardcore ¡predicates ¡from ¡one ¡way ¡ func5ons ¡[ Goldreich,Levin ¡1989; ¡ Impagliazzo ¡1997; ¡Ta-­‑Shama, ¡Zuckerman ¡ 200 1 ] ¡ • Worst-­‑case ¡vs. ¡average-­‑case ¡ hardness ¡[ Cai, ¡Pavan, ¡Sivakumar ¡1999; ¡ Goldreich, ¡Ron, ¡Sudan ¡1999; ¡Sudan, ¡ Rate (R) = 1-D Trevisan, ¡Vadhan ¡1999; ¡Impagliazzo, ¡Jaiswal, ¡ Kabanets ¡2006 ] ¡

List ¡Decoding ¡ECC: ¡ progression ¡of ¡results ¡ 1. Combinatorial ¡bounds ¡on ¡list ¡size ¡(Johnson ¡ bound) ¡ 2. Algorithms ¡for ¡finding ¡list ¡ 3. Explicit ¡ECCs ¡that ¡achieve ¡bounds ¡+ ¡prac5cal ¡ algorithms ¡

Sparse ¡Approxima5on ¡<-­‑> ¡ECC ¡ Sparse ¡Approxima-on ¡ ECC ¡ Redundant ¡dic5onary ¡ Codebook ¡ Input ¡signal ¡ Received ¡codeword ¡+ ¡errors ¡ Coherence ¡ Distance ¡ Redundancy ¡ Rate ¡ Spark ¡ Spark ¡ Best ¡k-­‑term ¡approxima5on ¡ Decoding ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡k=1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Closest ¡codeword ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡k ¡> ¡1 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡-­‑-­‑-­‑-­‑-­‑-­‑-­‑ ¡

List ¡Sparse ¡Approxima5on: ¡ Defini5ons ¡ List ¡SPARSE: ¡ Given ¡ A,b, ¡ and ¡k , ¡list ¡ all ¡ k -­‑sparse ¡ x ¡ such ¡that ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡minimized. ¡ k Ax � b k 2 ¡ Exact ¡analogy ¡ with ¡List ¡ ¡ Decoding ¡ECCs ¡ ¡ List ¡APPROX: ¡ Given ¡ A,b,k ,and ¡ ε , ¡list ¡ all ¡ k -­‑sparse ¡ x ¡ such ¡that ¡ k Ax � b k 2  ✏

List ¡Sparse ¡Approxima5on: ¡ Implica5ons? ¡ • Algorithms’ ¡achievability ¡ [Dragot, ¡Lu ¡2013] ¡ 30 !"#$%&"'() – A ¡= ¡[Ψ, ¡ ¡Φ] ¡ union ¡of ¡ONBs ¡ (*&+,)-#./0 24 (can ¡be ¡generalized) ¡ Sparsity ¡in ¡ Φ ¡ ¡ – ProSparse: ¡proto-­‑list ¡sparse ¡ 18 approxima5on ¡algorithm ¡ ¡ q ( P 0 ) 12 – Returns ¡list ¡of ¡ exact ¡ -#./0 !"#$%&"'() '12%314(0)-#./0 representa5ons ¡“beyond” ¡ 6 5!)-#./0 convex ¡relaxa5on ¡bound ¡ 0 and ¡ ¡unique ¡repn. ¡bound ¡ 0 6 12 18 24 30 K Sparsity ¡in ¡ Ψ ¡

List ¡Sparse ¡Approxima5on: ¡ Implica5ons? ¡ Random ¡medium ¡ size ¡coeffs ¡ Truncated ¡Best ¡Basis ¡ 50 100 50 150 50 100 200 100 150 250 150 Original ¡image ¡ 200 200 250 50 100 150 200 250 250 50 100 150 200 250 20 0.01 18 0.009 Equivalent ¡error ¡ 16 0.008 14 0.007 guarantees ¡in ¡ % coefficients retained 12 0.006 relative error compressed ¡repn. ¡ 10 0.005 versus ¡ease ¡of ¡ 8 0.004 6 0.003 computa5on ¡ 4 0.002 2 0.001 0 0 1 2 3 4 5 6 1 2 3 4 5 6 representation number representation number

Goals ¡ 1. Combinatorial ¡bounds ¡on ¡list ¡size ¡ 2. Dic5onaries ¡that ¡achieve ¡bounds ¡ 3. Prac5cal ¡algorithms ¡+ ¡dic5onaries ¡

List ¡Size: ¡ Clarifying ¡defini5ons ¡ • A ¡= ¡I n , ¡b ¡= ¡(1,0,…,0), ¡ε=√2 ¡ √ √ – Choose ¡ x 1 ∈ (1 − 2 , 1 + 2) x j = 0 – NOT ¡a ¡meaningful ¡list! ¡ • List ¡Approx: ¡ Given ¡ A,b,k ,and ¡ ε , ¡ L(A,b,k, ¡ε) ¡ is ¡ number ¡of ¡dis5nct ¡support ¡sets ¡of ¡ k -­‑sparse ¡ solu5ons ¡ x ¡such ¡that ¡ ¡ k Ax � b k 2  ✏

List ¡Size: ¡Clarifying ¡defini5ons ¡ r • A ¡= ¡I n , ¡ m − k ✏ 2 ✏ 2 ✏ < b 1 = 1 − ( m − 1) b i = m m − k m − k coherence ¡μ ¡= ¡0 ¡ b = ( b 1 , b 2 , . . . , b m ) • Any ¡support ¡set ¡of ¡size ¡k ¡that ¡contains ¡1 ¡has ¡ ✓ m − 1 ◆ same ¡error, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡different ¡support ¡sets ¡ k − 1 • L(A, ¡k, ¡ε, ¡R) ¡ denotes ¡the ¡worst ¡case ¡bound ¡on ¡L ¡ over ¡all ¡b ¡with ¡the ¡restric5on ¡that ¡no ¡atom ¡ appears ¡in ¡the ¡support ¡of ¡more ¡than ¡ R ¡out ¡of ¡ the ¡ L ¡solu5ons. ¡ ¡

List-­‑Approx : ¡Combinatorial ¡bounds ¡ • Theorem: ¡ (disjoint ¡solu5ons) ¡ q As ¡long ¡as ¡the ¡error ¡ 1 − (2 k − 1) µ ( A ) 1 If µ ( A ) < 2 k − 1 and ✏ < 1 − ( k − 1) µ ( A ) , then ¡ ε ¡≤ ¡1 ¡− ¡Ω(μk) , ¡the ¡number ¡of ¡ $ % 1 disjoint ¡solu5ons ¡is ¡ L ( A, k, ✏ , 1) ≤ 1 − (1 − ( k − 1) µ ( A )) ✏ 2 ¡ O(1/(1 ¡− ¡ε 2 )) . ¡ ¡ 1 − (2 k − 1) µ ( A ) • Extends ¡Uncertainty ¡Principle ¡to ¡more ¡than ¡ two ¡disjoint ¡solu5ons ¡and ¡allows ¡some ¡ approxima5on ¡error. ¡ • Unique ¡decoding ¡results ¡as ¡corollaries. ¡

List-­‑Approx: ¡ Combinatorial ¡bounds ¡ • Theorem: ¡ Let 0 < � < 1. As long as p 1 − 24( µk ) 1 − γ , ✏ ≤ If ¡we ¡consider ¡only ¡solu5ons ¡ where ¡each ¡atom ¡appears ¡ we have only ¡ o(L) ¡5mes ¡in ¡the ¡output ¡ &⇣ ' 11 ⌘ 1 / (1 − γ ) L ( A, k, ✏ , L γ ) ≤ list ¡of ¡size ¡ L , ¡then ¡ L ¡is ¡ 1 − ✏ 2 bounded ¡only ¡by ¡ ε ¡(and ¡is ¡ independent ¡of ¡ k ¡and ¡ n ). ¡ ¡