A Fast Greedy Algorithm for Generalized Column Subset - - PowerPoint PPT Presentation

1 ¡

A ¡Fast ¡Greedy ¡Algorithm ¡for ¡ Generalized ¡Column ¡Subset ¡Selec:on ¡

Ali ¡Ghodsi ¡

aghodsib@uwaterloo.ca ¡ ¡

¡ ¡ ¡Joint ¡work ¡with ¡

Ahmed ¡Farahat ¡ ¡ Mohamed ¡Kamel ¡

¡

December ¡10, ¡2013 ¡

NIPS'13 ¡Workshop ¡on ¡ Greedy ¡Algorithms, ¡ ¡ Frank-­‑Wolfe ¡and ¡Friends ¡

2 ¡

• Given: ¡Data ¡instances ¡(images, ¡documents, ¡etc. ¡) ¡or ¡features ¡

(words, ¡pixels, ¡etc.) ¡

• Objec:ve: ¡Select ¡a ¡few ¡data ¡instances ¡or ¡features ¡that ¡best ¡

represent ¡the ¡content ¡of ¡the ¡data ¡ ¡

Representa:ve ¡Selec:on ¡

column clustering data analysis selection greedy

Column ¡Subset ¡SelecEon ¡(CSS) ¡

[Frieze-­‑98, ¡ ¡Drineas-­‑06, ¡Boutsidis-­‑09, ¡11] ¡

3 ¡

Problem: ¡Select ¡a ¡subset ¡of ¡columns ¡ ¡ ¡ ¡ ¡ ¡from ¡ ¡ ¡ ¡ ¡ ¡such ¡that ¡

¡

where ¡

¡

¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

¡

¡

Column ¡Subset ¡Selec:on ¡(CSS) ¡

reconstruc)on ¡ ¡ error ¡ projec)on ¡ matrix ¡

is ¡the ¡soluEon ¡of ¡

A

4 ¡

¡ ¡ Select ¡a ¡few ¡columns ¡from ¡a ¡source ¡matrix ¡A ¡that ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ best ¡approximate ¡the ¡span ¡of ¡a ¡target ¡matrix ¡B ¡ ¡

Generalized ¡CSS ¡

Data ¡matrix ¡ Target ¡ Source ¡

A B

m ¡x ¡r ¡ m ¡x ¡n ¡

5 ¡

Generalized ¡CSS ¡(Cont.) ¡

reconstruc)on ¡ ¡ error ¡ projec)on ¡ matrix ¡

is ¡the ¡soluEon ¡of ¡

Problem: ¡Select ¡a ¡subset ¡of ¡columns ¡ ¡ ¡ ¡ ¡ ¡from ¡ ¡ ¡ ¡ ¡ ¡such ¡that ¡

¡

where ¡

¡

¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

¡

¡

A B

6 ¡

Generalized ¡CSS ¡(Cont.) ¡

reconstruc)on ¡ ¡ error ¡ projec)on ¡ matrix ¡

OpEmal ¡soluEon: ¡ Problem: ¡Select ¡a ¡subset ¡of ¡columns ¡ ¡ ¡ ¡ ¡ ¡from ¡ ¡ ¡ ¡ ¡ ¡such ¡that ¡

¡

where ¡

¡

¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

¡

¡

A B

7 ¡

Greedy ¡Selec:on ¡Criterion ¡

Problem: ¡At ¡iteraEon ¡t, ¡find ¡column ¡ ¡p ¡such ¡that, ¡ Complexity: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡per ¡iteraEon ¡

new ¡reconstruc)on ¡ ¡ error ¡a2er ¡adding ¡i

8 ¡

Theorem ¡1: ¡Given ¡a ¡set ¡of ¡columns ¡ ¡ ¡ ¡ ¡ ¡. ¡For ¡any ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡

¡

where ¡ ¡ ¡ ¡

Recursive ¡Selec:on ¡Criterion ¡

residual ¡ ¡

• f ¡B ¡

projec)on ¡ matrix ¡ decrease ¡in ¡ reconstruc)on ¡error ¡ residual ¡ ¡

• f ¡A ¡

9 ¡

Greedy ¡Selec:on ¡Criterion ¡

Problem: ¡At ¡iteraEon ¡t, ¡find ¡column ¡ ¡p ¡such ¡that, ¡

• Using ¡Theorem ¡1: ¡
• ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡can ¡be ¡simplified ¡to ¡

¡

constant ¡

10 ¡

Theorem ¡3. ¡ ¡Update ¡formulas ¡for ¡f and ¡g

Memory-­‑Efficient ¡Selec:on ¡

Calculate ¡once ¡ ¡ and ¡store ¡ per ¡iteraEon ¡

11 ¡

Algorithm ¡-­‑ ¡Greedy ¡Generalized ¡CSS ¡

12 ¡

Generalized ¡CSS ¡Problems ¡

Method ¡ Source ¡ Target ¡

Generalized ¡CSS ¡ A B Column ¡Subset ¡SelecEon ¡

(Frieze-­‑98, ¡Drineas-­‑06, ¡Boutsidis-­‑09, ¡11, ¡ Farahat-­‑11,12,13a) ¡

Data ¡matrix ¡ ¡ A Data ¡matrix ¡ ¡B = A Distributed ¡CSS ¡ ¡

(Farahat-­‑13b) ¡

Data ¡matrix ¡ A Random ¡subspace ¡ ¡ ¡B = AΩ SVD-­‑based ¡CSS ¡

(Civril-­‑Magdon-­‑Ismail-­‑08, ¡12) ¡

Data ¡matrix ¡ A SVD-­‑based ¡subspace ¡ ¡ B = Uk Σk Sparse ¡ApproximaEon ¡

(Tropp-­‑04, ¡Das-­‑08, ¡Lee-­‑06, ¡Cevher-­‑11, ¡ Das-­‑11) ¡

DicEonary ¡ A = D Target ¡vector ¡ ¡ B = y Simultaneous ¡Sparse ¡ ApproximaEon ¡(Tropp-­‑06) ¡ DicEonary ¡ ¡ A = D Target ¡vectors ¡ ¡ B =[y1,…yr]

13 ¡

Thank ¡you! ¡

14 ¡

References ¡

• Frieze ¡ et ¡ al., ¡ 1998. ¡ Fast ¡ Monte-­‑Carlo ¡ algorithms ¡ for ¡ finding ¡ low-­‑rank ¡
• approximaEons. ¡FOCS ¡
• Drineas ¡et ¡al., ¡2006. ¡Subspace ¡sampling ¡and ¡relaEve-­‑error ¡matrix ¡approximaEon: ¡

Column-­‑based ¡methods. ¡APPROX ¡

• Boutsidis ¡ et ¡ al., ¡ 2009. ¡ An ¡ improved ¡ approximaEon ¡ algorithm ¡ for ¡ the ¡ column ¡

subset ¡selecEon ¡problem. ¡SODA ¡ ¡

• Boutsidis ¡et ¡al., ¡2011. ¡Near ¡opEmal ¡column-­‑based ¡matrix ¡reconstrucEon. ¡FOCS ¡
• Farahat ¡2012. ¡Greedy ¡representaEve ¡selecEon ¡for ¡unsupervised ¡data ¡analysis. ¡PhD ¡

thesis, ¡U ¡of ¡Waterloo ¡

• Farahat ¡ et ¡ al., ¡ 2011. ¡ An ¡ efficient ¡ greedy ¡ method ¡ for ¡ unsupervised ¡ feature ¡
• selecEon. ¡ICDM ¡
• Farahat ¡et ¡al., ¡2013a. ¡Efficient ¡greedy ¡feature ¡selecEon ¡for ¡unsupervised ¡learning. ¡

KAIS ¡

• Farahat ¡et ¡al., ¡2013b. ¡Distributed ¡column ¡subset ¡selecEon ¡on ¡MapReduce. ¡ICDM ¡

¡

15 ¡

References ¡(Cont.) ¡

• Çivril ¡ & ¡ Magdon-­‑Ismail, ¡ 2008. ¡ DeterminisEc ¡ sparse ¡ column-­‑based ¡ matrix ¡

reconstrucEon ¡via ¡greedy ¡approximaEon ¡of ¡SVD. ¡ISAAC ¡

• Çivril ¡& ¡Magdon-­‑Ismail, ¡2012. ¡Column ¡subset ¡selecEon ¡via ¡sparse ¡approximaEon ¡
• f ¡SVD. ¡TCS ¡
• Tropp, ¡2004. ¡Greed ¡is ¡good: ¡Algorithmic ¡results ¡for ¡sparse ¡approximaEon. ¡T-­‑IT. ¡ ¡
• Das ¡& ¡Kempe, ¡2008. ¡Algorithms ¡for ¡subset ¡selecEon ¡in ¡linear ¡regression. ¡STOC ¡ ¡
• Lee ¡et ¡al., ¡2006. ¡Efficient ¡sparse ¡coding ¡algorithms. ¡NIPS ¡
• Cevher ¡& ¡Krause, ¡2011. ¡Greedy ¡dicEonary ¡selecEon ¡for ¡sparse ¡representaEon. ¡J-­‑

STSP ¡

• Das ¡& ¡Kempe., ¡2011. ¡Submodular ¡meets ¡spectral: ¡Greedy ¡algorithms ¡for ¡subset ¡

selecEon, ¡sparse ¡approximaEon ¡and ¡dicEonary ¡selecEon. ¡ICML ¡

• Tropp ¡ et ¡ al., ¡ 2006. ¡ Algorithms ¡ for ¡ simultaneous ¡ sparse ¡ approximaEon. ¡ Part ¡ I: ¡

Greedy ¡pursuit. ¡SP ¡

16 ¡

¡ ¡ ¡ ¡

Proof ¡of ¡

ProjecEon ¡ ¡ matrix ¡

17 ¡

Proof ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(Cont.) ¡

Use ¡block-­‑wise ¡inversion ¡formula ¡of ¡ ¡ ¡ ¡ ¡

¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡the ¡Schur ¡complement ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡in ¡ ¡