Fast Data Driven Compressed Sensing and application to compressed - - PowerPoint PPT Presentation

IDCOM, University of Edinburgh

Mike Davies & Mohammad Golbabaee

Joint work with

Zhouye Chen, Yves Wiaux Zaid Mahbub, Ian Marshall

Fast Data Driven Compressed Sensing

and application to

compressed quantitative MRI

IDCOM, University of Edinburgh

Outline

• Iterative Projected Gradients (IPG)
• Approximate/inexact oracles
• Robustness of inexact IPG
• Application to data driven Compressed Sensing
• Fast MR Fingerprinting reconstruction
• IPG with Approximate Nearest Neighbour searches
• Cover trees for fast ANN
• Numerical results

IDCOM, University of Edinburgh

Inverse problems

𝑧=𝐵𝑦+𝑥∈​𝑺↑ 𝑺↑𝑛 , ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡𝐵:​𝑺↑ 𝑺↑𝑜 →​𝑺↑ 𝑺↑𝑛 where 𝑛≪𝑜

Challenge: Missing information Complete measurements can be costly, time consuming and sometimes just impossible! Compressed sensing to address the challenge

[Donoho’06; Candès, Romberg, and Tao,’06]

IDCOM, University of Edinburgh

Data models/priors

Manifolds

IDCOM, University of Edinburgh

Solving Compressed Sensing/Inv. Problems

Estimating by constrained least squares

​𝑦 ∈argmin⁠{𝑔(𝑦)≔​1/2 ​||𝑧−𝐵𝑦||↓2↑2 ¡} ¡ ¡ ¡ ¡𝑡.𝑢. ¡ ¡ ¡𝑦∈𝐷

!! NP-hard for most interesting models (e.g. sparsity [Natarajan’95]) Iterative Gradient Projection (IPG) Generally proximal-gradient algorithms are very popular: ​𝑦↑𝑙 =​𝑸↓

𝑸↓𝐷 (𝑦↑𝑙−1 −𝜈​A↑T (​Ax↑k−1 −y))

Gradient ​A↑T (​Ax↑k−1 −y)), step size 𝜈, , Euclidean projection

​𝑸↓ 𝑸↓𝐷 (𝑦)∈argmin​||𝑦−​𝑦↑′ ||↓2 ¡ ¡ ¡ ¡𝑡.𝑢. ¡ ¡ ¡ ¡​𝑦↑′ ∈𝐷 ¡

Signal/data model projection (observation) nonlinear approximation (reconstruction)

IDCOM, University of Edinburgh

Embedding: key to CS/IPG stability

Model 𝐷∈​𝑺 ​𝑺↑𝒐 𝒐 𝐏(𝒏) 𝑞 ¡(unstructured) ¡points ​𝜄↑−2 log(𝑞) ⋃𝑗↑𝑀▒𝐿 -flats ​𝜄↑−2 (𝐿+log(𝑀)) rank 𝑠 ¡ ¡(√⁠𝑜 ×√⁠𝑜 ) matrices ​𝜄↑−2 𝑠√𝑜 ‘smooth’ 𝑒 dim. manifold ​𝜄↑−2 𝑒 𝐿 tree-sparse ​𝜄↑−2 𝐿

[Johnson, Lindenstrauss’89] [Blumensath, Davies’09] [Candès,Recht;Ma etal.’09] [Wakin,Baraniuk’09] [Baraniuk etal.’09]

Bi-Lipschitz embeddable sets: ∀𝑦,𝑦′∈𝐷

​𝛽||𝑦−​𝑦↑′ ||↓2 ≤||𝐵(𝑦−​𝑦↑′ )||↓2 ≤​𝛾||𝑦−​𝑦↑′ ||↓2 Theorem.[Blumensath’11] For any (𝐷, ¡𝐵) ¡if holds 𝛾≤1.5𝛽, ,

IPG à stable & linear convergence: |​|𝑦↑𝐿 −​𝑦↓0 ||→𝑃(𝑥)+𝜐, ¡ ¡ ¡ ¡𝐿∼(log ¡​𝜐↑−1 )

Global optimality even for nonconvex programs! Sample complexity e.g. 𝐵~ i.i.d. subgaussian ~ i.i.d. subgaussian

IDCOM, University of Edinburgh

A limitation…

Exact oracles might be too expensive or even do not exist! Gradient ​A↑T (​Ax↑k−1 −y))

• 𝐵 too large to fully access or fully compute/update 𝛼𝑔 ¡

too large to fully access or fully compute/update 𝛼𝑔 ¡

• Noise in communication in distributed solvers

Projection ​𝑸↓

𝑸↓𝐷 (𝑦)∈argmin​||𝑦−​𝑦↑′ ||↓2 ¡𝑡.𝑢. ¡ ¡​𝑦↑′ ∈𝐷

• ​𝑸↓

𝑸↓𝐷 may not be analytic and requires solving an auxiliary optimization (e.g. inclusions 𝐷= ¡⋂𝑗↑▒ ¡ ​𝐷↓𝑗 , total variation ball, low-rank, tree-sparse,…)

• ​𝑸↓

𝑸↓𝐷 might be NP hard! (e.g. analysis sparsity, low-rank tensor decomposition)

Is IPG robust against inexact/approximate oracles?

IDCOM, University of Edinburgh

Inexact oracles I: Fixed Precision

​𝑦↑𝑙 =​𝑸 𝑸 ↓𝐷 (𝑦↑𝑙−1 −𝜈 ¡​𝛼 ¡𝑔(​𝑦↑𝑙−1 ))

Fixed Precision (FP) approximate oracles:

​||​𝛼 ¡𝑔(.)−𝛼𝑔(.)||↓2 ≤​𝜉↓𝑕 , ¡ ¡ ¡ ¡ ¡​||​𝑸↓ 𝑸↓𝐷 ¡(.)−​𝑸↓ 𝑸↓𝐷 (.)||↓2 ≤​𝜉↓𝑞 , ¡ ¡ ¡(​ ¡ ¡​𝑸 ↓𝐷 (.)∈𝐷 ¡) Examples: TV ball, inclusions (e.g. Djkstra alg.), and many more… (in convex settings, Duality gap à FP proj.)

Progressive Fixed Precision (PFP) oracles:

​||​𝛼 ¡𝑔(.)−𝛼𝑔(.)||↓2 ≤​𝜉↓𝑕↑𝑙 , ¡ ¡ ¡ ¡ ¡​||​𝑸 𝑸 ¡(.)−𝑸(.)||↓2 ≤​𝜉↓𝑞↑𝑙 Examples: Any FP oracle with progressive refinement of the approx. levels e.g. convex sparse CUR factorization for ​𝜉↓𝑞↑𝑙 ∼𝑃(1/​𝑙↑3 ) [Schmidt etal.’11] x x’ C

IDCOM, University of Edinburgh

Inexact oracles II: (1+ 1+𝜗)-optimal

(1+𝜗)-approximate projections combined with FP/PFP gradient oracle

​𝑦↑𝑙 =​𝑸↑

𝑸↑𝜗 ↓𝐷 (𝑦↑𝑙−1 −𝜈 ¡​𝛼↓k ¡𝑔(​𝑦↑𝑙−1 )) Gradient ​||​𝛼 ↓𝑙 ¡𝑔(.)−𝛼𝑔(.)||↓2 ≤​𝜉↓𝑕↑𝑙

Projection ​||​𝑸↑

𝑸↑𝜗 ↓𝐷 (𝑦)−𝑦||↓2 ≤​(𝟐+𝝑)||​𝑸↓ 𝑸↓𝐷 ¡(𝑦)−𝑦||↓2 ¡ ¡ ¡ ¡ ¡

Examples. Many nonconvex constraints: Cheaper low-rank proxies based on randomized lin. algebra [Halko etal.’11], K-tree sparse signals [Hegde etal.’14], Tensor low-rank (Tucker) decomposition [Rauhut etal.’16], … and shortly, ANN for data driven CS!

​𝑸↑ 𝑸↑𝜗 ↓𝐷 (𝑦)∈𝐷

IDCOM, University of Edinburgh

Robustness & linear convergence

• f the

inexact IPG

IDCOM, University of Edinburgh

IPG with (P)FP oracles

​𝑦↑𝑙 =​𝑸 𝑸 ↓𝐷 (𝑦↑𝑙−1 −𝜈 ¡​𝛼 ¡𝑔(​𝑦↑𝑙−1 ))

Remark:

​𝜍↑−𝑗 supresses the early stages errors

⇒ use “progressive” approximations to get as good as exact!

• Theorem. For any ​(𝑦↓0 ∈𝐷, ¡𝐷,𝐵) ¡if 𝛾≤​𝜈↑−1 <2​𝛽↓0 then

||​𝑦↑𝑙 −​𝑦↓0 ||≤​𝜍↑𝑙 (||​𝑦↓0 ||+∑𝑗=1↑𝑙▒​𝜍↑−𝑗 ​𝑓↑𝑗 )+​2√⁠𝛾 /(1−𝜍)​𝛽↓0 𝑥 where, 𝜍=√⁠​1⁄𝜈​𝛽↓0 ¡ −1 ¡ and ​𝑓↑𝑗 =​2​𝜉↓𝑕↑𝑗 /​𝛽↓0 +√⁠​𝜉↓𝑞↑𝑗 /​𝜈𝛽↓0

IDCOM, University of Edinburgh

IPG with (P)FP oracles

​𝑦↑𝑙 =​𝑸 𝑸 ↓𝐷 (𝑦↑𝑙−1 −𝜈 ¡​𝛼 ¡𝑔(​𝑦↑𝑙−1 ))

Corollary I. After 𝐿=𝑃(log(​𝜐↑−1 ) ¡) iterations IPG-FP achieves

||​𝑦↑𝐿 −​𝑦↓0 ||≤𝑃(𝑥+​𝜉↓𝑕 +√⁠​𝜉↓𝑞 )+𝜐 ¡ ¡ ¡ ¡ ¡ ¡ ¡

linear convergence at rate 𝜍=√⁠​1⁄𝜈​𝛽↓0 ¡ −1 ¡ . Corollary II. Assume ​∃𝑠<1 ¡ ¡𝑡.𝑢. ¡ ¡𝑓↑𝑗 =𝑃(​𝑠↑𝑗 ), then after 𝐿=𝑃(log(​𝜐↑−1 ) ¡) iterations IPG-PFP achieves

||​𝑦↑𝐿 −​𝑦↓0 ||≤𝑃(𝑥)+𝜐 ¡ ¡ ¡ ¡ ¡ ¡ ¡

linear convergence at rate ​𝜍 ={█□max ¡(𝜍, ¡𝑠) ¡ ¡𝜍≠𝑠⁠𝜍+𝜊 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡𝜍=𝑠 ¡ ¡ (for any small 𝜊>0) ¡

IDCOM, University of Edinburgh

IPG with (1+ 1+𝜗) 𝜗)-approximate projection

​𝑦↑𝑙 =​𝑸↓ 𝑸↓𝐷↑𝜗 (𝑦↑𝑙−1 −𝜈 ¡​𝛼↓k ¡𝑔(​𝑦↑𝑙−1 ))

• Theorem. Assume for any ​(𝑦↓0 ∈𝐷, ¡𝐷,𝐵) ¡𝑏𝑜𝑒 ¡𝑏𝑜 ¡𝜗≥0 it holds

√⁠2𝜗+​𝜗↑2 ≤𝜀​√⁠​𝛽↓0 /|||𝐵||| ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡𝑏𝑜𝑒 ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡𝛾≤​𝜈↑−1 <​(2−2𝜀+​𝜀↑2 )𝛽↓​𝑦↓0 Then, ||​𝑦↑𝑙 −​𝑦↓0 ||≤​𝜍↑𝑙 (||​𝑦↓0 ||+​𝜆↓𝑕 ∑𝑗=1↑𝑙▒​𝜍↑−𝑗 ​𝜉↓𝑕↑𝑗 )+​𝜆↓𝑨 /

(1−𝜍) 𝑥

where, 𝜍=√⁠​1⁄𝜈​𝛽↓0 ¡ −1 +𝜀 ¡ ¡ ¡ ¡ ¡ ¡​𝜆↓𝑕 =​2/​𝛽↓0 +​√𝜈/|||𝐵||| 𝜀 ¡ ¡ ¡ ¡ ¡ ¡𝑏𝑜𝑒 ¡ ¡ ¡ ¡​𝜆↓𝑨 =​2√⁠𝛾 /​𝛽↓0

+√⁠𝜈 𝜀

Remarks.

• Requires stronger embedding cond., slower convergence!
• Still linear conv. & 𝑃(𝑥)+𝜐 ¡ accuracy after 𝑃(log ¡​𝜐↑−1 ¡) iterations
• higher noise amplification

IDCOM, University of Edinburgh

Application in data driven CS

IDCOM, University of Edinburgh

Data driven CS

In the absence of (semi) algebraic physical models (l0, l1, rank,…) Collect a possibly large dictionary (sample the model)

𝐷=​∪↓𝑗=1,…,𝑒 {​𝜔↓𝑗 } ¡ ¡ ¡ ¡ ¡ ¡ ¡​𝜔↓𝑗 ¡𝑏𝑢𝑝𝑛𝑡 ¡𝑝𝑔 ¡ ¡ ¡Ψ∈​𝑆↑𝑜×𝑒

Examples in multi-dim. imaging: Hyperspectral, Mass/Raman/MALDI,… spectroscopy [Golbabaee et al ’13;

Duarte,Baraniuk’12;…]

IDCOM, University of Edinburgh

MR Fingerprinting: fast CQ-MRI

Goal: Measuring fast the NMR properties (relaxation times: T1, T2) [Ma etal.’13]

1. Multiple random/optimized excitations (magnetic field rotation) [Cohen’15;Mahbub, Golbabaee,

D., Marshall ’16]

2. Subsampling the k-space (per excitation) 3. Construct a (huge) dictionary of “fingerprints” i.e. solving Bloch dynamic eq. for all possible parameters (T1,T2)… 4. Use this dictionary to solve inverse problem

• Exact IPG [D. et al ‘15]

​𝜖 ¡m(t)/𝜖 ¡𝑢 = ¡m(t) ¡× ¡γ ¡hRF(t) ¡– ¡ ¡ ¡(█□​m↑𝑦 (𝑢)/T2@​𝑛↑𝑧 (𝑢)/T2@​(𝑛↑𝑨 (𝑢)−​m↓eq )/T1 ) 𝜍 Ψ=​[ℬ]↓𝑗

Continuous model (Bloch manifold) exists,

• but not explicit i.e. requires solving dynamic ODEs
• MRF sacrifices memory ~ enables ​𝑸↓

𝑸↓𝐷 computation

IDCOM, University of Edinburgh

CS in product (tensor) space

Per pixel data driven model 𝐷=​∪↓𝑗=1,…,𝑒 {​𝜔↓𝑗 } ¡ ¡ ¡ ¡ ¡ ¡ ¡​𝜔↓𝑗 ¡𝑏𝑢𝑝𝑛𝑡 ¡𝑝𝑔 ¡Ψ∈​𝑆↑𝑜×𝑒 Multi dim. image: ​𝑌∈​𝑆↑𝑜×𝑄 ¡ ¡𝑥ℎ𝑓𝑠𝑓 ¡ ¡ ¡𝑌↓𝑞 ∈𝐷 ¡ ¡ ¡∀𝑞=1,…,𝑄 Inverse problem: ​min┬​𝑌↓𝑤𝑓𝑑 ∈∏𝑘↑▒𝐷 ​||𝑧−𝐵(𝑌)||↑2 Direct recovery complexity O(​P↑d )!

IPG (I-NNsearch-G)

​𝑌↓𝑞↑𝑙 =𝑂​𝑂↓𝐷 (​[​𝑌↑𝑙−1 −𝜈​𝐵↑𝐼 (𝐵(​𝑌↑𝑙−1 )−𝑧)]↓𝑞 ), ¡∀𝑞 Complexity = iter × (gradient+O(Pd)) Sufficient RIP stability 𝑁=𝑃(𝑄 ¡𝑛) ¡, (ignoring inter channel structures) 𝑛= RIP complexity of each channel

. . .

Big datasets?

MRF uses large dictionaries d~ 500K

Can we do better?

IDCOM, University of Edinburgh

Fast NN searches

Trees: (historical) approach to fast NN

• Hierarchical partitioning + Brand & bound
• search. e.g., kd-trees, Metric/Ball-trees,…

“Curse of dimensionality”: exact NN in ​𝑺↑

𝑺↑𝑜 cannot achieve 𝑝(𝑜𝑒) ¡in time with a reasonable memory. Approximate NN can! If datasets ~ low dim.

Nagivating nets, Cover trees

[Krauthgamer,Lee’04; Beygelzimmer’06]

At scale 𝑚 ¡= ¡1,…,𝑀

• Covering (parent nodes) ​𝜏2↑−l
• Separation (nodes appearing at scale l) ​𝜏2↑−l

Kd-tree Partitions Search

CT builds multi-resolution cover-nets Brand & bound search

IDCOM, University of Edinburgh

CT provably good for low dim data

Search options with cover trees

1. (1+𝜗)-ANN: as proposed by [Beygelzimmer et al.’06]

• 2. FP-ANN: truncated tree L=⌈log​(𝜉↓𝑞 /𝜏)⌉+ exact NN

(complexity could be arbitrary large/theoretically)

• 3. PFP-ANN: progressing on truncation level ​𝜉↓𝑞↑𝑙 =𝑃(​𝑠↑𝑙 ), ¡ ¡𝑠<1

Inexact IPG

​𝑌↓𝑞↑𝑙 =​𝐵𝑂𝑂↓𝐷 (​[​𝑌↑𝑙−1 −𝜈​𝐵↑𝐼 (𝐵(​𝑌↑𝑙−1 )−𝑧)]↓𝑞 ), ¡∀𝑞

• Theorem. Cover tree (1+𝜗)-ANN complexity: [Krauthgamer + Lee 04]

​2↑𝒫(​dim⁠(𝐷) ) ​log⁠Δ +​𝜗↑−𝒫(​dim⁠(𝐷) ) in time, 𝑃(𝑒) space

(typically ​log⁠Δ =𝒫(​log⁠(𝑒) ))

IDCOM, University of Edinburgh

Numerical experiments 1: Toy problem

IDCOM, University of Edinburgh

2D manifold data

𝐷=​∪↓𝑗=1,…,𝑒 {​𝜔↓𝑗 } ¡ ¡ ¡​𝜔↓𝑗 ¡𝑏𝑢𝑝𝑛𝑡 ¡Ψ∈​𝑆↑𝑜×𝑒 CT level 2 CT level 3 CT level 4 CT level 5

IDCOM, University of Edinburgh

Solution accuracy vs. Iterations (FP)

Signal: 𝑌∈​𝑺↑

𝑺↑𝑜×𝑄 ¡𝑜=200 ¡, ¡𝑄=50 ¡(randomly chosen ∈C) m𝑄×𝑜𝑄 i.i.d. Normal A, CS ratio=m/n (noiseless)

i.i.d. Normal A, CS ratio=m/n (noiseless)

​min┬​𝑌↓𝑤𝑓𝑑 ∈∏𝑘↑▒𝐷 ​||𝑧−𝐵(𝑌)||↑2 ¡ ¡ ¡ ¡⇔ ¡​𝑌↓𝑞↑𝑙 =𝐵𝑂​𝑂↓𝐷 (​[​𝑌↑𝑙−1 −𝜈​𝐵↑𝐼 (𝐵(​𝑌↑𝑙 −1 )−𝑧)]↓𝑞 ), ¡∀𝑞 Swiss roll

IDCOM, University of Edinburgh

Solution accuracy vs. Iterations (PFP)

Signal: 𝑌∈​𝑺↑

𝑺↑𝑜×𝑄 ¡𝑜=200 ¡, ¡𝑄=50 ¡(randomly chosen ∈C) m𝑄×𝑜𝑄 i.i.d. Normal A, CS ratio=m/n (noiseless)

i.i.d. Normal A, CS ratio=m/n (noiseless)

​min┬​𝑌↓𝑤𝑓𝑑 ∈∏𝑘↑▒𝐷 ​||𝑧−𝐵(𝑌)||↑2 ¡ ¡ ¡ ¡⇔ ¡​𝑌↓𝑞↑𝑙 =𝐵𝑂​𝑂↓𝐷 (​[​𝑌↑𝑙−1 −𝜈​𝐵↑𝐼 (𝐵(​𝑌↑𝑙 −1 )−𝑧)]↓𝑞 ), ¡∀𝑞 Swiss roll ​𝜉↓𝑞↑𝑙 =​𝑠↑𝑙

IDCOM, University of Edinburgh

Solution accuracy vs. Iterations (1+ 1+𝜗)-ANN

Signal: 𝑌∈​𝑺↑

𝑺↑𝑜×𝑄 ¡𝑜=200 ¡, ¡𝑄=50 ¡(randomly chosen ∈C) m𝑄×𝑜𝑄 i.i.d. Normal A, CS ratio=m/n (noiseless)

i.i.d. Normal A, CS ratio=m/n (noiseless)

​min┬​𝑌↓𝑤𝑓𝑑 ∈∏𝑘↑▒𝐷 ​||𝑧−𝐵(𝑌)||↑2 ¡ ¡ ¡ ¡⇔ ¡​𝑌↓𝑞↑𝑙 =​𝐵𝑂𝑂↓𝐷 (​[​𝑌↑𝑙−1 −𝜈​𝐵↑𝐼 (𝐵(​𝑌↑𝑙 −1 )−𝑧)]↓𝑞 ), ¡∀𝑞 Swiss roll

IDCOM, University of Edinburgh

Phase transitions

(1+𝜗)-ANN IPG

PFP-ANN IPG ¡ ¡ ¡​𝜉↓𝑞↑𝑙 =​𝑠↑𝑙

Signal: 𝑌∈​𝑺↑

𝑺↑𝑜×𝑄 ¡𝑜=200 ¡, ¡𝑄=50 ¡(randomly chosen ∈C) m𝑄×𝑜𝑄 i.i.d. Normal A, CS ratio=m/n (noiseless) ~ averaged 25trials

i.i.d. Normal A, CS ratio=m/n (noiseless) ~ averaged 25trials

Recovery PT: Black/white = low/high sol. nMSE, red curve = recovery region nMSE<10e-4)

IDCOM, University of Edinburgh

Numerical experiments 2: MRF

IDCOM, University of Edinburgh

MRF cone & EPI acquisition

• K-space subsampling: Eco Planar Imaging (EPI)
• Anatomical phantom {Grey/White matters, CSF, muscle, skin}
• Bloch eq. dictionary Ψ∈​ℂ↑512 ¡×~ ¡50′000
• ​min┬ ​||𝑧−𝐵(𝑌)||↑2 ¡ ¡ ¡ ¡𝑡.𝑢. ¡ ¡ ¡ ¡​𝑌↓𝑤𝑓𝑑 ∈∏𝑘↑▒𝑑𝑝𝑜𝑓(Ψ)
• 1. ​𝑏↓𝑞 =​ ¡𝑌↓𝑞↑k−1 −𝜈​A↑H (​ ¡A(𝑌↓𝑞↑k−1 )−y))
• 2. ​𝜔↓𝑞 =𝐵𝑂​𝑂↓𝑜𝑝𝑠𝑛𝑏𝑚𝑗𝑡𝑓𝑒{Ψ} (​𝑏↓𝑞↑𝑙 /||​𝑏↓𝑞↑𝑙 ||)
• 3. ​𝜍↓𝑞↑𝑙 =​𝑏↓𝑞 /​𝜔↓𝑞
• 4. ​𝑌↓𝑞↑𝑙 =​𝜍↓𝑞 ​𝜔↓𝑞 , ¡ ¡∀𝑞

𝜍 Ψ=​[ℬ]↓𝑗

PD map T2map T1 map

IDCOM, University of Edinburgh Dominant costà NN/ANN (since 𝐵 is FFT) is FFT) Projection cost = # matches calculated (i.e. visited nodes on the tree)

Accuracy vs. computation

Brute force CT’s exact NN

𝜗 ¡~ 0.2-0.8

IDCOM, University of Edinburgh

Summary

• IPG robustness to inexact oracles (under embedding assumption)
• Linear convergence result:
• PFP/(1+𝜗)-oracles: same final accuracy vs. exact IPG
• PFP: same convergence rate vs. exact IPG
• (1+𝜗): stronger assumptions/sensitive to conditioning of A
• Implications in data driven CS (using ANN)
• Cover trees for fast ANN: complexity ~ intrinsic dim(data)
• O(10e3) faster parameter estimation in MRF

Thnx!