Depth Map Fusion with Camera Position Refinement Computer Vision - - PowerPoint PPT Presentation

Introduction Method Experiments Conclusion

Depth Map Fusion with Camera Position Refinement

Computer Vision Winter Workshop 2009 Radim Tyleˇ cek and Radim ˇ S´ ara

tylecr1@cmp.felk.cvut.cz

Center for Machine Perception

Department of Cybernetics, Faculty of Electrical Engineering, Czech Technical University Prague, Czech Republic Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion

Contents

1

Introduction Reconstruction Pipeline

2

Method Idea Algorithm design Depth task Visibility task

3

Experiments Results Evaluation Future work

4

Conclusion

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Reconstruction Pipeline

3D Reconstruction Pipeline

Input images ⇒ Corresponding regions ⇒ Disparity maps ⇒ Point cloud ⇒ Surface mesh

Pair-wise vs. multi-view stereo Calibration inaccuracy Inconsistency between disparity maps

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Reconstruction Pipeline

Input 3D point cloud

Noise, outliers in the data Redundancy

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Surface representation

Depth maps Visibility maps ⇒ Back- projection Reconstructed surface (scan) Surface composition Linear complexity

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Idea of Depth Map Fusion

Representation with a set of reference cameras

fused depth map pairwise disparity map supporting camera supporting camera supporting camera camera reference

1

scene

3 2 4 2−3 1−2 2−4 Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Idea of Depth Map Fusion

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

r r r r r r r r r r r r r r r r r r r r r r r r r r r r ♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣ r r r r r r r r r r r r r r r r r r r r r r r r r r r r r r

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .......................................... ................................................ ................................................ ...................................................... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣♣

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

pixel area ¯ Xi

p

x2 xi

p

x1 camera center Ci image plane in image i

3D neighbourhood Xij

pq ∈ N3(xi p, Ci)

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Visibility estimation

Visibility map Visibility labels

v = 0 surface not visible v = 1 visible, no data → interpolation v = 2 visible, data present

Discontinuity – line of pixels with v = 0

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Algorithm design

Global Structure and Motion optimisation problem

surface model consistency

Depths Λ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

iteration Points X Images I

(Λ∗, C∗) = arg maxΛ,C P(Λ, C | X, V ) (X ∗, Λ∗, V ∗, C∗) = arg maxX,Λ,V ,C P(X, Λ, V , C | I)

Cameras C

V ∗ = arg maxV P(V | I, Λ, X)

• utlier filtering

Visibility V

discontinuities Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Depth estimation

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. . . . . . . . . .

¯ λi

p

φ ¯ Xi

p

estimated Xij

pq

λq

j

(Rj )⊤xj

q

Cj

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

surface

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Ci (Ri )⊤xi

p

q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q q

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Geometric constraints ¯ λi

p = arg min ¯ λ

• (j,q)

¯ Xi

p − Xij pq2

(1) ¯ Xi

p = Φ(¯

λi

p) . . . backprojection

(2)

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Depth estimation

Depth task: geometric constraints → system of linear equations: Rj(3)Ci + Rj(3) Ri⊤Ki−1xi

p ¯

λi

p − λj q = Rj(3)Cj

(3) surface model → system of linear equations: 1 σ2

λ

¯ λi

p − λi p

• +
• ¯

p∈Np

1 (σ i

c,¯ p)2 (λi p − λi ¯ p) = 0

(4)

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Camera position refinement

Original camera position

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Camera position refinement

Refined camera position

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Visibility estimation

Visibility task: optimal labelling → minimum graph cut: E(V i) =

n

• p=1

E(vi

p) +

1 2σ2

v

• (p,¯

p)∈N2(i)

(vi

p − vi ¯ p)2

E(vi

p) =

• (q,j)∈χi

p; vj q≥1

E(vi

p, vj q) +

• (p,¯

p)∈N2(i|V )

(λi

p − λi ¯ p)2

2(σ i

λ,p)2

E(vi

p, vj q) =

  

(Ii

p−Ij q)2

2σ2

I

pro vi

p = vj q = 2

− log h(Ii

p)

• therwise.

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Idea Algorithm design Depth task Visibility task

Visibility estimation

Visibility map Initial After first iteration

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

Experiments

High accuracy comparable with state-of the art methods Error suppression (outlier removal, smoothing out noise ) Camera calibration refinement

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

Experiments

Different objects and scenes

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

London dataset

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

Castle dataset

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

Daliborka dataset

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

Fountain dataset

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

Evaluation

Image Ground truth Result rendering Depth error

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

Evaluation

2 4 6 8 10 10 20 30 40 50 60 70 80 90 sigma cumulative fountain−P11 FUR ST6 ST4 ZAH TYL JAN

Ground truth Surface projected to cameras Depth measurement error σ

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

Future work

High accuracy images available Photometric mesh refinement Second-order surface model

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

Future work

High accuracy images available Photometric mesh refinement Second-order surface model

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion Results Evaluation Future work

Future work

High accuracy images available Photometric mesh refinement Second-order surface model

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion

Summary

Surface reconstruction with Depth Map Fusion Camera calibration refinement To do: Photometric mesh refinement

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009

Introduction Method Experiments Conclusion

Thank you.

Radim Tyleˇ cek and Radim ˇ S´ ara, CMP Prague Depth Map Fusion, CVWW 2009