Dense Planar-Iner,al SLAM for Large Indoor 3D - - PowerPoint PPT Presentation

Dense ¡Planar-­‑Iner,al ¡SLAM ¡ ¡ for ¡Large ¡Indoor ¡3D ¡Reconstruc,on ¡

1 ¡

Robo,cs ¡Ins,tute ¡| ¡Carnegie ¡Mellon ¡University ¡ Robot ¡Percep,on ¡Lab ¡(RPL) ¡

Speaker: ¡ Ming ¡Hsiao ¡ Collaborators: ¡ Eric ¡Westman ¡ Guofeng ¡Zhang ¡ Michael ¡Kaess ¡

Outline ¡

¡ ¡I. ¡ ¡Why ¡SLAM ¡with ¡planes? ¡Challenges? ¡ ¡II. ¡ ¡Real-­‑<me ¡dense ¡planar ¡SLAM ¡on ¡CPU ¡(1st) ¡

• III. ¡ ¡Improvements ¡with ¡IMU ¡and ¡others ¡(2nd) ¡
• IV. ¡ ¡Results ¡and ¡conclusion ¡

2 ¡

• Dense ¡indoor ¡mapping ¡

– Kin<nuous[1], ¡Elas<cFusion[2], ¡BundleFusion[3] ¡ ¡ ¡ [+]: ¡Real-­‑,me ¡dense ¡3D ¡reconstruc,on ¡ [+]: ¡Using ¡a ¡handheld ¡RGB-­‑D ¡sensor ¡ ¡

¡ ¡

Why ¡SLAM ¡with ¡Planes? ¡

3 ¡

Kin<nuous ¡ Elas<cFusion ¡ BundleFusion ¡

[1] ¡T.Whelan ¡et ¡al. ¡“Real-­‑<me ¡large ¡scale ¡dense ¡RGB-­‑D ¡SLAM ¡with ¡volumetric ¡fusion,” ¡IJRR, ¡2015. ¡ [2] ¡T. ¡Whelan ¡et ¡al. ¡“Elas<cFusion: ¡Dense ¡SLAM ¡without ¡a ¡pose ¡graph,” ¡RSS, ¡2015. ¡ [3] ¡A. ¡Dai ¡et ¡al. ¡“BundleFusion: ¡Real-­‑<me ¡globally ¡consistent ¡3D ¡reconstruc<on ¡using ¡on-­‑the-­‑fly ¡surface ¡re-­‑ integra<on,” ¡CoRR, ¡2017. ¡

• Dense ¡indoor ¡mapping ¡

– Kin<nuous[1], ¡Elas<cFusion[2], ¡BundleFusion[3] ¡ ¡ ¡ [−]: ¡DriH/distor,on ¡ ¡ [−]: ¡Expensive ¡calcula,on ¡(GPU) ¡

¡ ¡

Why ¡SLAM ¡with ¡Planes? ¡

4 ¡

[1] ¡T.Whelan ¡et ¡al. ¡“Real-­‑<me ¡large ¡scale ¡dense ¡RGB-­‑D ¡SLAM ¡with ¡volumetric ¡fusion,” ¡IJRR, ¡2015. ¡ [2] ¡T. ¡Whelan ¡et ¡al. ¡“Elas<cFusion: ¡Dense ¡SLAM ¡without ¡a ¡pose ¡graph,” ¡RSS, ¡2015. ¡ [3] ¡A. ¡Dai ¡et ¡al. ¡“BundleFusion: ¡Real-­‑<me ¡globally ¡consistent ¡3D ¡reconstruc<on ¡using ¡on-­‑the-­‑fly ¡surface ¡re-­‑ integra<on,” ¡CoRR, ¡2017. ¡

Kin<nuous ¡ Elas<cFusion ¡ BundleFusion ¡

• Planar ¡SLAM ¡(general ¡indoor ¡environments) ¡

– Point-­‑Plane ¡SLAM[4], ¡SLAM ¡with ¡infinite ¡planes[5] ¡

¡

[+]: ¡Reduce ¡driH/distor,on ¡ [+]: ¡Cheaper ¡op,miza,on ¡

Why ¡SLAM ¡with ¡Planes? ¡

5 ¡

Point-­‑Plane ¡SLAM ¡ SLAM ¡with ¡ ¡ infinite ¡planes ¡

[4] ¡Y. ¡Taguchi ¡et ¡al. ¡“Point-­‑plane ¡SLAM ¡for ¡hand-­‑held ¡3D ¡sensors,” ¡ICRA, ¡2013 ¡ ¡ ¡ [5] ¡M. ¡Kaess, ¡“Simultaneous ¡localiza<on ¡and ¡mapping ¡with ¡infinite ¡planes,” ¡ICRA, ¡2015 ¡

• Planar ¡SLAM ¡(general ¡indoor ¡environments) ¡

– Point-­‑Plane ¡SLAM[4], ¡SLAM ¡with ¡infinite ¡planes[5] ¡

¡

[−]: ¡Noisy/bad ¡plane ¡extrac,on ¡ [−]: ¡No ¡model ¡for ¡non-­‑planar ¡regions ¡

Challenges ¡

6 ¡

Point-­‑Plane ¡SLAM ¡ SLAM ¡with ¡ ¡ infinite ¡planes ¡

[4] ¡Y. ¡Taguchi ¡et ¡al. ¡“Point-­‑plane ¡SLAM ¡for ¡hand-­‑held ¡3D ¡sensors,” ¡ICRA, ¡2013 ¡ ¡ ¡ [5] ¡M. ¡Kaess, ¡“Simultaneous ¡localiza<on ¡and ¡mapping ¡with ¡infinite ¡planes,” ¡ICRA, ¡2015 ¡

Challenges ¡

• Planar ¡SLAM ¡(general ¡indoor ¡environments) ¡

– Point-­‑Plane ¡SLAM[4], ¡SLAM ¡with ¡infinite ¡planes[5] ¡

• Dense ¡planar ¡SLAM: ¡CPA-­‑SLAM[6] ¡

¡[+]: ¡Expecta,on ¡maximiza,on ¡(EM) ¡plane ¡alignment ¡ ¡[+]: ¡Model ¡non-­‑planar ¡regions ¡with ¡raw ¡pointclouds ¡

7 ¡

Segmented ¡planes ¡ Graph ¡constraints ¡ ¡ Sod ¡EM ¡alignment ¡

[6] ¡L. ¡Ma ¡et ¡al. ¡“CPA-­‑SLAM: ¡Consistent ¡plane-­‑model ¡alignment ¡for ¡direct ¡RGB-­‑D ¡SLAM,” ¡ICRA, ¡2016. ¡

Challenges ¡

• Planar ¡SLAM ¡(general ¡indoor ¡environments) ¡

– Point-­‑Plane ¡SLAM[4], ¡SLAM ¡with ¡infinite ¡planes[5] ¡

• Dense ¡planar ¡SLAM: ¡CPA-­‑SLAM[6] ¡

¡[−]: ¡Expensive ¡calcula,on ¡(GPU) ¡

8 ¡

Segmented ¡planes ¡ Graph ¡constraints ¡ ¡ Sod ¡EM ¡alignment ¡

[6] ¡L. ¡Ma ¡et ¡al. ¡“CPA-­‑SLAM: ¡Consistent ¡plane-­‑model ¡alignment ¡for ¡direct ¡RGB-­‑D ¡SLAM,” ¡ICRA, ¡2016. ¡

Goal ¡

• A ¡cheaper ¡but ¡s<ll ¡accurate ¡planar ¡SLAM ¡system ¡

– Dense ¡3D ¡map ¡ – Real-­‑<me ¡ – CPU ¡

9 ¡

Reduce ¡Computa<onal ¡Costs ¡

• Expecta<on-­‑maximiza<on ¡(EM) ¡plane ¡alignment ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡

10 ¡

Hard ¡labeling ¡ EM ¡alignment ¡

Reduce ¡Computa<onal ¡Costs ¡

• Expecta<on-­‑maximiza<on ¡(EM) ¡plane ¡alignment ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡=> ¡Local ¡depth ¡fusion ¡for ¡plane ¡extrac<on ¡ ¡=> ¡Op<mizing ¡planes ¡as ¡quaternions[7] ¡

11 ¡

Hard ¡labeling ¡ EM ¡alignment ¡

Local ¡Depth ¡Fusion ¡

• Select ¡keyframes ¡based ¡on ¡sensor ¡mo<on ¡
• Between ¡two ¡consecu,ve ¡keyframes, ¡do: ¡

– Project ¡depth ¡images ¡into ¡the ¡previous ¡keyframe ¡ – Running ¡average ¡fusion ¡ – Remove ¡outliers: ¡Only ¡fuse ¡two ¡depth ¡pixels ¡when ¡ the ¡their ¡difference ¡is ¡within ¡a ¡threshold ¡

12 ¡

d ← αd + ′ α ′ d α + ′ α

α ←α + ′ α

Plane ¡Extrac<on ¡from ¡Fused ¡Depth ¡

• A ¡clustering ¡method ¡for ¡plane ¡segmenta<on[7] ¡
• Depth ¡fusion ¡can ¡improve ¡plane ¡extrac,on ¡
• We ¡fit ¡a ¡plane ¡model ¡to ¡each ¡point ¡cluster ¡using ¡

a ¡linear ¡model ¡in ¡disparity ¡space[8] ¡

13 ¡

Original ¡image ¡ Raw ¡depth ¡ Locally ¡fused ¡depth ¡

[7] ¡D. ¡Holz ¡et ¡al. ¡“Real-­‑<me ¡plane ¡segmenta<on ¡using ¡RGB-­‑D ¡cameras,” ¡RoboCup, ¡2012. ¡ [8] ¡C. ¡Erdogan ¡et ¡al. ¡“Planar ¡segmenta<on ¡of ¡RGBD ¡images ¡using ¡fast ¡linear ¡finng ¡and ¡Markov ¡chain ¡Monte ¡ Carlo,” ¡CRV, ¡2012. ¡

Plane ¡Op<miza<on ¡

• Plane ¡representa<on[5] ¡(same ¡as ¡quaternion): ¡

– Model: ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(only ¡3 ¡DoF) ¡ – Update: ¡ ¡ – Error: ¡

14 ¡

′ π = π ⊗ exp(ω) = 1 2 sinc 1 2 ω ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ ω cos 1 2 ω ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ π ≡ n d ⎡ ⎣ ⎢ ⎤ ⎦ ⎥ ∈S3 ω err = log(π 2

−1 ⊗π1)

⊗ Hamilton product

[5] ¡M. ¡Kaess, ¡“Simultaneous ¡localiza<on ¡and ¡mapping ¡with ¡infinite ¡planes,” ¡ICRA, ¡2015 ¡

Reduce ¡Computa<onal ¡Costs ¡

• ICP[9] ¡& ¡Dense ¡RGB-­‑D ¡odometry[10] ¡(GPU) ¡

¡ ¡ ¡

15 ¡

[9] ¡P. ¡J. ¡Besl ¡et ¡al. ¡“A ¡method ¡for ¡registra<on ¡of ¡3-­‑D ¡shapes,” ¡TPAMI, ¡1992. ¡ [10] ¡F. ¡Steinbrucker ¡et ¡al. ¡“Real-­‑<me ¡visual ¡odometry ¡from ¡dense ¡RGB-­‑D ¡images,” ¡ICCV ¡workshops, ¡2011. ¡ hqp://www.pointclouds.org/blog/gsoc/georgeLisca/all.php ¡

3D ¡Itera<ve ¡Closest ¡Point ¡(ICP) ¡ Dense ¡RGB-­‑D ¡odometry ¡

Reduce ¡Computa<onal ¡Costs ¡

• ICP[9] ¡& ¡Dense ¡RGB-­‑D ¡odometry[10] ¡(GPU) ¡

¡ ¡ ¡=> ¡Fast ¡dense ¡RGB-­‑D ¡odometry ¡(100 ¡fps ¡on ¡CPU) ¡

16 ¡

3D ¡Itera<ve ¡Closest ¡Point ¡(ICP) ¡ Dense ¡RGB-­‑D ¡odometry ¡

[9] ¡P. ¡J. ¡Besl ¡et ¡al. ¡“A ¡method ¡for ¡registra<on ¡of ¡3-­‑D ¡shapes,” ¡TPAMI, ¡1992. ¡ [10] ¡F. ¡Steinbrucker ¡et ¡al. ¡“Real-­‑<me ¡visual ¡odometry ¡from ¡dense ¡RGB-­‑D ¡images,” ¡ICCV ¡workshops, ¡2011. ¡ hqp://www.pointclouds.org/blog/gsoc/georgeLisca/all.php ¡

Fast ¡Dense ¡RGB-­‑D ¡Odometry ¡

17 ¡

IPP ¡

(planes) ¡

PDRO ¡

(Laplacian) ¡

SRO ¡

(semi-­‑dense) ¡

Itera:ve ¡projected ¡planes ¡

• Minimize ¡distance ¡between ¡planar ¡

regions ¡associated ¡by ¡projec<on ¡

Pyramid ¡dense ¡RGB-­‑D ¡odometry ¡

• Minimize ¡photometric ¡error ¡between ¡

downsampled ¡Laplacian ¡images ¡

Semi-­‑dense ¡RGB-­‑D ¡odometry ¡ ¡

• Minimize ¡photometric ¡error ¡between ¡

semi-­‑dense ¡large ¡gradient ¡regions ¡

¡ ¡

Fast ¡Dense ¡RGB-­‑D ¡Odometry ¡

• Rough: ¡IPP ¡+ ¡PDRO ¡
• Precise: ¡IPP ¡+ ¡SRO ¡

18 ¡

IPP ¡

(planes) ¡

PDRO ¡

(Laplacian) ¡

SRO ¡

(semi-­‑dense) ¡

[+]: ¡Planar ¡region ¡ ¡ [−]: ¡Non-­‑planar ¡regions ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(e.g.: ¡edges ¡and ¡corners) ¡ [+]: ¡Texture ¡region ¡(edges) ¡ [−]: ¡Textureless ¡region ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(e.g.: ¡blank ¡wall) ¡

Fast ¡Dense ¡RGB-­‑D ¡Odometry ¡

• Rough: ¡IPP ¡+ ¡PDRO ¡
• Precise: ¡IPP ¡+ ¡SRO ¡

19 ¡

IPP ¡

(planes) ¡

PDRO ¡

(Laplacian) ¡

SRO ¡

(semi-­‑dense) ¡

[+]: ¡Planar ¡region ¡ ¡ [−]: ¡Non-­‑planar ¡regions ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(e.g.: ¡edges ¡and ¡corners) ¡ [+]: ¡Texture ¡region ¡(edges) ¡ [−]: ¡Textureless ¡region ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(e.g.: ¡blank ¡wall) ¡

All ¡with ¡reference ¡frame ¡sharing ¡

Keyframe-­‑based ¡Dense ¡Planar ¡SLAM ¡

• Dense ¡3D ¡reconstruc<on ¡

20 ¡

• Handheld ¡RGB-­‑D ¡sensor ¡
• Landmark ¡planes ¡
• Real-­‑<me ¡on ¡CPU ¡

Dense ¡model ¡ False-­‑colored ¡ landmark ¡planes ¡

ASUS ¡X<on ¡Pro ¡Live ¡ (30 ¡fps) ¡

• Three ¡threads: ¡

21 ¡

Keyframe-­‑based ¡Dense ¡Planar ¡SLAM ¡

• Three ¡threads: ¡(a) ¡fast ¡dense ¡RGB-­‑D ¡odometry ¡

22 ¡

Keyframe-­‑based ¡Dense ¡Planar ¡SLAM ¡

• Three ¡threads: ¡(a) ¡fast ¡dense ¡RGB-­‑D ¡odometry, ¡

(b) ¡local ¡depth ¡fusion ¡

23 ¡

Keyframe-­‑based ¡Dense ¡Planar ¡SLAM ¡

• Three ¡threads: ¡(a) ¡fast ¡dense ¡RGB-­‑D ¡odometry, ¡

(b) ¡local ¡depth ¡fusion, ¡(c) ¡global ¡planar ¡mapping ¡

24 ¡

Keyframe-­‑based ¡Dense ¡Planar ¡SLAM ¡

iSAM ¡

• ICL-­‑NUIM[21] ¡dataset ¡(trajectory ¡error ¡evalua<on) ¡

– Comparable ¡to ¡the ¡state-­‑of-­‑the-­‑art ¡but ¡cheaper ¡

25 ¡

Our ¡system ¡performs ¡beTer ¡than: ¡ ¡(dense ¡& ¡CPU) ¡ ¡(dense ¡& ¡GPU) ¡

Experimental ¡Results ¡

Experimental ¡Results ¡

• Self-­‑collected ¡two-­‑floor ¡dataset ¡

– Significantly ¡reduces ¡driH/distor,on ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

26 ¡

KDP-­‑SLAM ¡ State-­‑of-­‑the-­‑art ¡dense ¡3D ¡mapping ¡system: ¡Kin,nuous ¡

Further ¡Improve ¡the ¡System ¡

• Problems: ¡mo<on ¡blur, ¡insufficient ¡planes ¡

¡

27 ¡

Further ¡Improve ¡the ¡System ¡

• Problems: ¡mo<on ¡blur, ¡insufficient ¡planes ¡

¡=> ¡Add ¡an ¡iner,al ¡sensor ¡ ¡

28 ¡

Why ¡Adding ¡an ¡Iner<al ¡Sensor? ¡

• A ¡complimentary ¡sensor ¡for ¡vision ¡

– Pros ¡

• Only ¡observes ¡mo,on ¡and ¡gravity ¡
• High ¡frame ¡rate ¡(up ¡to ¡1000 ¡Hz) ¡

– Cons ¡

• Dead ¡reckoning ¡accumulates ¡driH ¡
• Unpredictable ¡biases ¡

¡

¡

29 ¡

hqp://www.microstrain.com/iner<al/3dm-­‑gx4-­‑25 ¡

Iner<al ¡measurement ¡unit ¡ ¡ (IMU) ¡

Why ¡Adding ¡an ¡Iner<al ¡Sensor? ¡

• A ¡complimentary ¡sensor ¡for ¡vision ¡

– Pros ¡

• Only ¡observes ¡mo,on ¡and ¡gravity ¡
• High ¡frame ¡rate ¡(up ¡to ¡1000 ¡Hz) ¡

– Cons ¡

• Dead ¡reckoning ¡accumulates ¡driH ¡
• Unpredictable ¡biases ¡

[+]: ¡VO ¡& ¡planar ¡constraints ¡can ¡recover ¡driH ¡/ ¡biases ¡ [+]: ¡IMU ¡can ¡predict ¡and ¡jointly ¡op,mize ¡the ¡mo,on ¡

30 ¡

hqp://www.microstrain.com/iner<al/3dm-­‑gx4-­‑25 ¡

Iner<al ¡measurement ¡unit ¡ ¡ (IMU) ¡

Visual-­‑iner<al ¡fusion ¡

• IMU ¡preintegra,on[11] ¡

[+]: ¡Fast ¡and ¡allows ¡accurate ¡global ¡op,miza,on ¡ [+]: ¡Suitable ¡for ¡our ¡keyframe-­‑based ¡system ¡structure ¡

31 ¡

preintegrated ¡IMU ¡factor ¡ raw ¡IMU ¡data ¡ all ¡frames ¡ keyframes ¡

[11] ¡C. ¡Forster ¡et ¡al. ¡“On-­‑manifold ¡preintegra<on ¡for ¡real-­‑<me ¡visual-­‑iner<al ¡odometry,” ¡T-­‑RO, ¡2017 ¡

• Rota<onal ¡drid ¡when ¡turning ¡around ¡corners ¡

loop ¡ ¡ closure ¡

Further ¡Improve ¡the ¡System ¡

32 ¡

• Rota<onal ¡drid ¡when ¡turning ¡around ¡corners ¡

¡=> ¡Structural ¡constraints ¡

Further ¡Improve ¡the ¡System ¡

33 ¡

⊥ & !

? ¡

Structural ¡Constraints ¡

• Between ¡two ¡planes ¡ ¡ ¡ ¡ ¡ ¡and ¡ ¡

– Orthogonal ¡factor ¡ ¡ – Parallel ¡factor ¡

• Only ¡added ¡between ¡nearby ¡planes ¡

– Maintain ¡sparsity ¡=> ¡efficient ¡for ¡op<miza<on ¡

34 ¡

e⊥ = 1 σ ⊥

2 na ⋅nb

( )

2

e! = 1 σ !

2 na × nb 2

π a πb

Dense ¡Planar-­‑iner,al ¡SLAM ¡(DPI-­‑SLAM) ¡ with ¡Structural ¡Constraints ¡

• Dense ¡3D ¡reconstruc,on ¡

35 ¡

• Handheld ¡RGB-­‑D ¡& ¡IMU ¡sensors ¡
• Real-­‑,me ¡on ¡CPU ¡

Microstrain ¡IMU ¡ ASUS ¡X<on ¡Pro ¡Live ¡ Large ¡scale ¡dense ¡3D ¡model ¡

• Less ¡driH ¡& ¡more ¡robustness ¡

• Similar ¡system ¡structure ¡as ¡KDP-­‑SLAM ¡

36 ¡

Dense ¡Planar-­‑iner,al ¡SLAM ¡(DPI-­‑SLAM) ¡ with ¡Structural ¡Constraints ¡

• Similar ¡system ¡structure ¡as ¡KDP-­‑SLAM ¡

37 ¡

IMU ¡data ¡ Structural ¡constraints ¡

Dense ¡Planar-­‑iner,al ¡SLAM ¡(DPI-­‑SLAM) ¡ with ¡Structural ¡Constraints ¡

iSAM2 ¡

Modified ¡Global ¡Factor ¡Graph ¡

• Preintegra<on ¡interval ¡should ¡not ¡be ¡too ¡long ¡ ¡

– Between ¡two ¡reference ¡frames ¡(not ¡keyframes) ¡ ¡ ¡ ¡

• Dense ¡VO ¡& ¡iner<al ¡fusion: ¡Loosely-­‑coupled ¡ ¡

– Efficient ¡global ¡op<miza<on ¡

• Planar ¡& ¡iner<al ¡fusion: ¡Tightly-­‑coupled ¡ ¡

– Direct ¡and ¡op<mal ¡

38 ¡

KDP-­‑SLAM ¡ DPI-­‑SLAM ¡

Modified ¡Global ¡Factor ¡Graph ¡

• Preintegra<on ¡interval ¡should ¡not ¡be ¡too ¡long ¡ ¡

– Between ¡two ¡reference ¡frames ¡(not ¡keyframes) ¡ ¡ ¡ ¡

• Dense ¡VO ¡& ¡iner<al ¡fusion: ¡Loosely-­‑coupled ¡ ¡

– Efficient ¡global ¡op<miza<on ¡

• Planar ¡& ¡iner<al ¡fusion: ¡Tightly-­‑coupled ¡ ¡

– Direct ¡setup ¡and ¡op<mal ¡solu<on ¡

39 ¡

KDP-­‑SLAM ¡ DPI-­‑SLAM ¡

Comparing ¡the ¡Results ¡

40 ¡

DPI-­‑SLAM ¡(keyframe) ¡ DPI-­‑SLAM ¡ ¡

(reference ¡frame) ¡

DPI-­‑SLAM ¡ ¡

(reference ¡frame) ¡ ¡

+ ¡structural ¡constraints ¡ KDP-­‑SLAM ¡

============ ¡ ¡The ¡mo,on ¡is ¡3x ¡faster ¡============ ¡ ¡

Best ¡Result ¡Among ¡All ¡Senngs ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡DPI-­‑SLAM ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡(reference ¡frame) ¡ ¡

+ ¡structural ¡constraints ¡+ ¡loop ¡closure ¡

41 ¡

Recording: ¡45 ¡sec ¡ Computa<on: ¡real-­‑,me ¡ Output: ¡40M ¡points ¡

Evalua<on ¡with ¡Lidar ¡Scans ¡

FARO ¡Focus ¡ ¡ 3D ¡Laser ¡Scanner[12] ¡

42 ¡

Recording: ¡30 ¡min ¡(12 ¡scans) ¡ Computa<on: ¡NOT ¡real-­‑,me ¡ Output: ¡45M ¡points ¡

[12] ¡FARO ¡Focus. ¡[Online]. ¡Available: ¡hqp://www.faro.com/en-­‑us/products/3d-­‑surveying/faro-­‑focus3d/overview ¡

Evalua<on ¡with ¡Lidar ¡Scans ¡

Mean ¡absolute ¡error ¡(MAE): ¡4.9 ¡cm ¡ Root-­‑mean-­‑square ¡error ¡(RMSE): ¡6.9 ¡cm ¡ En<re ¡model: ¡30m*13m*3m ¡=> ¡error ¡ra<o: ¡~ ¡0.7% ¡

43 ¡

Registra<on ¡using ¡ICP ¡(blue: ¡smaller ¡error, ¡yellow: ¡larger ¡error) ¡

Conclusion ¡

• Planar ¡& ¡iner,al ¡constraints ¡improve ¡SLAM ¡
• 0. ¡Dense ¡RGB-­‑D ¡SLAM ¡
• 1. ¡Planar ¡SLAM ¡
• 2. ¡Planar-­‑iner,al ¡SLAM ¡
• 3. ¡Add ¡structural ¡constraints ¡to ¡2. ¡
• Future ¡works ¡on ¡geometric ¡constraints ¡

– What ¡other ¡kinds ¡can ¡be ¡used? ¡(lines, ¡curves, ¡…) ¡ – SLAM ¡in ¡dynamic ¡environments? ¡

44 ¡

BeTer! ¡

Thank ¡You! ¡

45 ¡

Part ¡of ¡the ¡work ¡is ¡under ¡submission. ¡ For ¡more ¡details, ¡please ¡see ¡our ¡previous ¡paper ¡“KDP-­‑SLAM”: ¡ Ø M. ¡Hsiao, ¡E. ¡Westman, ¡G. ¡Zhang, ¡and ¡M. ¡Kaess, ¡“Keyframe-­‑based ¡dense ¡ planar ¡SLAM,” ¡in ¡IEEE ¡Intl. ¡Conf. ¡on ¡Robo:cs ¡and ¡Automa:on ¡(ICRA), ¡2017. ¡