Active motion compensation for cardiac surgery Prof. Dr. Ing. - - PowerPoint PPT Presentation

¡

Active motion compensation for cardiac surgery ¡

¡

• Prof. ¡Dr. ¡Ing. ¡Philippe ¡POIGNET ¡

¡ LIRMM ¡UMR ¡5506 ¡CNRS ¡-­‑ ¡University ¡of ¡Montpellier ¡

RoboDcs ¡Department, ¡France ¡

¡ poignet@lirmm.fr ¡ BioDev’14

2

LIRMM ¡/ ¡Robo)cs ¡Dpt ¡/ ¡DEXTER ¡Team ¡/ ¡Med. ¡Rob. ¡Group ¡

• Med. Rob. Team: 4 permanents, 1 Emeritus, 3 research engineers, 6 PhDs, few

residents, … International collaborations:

• WASEDA University,
• University of Washington
• Université Catholique de Louvain (UCL)
• Scuela Superiore Santa Anna (SSSA)
• Politecnico di Milano
• …

3

Evolution of surgery

n How to improve … … the surgical techniques ? … the quality and the safety of gesture ? … the patient and surgeon benefit ?

MINIMALLY INVASIVE SURGERY (MIS) ENDOLUMINAL or INTRAVASCULAR SURGERY

Endoscopic and intra vascular micro-devices

2010 2020 2000

da Vinci system ASSISTED MIS

4

Limita)ons: ¡

§ Monocular ¡vision ¡ § Decreased ¡mobility ¡ § Hand-­‑eye ¡coordinaDon ¡ § Three ¡hands ¡required ¡ ¡ § No ¡tacDle ¡feedback ¡ § Surgeon ¡posiDon ¡ § ¡… ¡

(source ¡: ¡www.gynlaparoscopy.com) ¡

Minimally ¡Invasive ¡Surgery ¡

5

RoboDc ¡assistance ¡can ¡overcome ¡most ¡of ¡the ¡difficulDes ¡of ¡MIS: ¡

§ Increased ¡dexterity ¡ § Improved ¡ergonomics ¡ § Enhanced ¡visualizaDon ¡ § Tremor ¡filtering ¡

Robo)zed ¡MIS ¡

6

¡ Ac)ve ¡vision-­‑based ¡mo)on ¡ compensa)on ¡

¡ ¡ ¡

• R. ¡ Richa, ¡ P. ¡ Poignet, ¡ C. ¡ Liu, ¡ 2010, ¡ “3D ¡ moDon ¡ tracking ¡ for ¡ beaDng ¡ heart ¡ surgery”,Interna)onal ¡ Journal ¡ of

¡ Robo)cs ¡Research ¡29(2), ¡pp. ¡218-­‑230 ¡

• R. ¡Richa, ¡A. ¡Bo, ¡P. ¡Poignet, ¡2011, ¡“Towards ¡Robust ¡3D ¡Visual ¡Tracking ¡for ¡MoDon ¡CompensaDon ¡in ¡BeaDng ¡Heart

¡ Surgery”, Medical ¡Image ¡Analysis ¡15(3), ¡pp. ¡3012-­‑315 ¡

7

§ Although ¡high ¡success ¡rates ¡are ¡observed, ¡the ¡downsides

¡ for ¡paDents ¡are ¡not ¡negligible ¡

ü Risks ¡of ¡microemboly ¡ ü Neurological ¡complicaDons ¡ ü Trauma ¡ ¡ ü … ¡

§ Approximately ¡80.000 ¡

CABGs ¡per ¡year ¡in ¡France ¡ and ¡800. ¡000 ¡in ¡USA ¡ [MSS09] ¡

§ The ¡reference ¡procedure ¡

ü Median ¡sternotomy ¡ ü Cardiopulmonary ¡bypass ¡

(www.mcallenheart.com )

The ¡Coronary ¡Artery ¡Bypass ¡GraLing ¡(CABG) ¡ ¡

8

§ Avoids ¡the ¡trauma ¡caused ¡by ¡the ¡

median ¡sternotomy ¡

ü Less ¡risks, ¡costs ¡and ¡trauma ¡ ü Shorter ¡convalescence ¡Dme ¡

§ Mechanical ¡stabilizers ¡for ¡

• peraDng ¡on ¡the ¡beaDng ¡heart ¡

Octopus , Medtronic

The ¡‘Off-­‑pump’ ¡minimally ¡invasive ¡CABG ¡

9

§

Suturing ¡(sDtching ¡+ ¡knot ¡tying) ¡ ¡

§

Ø ¡2 ¡mm, ¡10 ¡to ¡20 ¡penetraDons ¡

§

Ø ¡of ¡the ¡thread: ¡few ¡tens ¡of ¡mm ¡

§

PenetraDon ¡force: ¡up ¡to ¡1N ¡

§

ResoluDon: ¡beger ¡than ¡0.1 ¡mm ¡

graft Suturing of the graft to the aorta and the coronary artery

§ CABG ¡requires ¡micro-­‑manipulaDon ¡ § RoboDc ¡assistance ¡for ¡circumvenDng ¡MIS ¡limitaDons ¡ § Need ¡of ¡automaDc ¡compensaDon ¡of ¡physiological ¡ moDons ¡

Specifica)ons ¡for ¡CABG ¡

10

Octopus , Medtronic

§ Passive ¡stabilizer ¡ § AcDve ¡stabilizer ¡

Cardiolock, ICube, Strasbourg

Piezo-motor Compliant joints Visual Markers High speed camera

Mechanical ¡stabilizer ¡

11

HeartLander (The Robotics Institute, CMU, Pittsburgh)

… ¡an ¡inchworm-­‑like ¡mobile ¡robot ¡for ¡minimally-­‑invasive ¡beaDng-­‑heart ¡ cardiac ¡surgery ¡ ¡

“Mobile ¡robot” ¡instrument ¡

12

§ Vision-­‑based ¡moDon ¡compensaDon ¡

ü ObjecDve: ¡ accurate ¡ esDmaDon ¡ of ¡ the ¡ heart ¡ surface ¡ moDon

¡ without ¡arDficial ¡markings ¡

ü It ¡is ¡pracDcal ¡but ¡is ¡it ¡feasible? ¡

§ DifficulDes ¡

ü High ¡acceleraDons ¡ ü Complex ¡dynamics ¡ ü IlluminaDon ¡changes ¡and ¡ specular ¡reflecDons ¡ ü Occlusions ¡due ¡to ¡surgical ¡ instruments, ¡blood, ¡smoke, ¡

• etc. ¡

Endoscopic CABG using the DaVinci

Vision-­‑based ¡stabilizer ¡

13

In ¡the ¡literature, ¡visual ¡tracking ¡methods ¡for ¡esDmaDng ¡the ¡heart ¡ moDon ¡can ¡be ¡coarsely ¡divided ¡into ¡two ¡classes ¡

§ ¡Feature-­‑based ¡tracking ¡[Ortmaier02, ¡Stoyanov05a, ¡ ¡Noce06, ¡Mountney08] ¡

¡

ü ¡Tracking ¡a ¡set ¡of ¡natural ¡structures ¡on ¡the ¡heart ¡surface ¡(e.g. ¡blood ¡

vessels, ¡salient ¡Dssue) ¡

§ ¡Region-­‑based ¡tracking ¡[Lau ¡04, ¡Stoyanov05b, ¡Lo08b, ¡Richa08c] ¡

¡

ü ¡EsDmaDon ¡of ¡the ¡deformaDon ¡of ¡a ¡whole ¡region ¡of ¡interest ¡based ¡

• n ¡a ¡parametric ¡model ¡(e.g. ¡B-­‑spline, ¡Radial ¡Basis ¡FuncDons) ¡

è ¡Problem: ¡finding ¡a ¡suitable ¡deformaDon ¡model ¡

Related ¡works ¡

14

§ ¡The ¡TPS ¡is ¡a ¡radial ¡basis ¡funcDon ¡used ¡to ¡specify ¡ ¡an ¡approximaDon ¡funcDon ¡ f ¡which ¡minimizes ¡the ¡bending ¡energy ¡[Bookstein89] ¡

where ¡U(s) ¡= ¡s²log(s) ¡ ¡is ¡the ¡TPS ¡basis ¡funcDon ¡

§ ¡2D ¡warping ¡parameterizaDon ¡[Lim ¡05] ¡ § ¡Tracking ¡

§ ¡ ¡Mi ¡and ¡K* ¡can ¡be ¡pre-­‑computed ¡ § ¡ ¡hx ¡and ¡hy ¡are ¡the ¡stacked ¡x ¡and ¡y ¡coordinates ¡

• f ¡the ¡control ¡points ¡correspondances ¡ ¡c’ ¡

Tracking ¡using ¡a ¡Thin-­‑Plate ¡Spline ¡deformable ¡model ¡

15

fz

§ ¡A ¡mapping ¡from ¡R2 ¡→ ¡R3 ¡can ¡be ¡wrigen ¡by ¡stacking ¡3 ¡TPS ¡equaDons ¡[Malis06] ¡ § ¡The ¡control ¡points ¡on ¡each ¡stereo ¡image ¡as ¡projecDons ¡of ¡3D ¡points ¡onto ¡ the ¡image ¡plane ¡ § ¡EsDmaDon ¡of ¡3D ¡points ¡X ¡that ¡minimize ¡the ¡alignment ¡error ¡between ¡the ¡ reference ¡image ¡T ¡and ¡both ¡stereo ¡images ¡Il ¡and ¡Ir ¡simultaneously ¡ ¡

3D ¡Tracking ¡in ¡stereo ¡images ¡

16

§ ¡The ¡3D ¡shape ¡of ¡an ¡ex ¡vivo ¡pig’s ¡heart ¡is ¡ scanned ¡ by ¡ a ¡ laser ¡ profilometer ¡ (0.2 ¡ mm ¡ depth ¡precision) ¡ ¡ ¡ § ¡The ¡error ¡between ¡the ¡ground ¡truth ¡and ¡ the ¡TPS ¡approximaDon ¡is ¡measured ¡

Detail ¡ TPS ¡approximaDon ¡ 4cm ¡x ¡4cm ¡region ¡-­‑ ¡25 ¡ control ¡points ¡ ¡ Average ¡error: ¡0.24 ¡mm ¡ Standard ¡DeviaDon: ¡0.29 ¡mm ¡ Maximum ¡Error: ¡1.1 ¡mm ¡

Model ¡assessment ¡

17

Experimental ¡results ¡

§ ¡Robust ¡to ¡changes ¡in ¡illuminaDon ¡and ¡specular ¡reflecDon ¡ § ¡Occlusion ¡is ¡not ¡yet ¡considered ¡here. ¡

18

Predic)ng ¡the ¡bea)ng ¡heart ¡mo)on ¡

§ ¡Proposed ¡model: ¡a ¡non-­‑staDonary ¡dual ¡Fourier ¡series ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

ü ¡f ¡contains ¡the ¡series ¡parameters ¡

ü ¡ωr ¡– ¡respiratory ¡frequency ¡ ü ¡ωc ¡– ¡cardiac ¡frequency ¡ ¡

¡

§ ¡The ¡parameters ¡are ¡esDmated ¡with ¡EKF ¡[Richa ¡et ¡al., ¡10] ¡

ü ¡Hr ¡– ¡No ¡respiraDon ¡harmonics ¡

ü ¡Hc ¡– ¡No ¡ ¡cardiac ¡harmonics ¡

19

Predic)ng ¡the ¡bea)ng ¡heart ¡mo)on ¡

RMS / peak prediction errors:

• 0.2s : 0.73mm / 1mm
• 1s : 0.86mm / 1.55mm
• 3s : 1.00mm / 2.03mm

20

Summary ¡

¡

§ Efficient ¡ hybrid ¡ tracking ¡ approach ¡ for ¡ 3D ¡ esDmaDon ¡ of ¡ the ¡ heart ¡surface ¡ § Robust ¡w.r.t.: ¡

ü ¡IlluminaDon ¡changes ¡ ü ¡Specular ¡reflecDons ¡ ü ¡Large ¡deformaDon ¡

§ PredicDve ¡ model ¡ based ¡ on ¡ dual ¡ Fourier ¡ series ¡ for ¡ tackling ¡ tracking ¡failures ¡and ¡occlusions ¡ § Experiments ¡on ¡in ¡vivo ¡images ¡ § Parallel ¡ computaDons ¡ are ¡ possible ¡ allowing ¡ the ¡ future ¡ implementaDon ¡in ¡a ¡control ¡scheme ¡

21

¡ ¡ Thank ¡you ¡for ¡your ¡a_en)on ¡ ¡ ¡ ¡

• R. ¡ Richa, ¡ P. ¡ Poignet, ¡ C. ¡ Liu, ¡ 2010, ¡ “3D ¡ moDon ¡ tracking ¡ for ¡ beaDng ¡ heart ¡

surgery”,Interna)onal ¡Journal ¡of ¡Robo)cs ¡Research ¡29(2), ¡pp. ¡218-­‑230 ¡ ¡

• R. ¡ Richa, ¡ A. ¡ Bo, ¡ P. ¡ Poignet, ¡ 2011, ¡ “Towards ¡ Robust ¡ 3D ¡ Visual ¡ Tracking ¡ for ¡ MoDon ¡

CompensaDon ¡in ¡BeaDng ¡Heart ¡Surgery”, Medical ¡Image ¡Analysis ¡15(3), ¡pp. ¡3012-­‑315