¡ Active motion compensation for cardiac surgery ¡ ¡ Prof. ¡Dr. ¡Ing. ¡Philippe ¡POIGNET ¡ ¡ LIRMM ¡UMR ¡5506 ¡CNRS ¡-‑ ¡University ¡of ¡Montpellier ¡ RoboDcs ¡Department, ¡France ¡ ¡ poignet@lirmm.fr ¡ BioDev’14
LIRMM ¡/ ¡Robo)cs ¡Dpt ¡/ ¡DEXTER ¡Team ¡/ ¡Med. ¡Rob. ¡Group ¡ Med. Rob. Team: 4 permanents, 1 Emeritus, 3 research engineers, 6 PhDs, few residents, … International collaborations: - WASEDA University, - University of Washington - Université Catholique de Louvain (UCL) - Scuela Superiore Santa Anna (SSSA) - Politecnico di Milano - … 2
Evolution of surgery n How to improve … … the surgical techniques ? … the quality and the safety of gesture ? … the patient and surgeon benefit ? ENDOLUMINAL or INTRAVASCULAR SURGERY ASSISTED MINIMALLY MIS INVASIVE SURGERY (MIS) Endoscopic and intra vascular micro-devices da Vinci system 2020 2010 2000 3
Minimally ¡Invasive ¡Surgery ¡ Limita)ons: ¡ § Monocular ¡vision ¡ § Decreased ¡mobility ¡ § Hand-‑eye ¡coordinaDon ¡ (source ¡: ¡www.gynlaparoscopy.com) ¡ § Three ¡hands ¡required ¡ ¡ § No ¡tacDle ¡feedback ¡ § Surgeon ¡posiDon ¡ § ¡… ¡ 4
Robo)zed ¡MIS ¡ RoboDc ¡assistance ¡can ¡overcome ¡most ¡of ¡the ¡difficulDes ¡of ¡MIS: ¡ § Increased ¡dexterity ¡ § Improved ¡ergonomics ¡ § Enhanced ¡visualizaDon ¡ § Tremor ¡filtering ¡ 5
¡ Ac)ve ¡vision-‑based ¡mo)on ¡ compensa)on ¡ ¡ ¡ ¡ R. ¡ Richa, ¡ P. ¡ Poignet, ¡ C. ¡ Liu, ¡ 2010, ¡ “ 3D ¡ moDon ¡ tracking ¡ for ¡ beaDng ¡ heart ¡ surgery”, Interna)onal ¡ Journal ¡ of ¡ Robo)cs ¡Research ¡ 29 (2), ¡pp. ¡218-‑230 ¡ R. ¡Richa, ¡A. ¡Bo, ¡P. ¡Poignet, ¡2011, ¡“Towards ¡Robust ¡3D ¡Visual ¡Tracking ¡for ¡MoDon ¡CompensaDon ¡in ¡BeaDng ¡Heart ¡ Surgery” , Medical ¡Image ¡Analysis ¡ 15 (3), ¡pp. ¡3012-‑315 6 ¡
The ¡Coronary ¡Artery ¡Bypass ¡GraLing ¡(CABG) ¡ ¡ § Approximately ¡80.000 ¡ CABGs ¡per ¡year ¡in ¡France ¡ (www.mcallenheart.com and ¡800. ¡000 ¡in ¡USA ¡ [MSS09] ¡ § The ¡reference ¡procedure ¡ ü Median ¡sternotomy ¡ ) ü Cardiopulmonary ¡bypass ¡ § Although ¡high ¡success ¡rates ¡are ¡observed, ¡the ¡downsides ¡ for ¡paDents ¡are ¡not ¡negligible ¡ ü Risks ¡of ¡microemboly ¡ Trauma ¡ ¡ ü ü Neurological ¡complicaDons ¡ … ¡ ü 7
The ¡‘Off-‑pump’ ¡minimally ¡invasive ¡CABG ¡ § Avoids ¡the ¡trauma ¡caused ¡by ¡the ¡ median ¡sternotomy ¡ ü Less ¡risks, ¡costs ¡and ¡trauma ¡ ü Shorter ¡convalescence ¡Dme ¡ § Mechanical ¡stabilizers ¡for ¡ operaDng ¡on ¡the ¡beaDng ¡heart ¡ Octopus , Medtronic 8
Specifica)ons ¡for ¡CABG ¡ Suturing ¡(sDtching ¡+ ¡knot ¡tying) ¡ ¡ § Ø ¡2 ¡mm, ¡10 ¡to ¡20 ¡penetraDons ¡ § graft Ø ¡of ¡the ¡thread: ¡few ¡tens ¡of ¡mm ¡ § PenetraDon ¡force: ¡up ¡to ¡1N ¡ § ResoluDon: ¡beger ¡than ¡0.1 ¡mm ¡ § Suturing of the graft to the aorta and the coronary artery § CABG ¡requires ¡micro-‑manipulaDon ¡ § RoboDc ¡assistance ¡for ¡circumvenDng ¡MIS ¡limitaDons ¡ § Need ¡of ¡automaDc ¡compensaDon ¡of ¡physiological ¡ moDons ¡ 9
Mechanical ¡stabilizer ¡ § AcDve ¡stabilizer ¡ § Passive ¡stabilizer ¡ Compliant joints High speed camera Visual Markers Octopus , Medtronic Piezo-motor Cardiolock, ICube, Strasbourg 10
“Mobile ¡robot” ¡instrument ¡ … ¡an ¡inchworm-‑like ¡mobile ¡robot ¡for ¡minimally-‑invasive ¡beaDng-‑heart ¡ cardiac ¡surgery ¡ ¡ HeartLander (The Robotics Institute, CMU, Pittsburgh) 11
Vision-‑based ¡stabilizer ¡ § Vision-‑based ¡moDon ¡compensaDon ¡ ü ObjecDve: ¡ accurate ¡ esDmaDon ¡ of ¡ the ¡ heart ¡ surface ¡ moDon ¡ without ¡arDficial ¡markings ¡ ü It ¡is ¡pracDcal ¡but ¡is ¡it ¡feasible? ¡ § DifficulDes ¡ Endoscopic CABG using the DaVinci ü High ¡acceleraDons ¡ ü Complex ¡dynamics ¡ ü IlluminaDon ¡changes ¡and ¡ specular ¡reflecDons ¡ ü Occlusions ¡due ¡to ¡surgical ¡ instruments, ¡blood, ¡smoke, ¡ etc. ¡ 12
Related ¡works ¡ In ¡the ¡literature, ¡visual ¡tracking ¡methods ¡for ¡esDmaDng ¡the ¡heart ¡ moDon ¡can ¡be ¡coarsely ¡divided ¡into ¡two ¡classes ¡ § ¡Feature-‑based ¡tracking ¡[Ortmaier02, ¡Stoyanov05a, ¡ ¡Noce06, ¡Mountney08] ¡ ¡ ü ¡Tracking ¡a ¡set ¡of ¡natural ¡structures ¡on ¡the ¡heart ¡surface ¡(e.g. ¡blood ¡ vessels, ¡salient ¡Dssue) ¡ § ¡Region-‑based ¡tracking ¡[Lau ¡04, ¡Stoyanov05b, ¡Lo08b, ¡Richa08c] ¡ ¡ ü ¡EsDmaDon ¡of ¡the ¡deformaDon ¡of ¡a ¡whole ¡region ¡of ¡interest ¡based ¡ on ¡a ¡parametric ¡model ¡(e.g. ¡B-‑spline, ¡Radial ¡Basis ¡FuncDons) ¡ è ¡Problem: ¡finding ¡a ¡suitable ¡deformaDon ¡model ¡ 13
Tracking ¡using ¡a ¡Thin-‑Plate ¡Spline ¡deformable ¡model ¡ § ¡The ¡TPS ¡is ¡a ¡radial ¡basis ¡funcDon ¡used ¡to ¡specify ¡ ¡an ¡approximaDon ¡funcDon ¡ f ¡which ¡minimizes ¡the ¡bending ¡energy ¡[Bookstein89] ¡ where ¡ U(s) ¡= ¡s²log(s) ¡ ¡ is ¡the ¡TPS ¡basis ¡funcDon ¡ § ¡2D ¡warping ¡parameterizaDon ¡[Lim ¡05] ¡ § ¡ ¡ M i ¡and ¡ K * ¡can ¡be ¡pre-‑computed ¡ § ¡ ¡ h x ¡and ¡ h y ¡are ¡the ¡stacked ¡x ¡and ¡y ¡coordinates ¡ of ¡the ¡control ¡points ¡correspondances ¡ ¡ c ’ ¡ § ¡Tracking ¡ 14
3D ¡Tracking ¡in ¡stereo ¡images ¡ § ¡A ¡mapping ¡from ¡R 2 ¡→ ¡R 3 ¡can ¡be ¡wrigen ¡by ¡stacking ¡3 ¡TPS ¡equaDons ¡[Malis06] ¡ fz § ¡The ¡control ¡points ¡on ¡each ¡stereo ¡image ¡as ¡projecDons ¡of ¡3D ¡points ¡onto ¡ the ¡image ¡plane ¡ § ¡EsDmaDon ¡of ¡3D ¡points ¡ X ¡ that ¡minimize ¡the ¡alignment ¡error ¡between ¡the ¡ reference ¡image ¡ T ¡ and ¡both ¡stereo ¡images ¡ I l ¡ and ¡ I r ¡simultaneously ¡ ¡ 15
Model ¡assessment ¡ § ¡The ¡3D ¡shape ¡of ¡an ¡ ex ¡vivo ¡pig’s ¡heart ¡is ¡ scanned ¡ by ¡ a ¡ laser ¡ profilometer ¡ (0.2 ¡ mm ¡ depth ¡precision) ¡ ¡ ¡ § ¡The ¡error ¡between ¡the ¡ground ¡truth ¡and ¡ the ¡TPS ¡approximaDon ¡is ¡measured ¡ Detail ¡ TPS ¡approximaDon ¡ Average ¡error: ¡0.24 ¡mm ¡ 4cm ¡x ¡4cm ¡region ¡-‑ ¡25 ¡ Standard ¡DeviaDon: ¡0.29 ¡mm ¡ control ¡points ¡ Maximum ¡Error: ¡1.1 ¡mm ¡ ¡ 16
Experimental ¡results ¡ § ¡Robust ¡to ¡changes ¡in ¡illuminaDon ¡and ¡specular ¡reflecDon ¡ § ¡Occlusion ¡is ¡not ¡yet ¡considered ¡here. ¡ 17
Predic)ng ¡the ¡bea)ng ¡heart ¡mo)on ¡ § ¡ Proposed ¡model: ¡a ¡non-‑staDonary ¡dual ¡Fourier ¡series ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ü ¡ f ¡contains ¡the ¡series ¡parameters ¡ ü ¡ H r ¡– ¡N o ¡ respiraDon ¡harmonics ¡ ü ¡ H c ¡– ¡N o ¡ ¡ cardiac ¡harmonics ¡ ü ¡ ω r ¡– ¡respiratory ¡frequency ¡ ü ¡ ω c ¡– ¡cardiac ¡frequency ¡ ¡ ¡ § ¡ The ¡parameters ¡are ¡esDmated ¡with ¡EKF ¡[Richa ¡et ¡al., ¡10] ¡ 18
Predic)ng ¡the ¡bea)ng ¡heart ¡mo)on ¡ RMS / peak prediction errors: • 0.2s : 0.73mm / 1mm • 1s : 0.86mm / 1.55mm • 3s : 1.00mm / 2.03mm 19
Summary ¡ ¡ § Efficient ¡ hybrid ¡ tracking ¡ approach ¡ for ¡ 3D ¡ esDmaDon ¡ of ¡ the ¡ heart ¡surface ¡ § Robust ¡w.r.t.: ¡ ü ¡IlluminaDon ¡changes ¡ ü ¡Specular ¡reflecDons ¡ ü ¡Large ¡deformaDon ¡ § PredicDve ¡ model ¡ based ¡ on ¡ dual ¡ Fourier ¡ series ¡ for ¡ tackling ¡ tracking ¡failures ¡and ¡occlusions ¡ § Experiments ¡on ¡ in ¡vivo ¡images ¡ § Parallel ¡ computaDons ¡ are ¡ possible ¡ allowing ¡ the ¡ future ¡ implementaDon ¡in ¡a ¡control ¡scheme ¡ 20
Recommend
More recommend
