Medical Applica+ons for Manifold Learning: I) - - PowerPoint PPT Presentation

Medical ¡Applica+ons ¡for ¡Manifold ¡Learning: ¡ ¡ ¡ ¡ ¡ ¡I) ¡ ¡Mul+-­‑Modal ¡Registra+on ¡ ¡ ¡ ¡ ¡ ¡II) ¡Breathing ¡Ga+ng ¡

Chris+an ¡Wachinger ¡ ¡(wachinge@in.tum.de) ¡ CAMP, ¡TU ¡Munich ¡ ¡ Presented ¡by ¡Loren ¡Schwarz ¡

Mul+-­‑Modal ¡Registra+on ¡ with ¡Manifold ¡Learning ¡

21.09.11 ¡ 2 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡

• C. ¡Wachinger, ¡N. ¡Navab, ¡Entropy ¡and ¡Laplacian ¡Images: ¡Structural ¡Representa8ons ¡for ¡

Mul8-­‑Modal ¡Registra8on, ¡Medical ¡Image ¡Analysis, ¡accepted ¡for ¡publica+on. ¡ ¡ ¡

• C. ¡Wachinger, ¡N. ¡Navab, ¡Manifold ¡Learning ¡for ¡Mul8-­‑Modal ¡Image ¡Regisra8on, ¡ ¡

Bri+sh ¡Machine ¡Vision ¡Conference ¡(BMVC), ¡2010. ¡

• C. ¡Wachinger, ¡N. ¡Navab, ¡Structural ¡Image ¡Represena8on ¡for ¡Image ¡Registra8on, ¡ ¡

MMBIA, ¡2010. ¡ ¡

3 ¡

Mono-­‑modal, ¡Intensity-­‑based ¡Registra+on ¡

Similarity ¡Measure ¡ Op+miza+on ¡ SSD, ¡SAD ¡ Registra)on ¡Framework ¡

Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 3 ¡ 21.09.11 ¡

Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 4 ¡

Mul+-­‑modal, ¡Intensity-­‑based ¡Registra+on ¡

Similarity ¡Measure ¡ Op+miza+on ¡ SSD, ¡SAD ¡ Mutual ¡Inf. ¡

21.09.11 ¡

Registra)on ¡Framework ¡

Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 5 ¡

Registra+on ¡with ¡Structural ¡Representa+on ¡

Similarity ¡Measure ¡ Op+miza+on ¡ SSD, ¡SAD ¡ Mutual ¡Inf. ¡

? ?

21.09.11 ¡

Registra)on ¡Framework ¡

Advantages: ¡

• Faster ¡similarity ¡evalua+on ¡
• Interac+ve ¡registra+on ¡
• Amor+za+on ¡of ¡pre-­‑processing ¡+me ¡
• Groupwise ¡registra+on ¡
• Easier ¡assessment ¡of ¡performance ¡
• Seamless ¡integra+on ¡
• Efficient ¡op+miza+on ¡with ¡ESM ¡

Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 6 ¡

How ¡to ¡calculate ¡structural ¡representa+ons? ¡

Input ¡Image ¡ Patches ¡ Structural ¡Image ¡ Descriptor ¡

?

21.09.11 ¡

Which ¡patches ¡are ¡structurally ¡equivalent? ¡

Patch ¡2 ¡ Patch ¡1 ¡ Patch ¡3 ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 7 ¡

Model ¡for ¡structural ¡representa+on ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 8 ¡

Manifold ¡Learning ¡

• Dimensionality ¡reduc+on, ¡Visualiza+on ¡ ¡
• Techniques ¡

– Isomap ¡: ¡Tenenbaum ¡et ¡al., ¡Science, ¡2000 ¡ – Locally-­‑Linear ¡Embedding ¡: ¡Roweis, ¡Saul, ¡Science, ¡2000 ¡ – Laplacian ¡Eigenmaps ¡: ¡Belkin, ¡Niyogi, ¡Neural ¡Comp, ¡2004 ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 9 ¡

Dimensionality ¡Reduc+on ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 10 ¡

Can’t ¡we ¡use ¡PCA? ¡

Manifold ¡Learning ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 11 ¡

Swiss ¡roll ¡ Manifold ¡ Neighborhood ¡graph ¡ Projec+on ¡

Locality ¡Preserva)on: ¡ Laplacian ¡Eigenmaps ¡ensures ¡that ¡points ¡that ¡are ¡close ¡in ¡the ¡high-­‑dimensional ¡ space ¡are ¡mapped ¡to ¡close-­‑by ¡points ¡in ¡the ¡low-­‑dimensional ¡projec+on. ¡

Model ¡for ¡structural ¡representa+on ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 12 ¡

A novel framework for multi-modal intensity-based similarity measures based on internal similarity

G.P.Penney , L.D.Griffin , A.P.King and D.J.Hawkes

Interdisciplinary Medical Imaging Group, Kings College London UK; Centre of Medical Image Computing, University College London, UK. a a a b b b

Worked Example

Example synthetic images: Fixed Image F(x) Moving Image M(x)

First Stage: Fixed Image

Aim is to find internally similar regions

Second Stage: Moving Image

Involves 1. Moving Image M(x)

• 2. Patch positions and rotations (Tpi, xi)
• 3. Registration transformation T

A A’ B B’ Difference Images Patches A and A’ Patches B and B’

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 17 ¡

Two ¡+mes ¡manifold ¡learning ¡

Image ¡Results ¡T1, ¡T2, ¡PD ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 18 ¡

Images ¡ Laplacian ¡ ¡ (this ¡work) ¡ Entropy ¡ (previous ¡ approach) ¡

Errors ¡from ¡registra+on ¡study ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 19 ¡

Simultaneous ¡Mul+-­‑Modal ¡ Registra+on ¡with ¡ESM ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 20 ¡

BrainWeb ¡ RIRE ¡

Ultrasound ¡Breathing-­‑Ga+ng ¡ ¡ with ¡Manifold ¡Learning ¡

21.09.11 ¡ 21 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡

• C. ¡Wachinger, ¡M. ¡Yigitsoy, ¡N. ¡Navab, ¡Manifold ¡Learning ¡for ¡Image-­‑Based ¡Breathing ¡Ga8ng ¡

with ¡Applica8on ¡to ¡4D ¡Ultrasound, ¡MICCAI ¡2010 ¡

+me ¡

breathing ¡ phase ¡

align ¡

Breathing ¡Modeling ¡from ¡Ultrasound ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 22 ¡

Freehand ¡ 2D ¡Array ¡ Wobbler ¡

Volumetric ¡Ultrasound ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 23 ¡

Ultrasound Respiratory Gating 4D ¡Compounding ¡ Synchroniza+on ¡ Workstation

stream ¡ stream ¡

4D ¡Breathing ¡Ultrasound ¡with ¡Wobbler ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 24 ¡

Ultrasound 4D ¡Compounding ¡ Respiratory Gating Workstation

stream ¡

Manifold ¡Learning ¡for ¡Image-­‑Based ¡Breathing ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 25 ¡

time deflection

0,5s

US ¡ US ¡

compound ¡

US ¡

compound ¡

US ¡

compound ¡ compound ¡

4D ¡Breathing ¡Ultrasound ¡with ¡Wobbler ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 26 ¡

time Accumulation over several breathing cycles Wobbler Breathing US ¡

compound ¡

What do we need for each frame ?

• 1. location
• 2. breathing stage

4D ¡Breathing ¡Ultrasound ¡with ¡Wobbler ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 27 ¡

• No need for gating system
• No synchronization

Manifold ¡Learning ¡for ¡ ¡ Image-­‑Based ¡Breathing ¡Ga+ng ¡ ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 28 ¡

• Each image is a point in high dimensional space
• Changes between images are smooth
• Images at different times but same breathing

stage are similar

• Learn manifold that image points are lying on
• Project to 1-dimensional subspace

Applica+on ¡of ¡Manifold ¡Learning ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 29 ¡

Ambient ¡space: ¡ ¡ 640 ¡x ¡480 ¡x ¡0.25 ¡= ¡ ¡76,800 ¡ Nearest ¡neighbors: ¡ 14 ¡ Manifold ¡dimension: ¡ ¡ 1 ¡ Heat ¡weights ¡on ¡graph: ¡ ¡

Laplacian ¡Eigenmaps ¡Facts ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 30 ¡

Correlation Coeff: 95.8 %

Red: manifold Blue: tracking

Breathing ¡Ga+ng ¡Laplacian ¡Eigenmaps ¡ (2D ¡Ultrasound) ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 31 ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 32 ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 33 ¡

Unaligned local breathing curves Aligned local breathing curves

Consistent ¡4D ¡breathing ¡es+ma+on ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 34 ¡

Green: data points Red: spline fitting Blue: tracking

• Robust ¡curve ¡fihng ¡
• Compound ¡volume ¡for ¡each ¡doied ¡region

Consistent ¡4D ¡breathing ¡es+ma+on ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 35 ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 36 ¡

Correla+on ¡with ¡external ¡tracking ¡ ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 37 ¡

• ¡Acquisi+on ¡from ¡same ¡loca+on ¡
• ¡Analyzed ¡mo+on ¡trajectories ¡by ¡tracking ¡wobbler ¡
• ¡Good ¡results ¡of ¡experiments ¡

Ø ¡Usable ¡in ¡prac+ce ¡

• ¡Retrospec+ve ¡ga+ng ¡
• ¡Extension ¡to ¡breathing ¡ga+ng ¡on ¡MRI ¡
• ¡M. ¡Yigitsoy, ¡C. ¡Wachinger, ¡N. ¡Navab, ¡Manifold ¡learning ¡for ¡image-­‑based ¡

¡ ¡ ¡breathing ¡ga8ng ¡in ¡MRI, ¡SPIE ¡Medical ¡Imaging, ¡2011 ¡

Discussion ¡

21.09.11 ¡ Medical ¡Applica+ons ¡of ¡Manifold ¡Learning ¡ 38 ¡

END ¡

¡

¡

To ¡contact ¡Chris+an ¡Wachinger: ¡ wachinge@in.tum.de ¡