Analyzing Brains, Bodies and Big Data using SIFT Features - PowerPoint PPT Presentation

Analyzing ¡Brains, ¡Bodies ¡and ¡ Big ¡Data ¡using ¡SIFT ¡Features ¡ Matthew Toews, PhD ¡ ETS, Montréal, March 9, 2016

Hello! ¡ University of British Columbia 1996-2001, B. Eng McGill University 2001-2008 PhD, Tal Arbel Harvard Medical School 2 ¡ 2009 – 2015 Recalage par Postdoc, William Wells information mutuel

Research ¡Interests ¡ • Computer ¡Vision ¡ – ProbabilisDc ¡models, ¡detecDon, ¡ classificaDon, ¡registraDon, ¡segmentaDon, ¡ tracking. ¡ • Medical ¡Image ¡Analysis ¡ • Other ¡ – ArDficial ¡intelligence, ¡machine ¡learning, ¡deep ¡ learning ¡methods, ¡ – Signal ¡processing, ¡video, ¡audio ¡… ¡ 3 ¡

Philosophy ¡ Images ¡are ¡oMen ¡produced ¡for ¡the ¡human ¡visual ¡ system. ¡Why ¡not ¡use ¡models ¡of ¡the ¡human ¡visual ¡ system ¡to ¡process ¡them? ¡ 4 ¡

Human ¡Vision ¡ (1) Retina: « center-surround » (2) Visual cortext: « orientation columns » 5 ¡ Joe ¡Sakic

Computer ¡Vision ¡ (1) Scale-space: Laplacian-of-Gaussian (2) Gradient orientation histograms 6 ¡ Joe ¡Sakic Distinctive Image Features from Scale-Invariant Keypoints D. G. Lowe, IJCV, 2004.

« ¡Scale-­‑Invariant ¡Feature ¡Transform» ¡ • SIFT ¡ – Detect ¡local ¡image ¡features ¡ • Invariance ¡ – Geometry, ¡illuminaDon. ¡ • Image ¡correspondance ¡ – Very ¡fast, ¡resistant ¡to ¡ occlusion. ¡ DisDncDve ¡Image ¡Features ¡from ¡Scale-­‑Invariant ¡Keypoints ¡ 7 ¡ D. ¡G. ¡Lowe, ¡IJCV, ¡2004. ¡

« ¡Scale-­‑Invariant ¡Feature ¡Transform ¡» ¡ Geometry ¡ Appearance ¡ ¡ σ θ • PosiDon ¡ x ¡ • Gradient orientation histograms ¡ • OrientaDon ¡ θ ¡ x • Scale ¡ σ ¡ 8 ¡ 8 ¡ Distinctive Image Features from Scale-Invariant Keypoints D. G. Lowe, IJCV, 2004.

ProbabilisDc ¡Modeling ¡ T Reference frame (non-observable) f Local ¡feature ¡ i Geometrical ¡transform ¡ t : f T → (similarity) ¡ i i Posterior ¡Distribu2on ¡ Transform ¡relaDng ¡feature ¡and ¡OCI ¡ p ( T | f 1 f , ,...) p ( T ) p ( f , f ,... | T ) Bayes ¡Theorem ¡ ∝ geometries: ¡ 2 1 2 p ( T ) p ( f | T ) p ( f | T )... Condi2onal ¡Independence ¡ = 1 2

Learning ¡ • Parameter ¡esDmaDon ¡ p ( f | T ) i – Geometry, ¡apperance, ¡occurrence ¡frequency ¡ • « ¡clustering ¡» ¡clustering ¡of ¡similar ¡features ¡ – Large ¡data ¡bases ¡of ¡training ¡images ¡ p ( f | T ) i 10 ¡

Analysis, ¡ClassificaDon ¡ • Visual ¡traits: ¡age, ¡sex, ¡… ¡ • Likelihood ¡raDo ¡ p ( f | T , Male ) 1 i = p ( f | T , Female ) 2 i 11 ¡

DetecDon ¡ • Infer ¡a ¡viewpoint-­‑invariant ¡reference ¡frame ¡ • Independent ¡voDng ¡ – model ¡features ¡-­‑> ¡new ¡image ¡ Model ¡ New ¡Image ¡ T = * p ( T | f 1 f , ,...) 2 Detection: Maximum A Posteriori (MAP)

DetecDon, ¡LocalizaDon ¡and ¡Sex ¡ClassificaDon ¡of ¡Faces ¡ from ¡Arbitrary ¡Viewpoints ¡and ¡Under ¡Occlusion ¡ M ¡Toews ¡and ¡T ¡Arbel, ¡ IEEE ¡TransacDons ¡on ¡Pagern ¡Analysis ¡and ¡Machine ¡Intelligence, ¡31(9), ¡pp. ¡1567-­‑1581, ¡2009. ¡ Detect ¡and ¡classify ¡faces ¡from ¡arbitrary ¡viewpoints ¡

DetecDon, ¡LocalizaDon ¡and ¡Sex ¡ClassificaDon ¡of ¡Faces ¡ from ¡Arbitrary ¡Viewpoints ¡and ¡Under ¡Occlusion ¡ M ¡Toews ¡and ¡T ¡Arbel, ¡ IEEE ¡TransacDons ¡on ¡Pagern ¡Analysis ¡and ¡Machine ¡Intelligence, ¡31(9), ¡pp. ¡1567-­‑1581, ¡2009. ¡ Understanding ¡the ¡link ¡between ¡image ¡features ¡and ¡traits ¡ Male Female p ( f | Male ) Rose: i 1 < p ( f | Female ) i p ( f | Male ) Blue: i 1 > p ( f | Female ) i 14 ¡

DetecDon, ¡LocalizaDon ¡and ¡Sex ¡ClassificaDon ¡of ¡Faces ¡ from ¡Arbitrary ¡Viewpoints ¡and ¡Under ¡Occlusion ¡ M ¡Toews ¡and ¡T ¡Arbel, ¡ IEEE ¡TransacDons ¡on ¡Pagern ¡Analysis ¡and ¡Machine ¡Intelligence, ¡31(9), ¡pp. ¡1567-­‑1581, ¡2009. ¡ Understanding ¡the ¡link ¡between ¡image ¡features ¡and ¡traits ¡ 15 ¡

A ¡StaDsDcal ¡Parts-­‑based ¡Appearance ¡Model ¡of ¡Anatomical ¡Variability ¡ M ¡Toews ¡and ¡T ¡Arbel, ¡ IEEE ¡TransacDons ¡on ¡Medical ¡Imaging, ¡Vol. ¡26(4), ¡pp. ¡497-­‑508, ¡2007. ¡ ¡ Model ¡normal ¡brain ¡anatomy ¡in ¡MRI ¡slices ¡ Feature ¡variability ¡ p ( f ) Feature f 16 ¡

A ¡StaDsDcal ¡Parts-­‑based ¡Appearance ¡Model ¡of ¡Anatomical ¡Variability ¡ M ¡Toews ¡and ¡T ¡Arbel, ¡ IEEE ¡TransacDons ¡on ¡Medical ¡Imaging, ¡Vol. ¡26(4), ¡pp. ¡497-­‑508, ¡2007. ¡ ¡ Local ¡feature ¡alignment ¡is ¡highly ¡robust ¡to ¡perturbaDon ¡ Feature-­‑based ¡Model ¡ Ac2ve ¡Appearance ¡Model ¡ 17 ¡

Invariant ¡Feature-­‑Based ¡Analysis ¡of ¡Medical ¡ Images ¡ CVPR ¡2015 ¡-­‑ ¡Workshop ¡on ¡Medical ¡Computer ¡Vision ¡ How ¡big ¡data ¡is ¡possible? ¡ Boston ¡2015 ¡ Maghew ¡Toews ¡ ¡ Associate ¡Professor ¡ ¡ETS, ¡Montreal ¡ ¡ William ¡(Sandy) ¡Wells ¡ ¡ Professor ¡of ¡Radiology ¡ ¡Harvard ¡Medical ¡School ¡ ¡ ¡Brigham ¡and ¡Women’s ¡Hospital ¡ ¡ ¡ ¡ 18 ¡

Outline ¡ • Context ¡of ¡research ¡ • Invariant ¡Feature-­‑Based ¡Analysis ¡of ¡Medical ¡ Images ¡ 19 ¡

Neuroimage ¡Analysis ¡Center ¡ • NIH ¡P41 ¡Ron ¡Kikinis ¡ • Projects ¡ – Microstructure ¡Imaging: ¡CF ¡WesDn ¡ – SpaDo-­‑Temporal ¡Modeling: ¡Sandy ¡Wells ¡ – ¡Anatomic ¡Variability: ¡Polina ¡Golland ¡ ¡ – 3D ¡Slicer: ¡Steve ¡Pieper ¡ ¡ 20 ¡

NaDonal ¡Center ¡for ¡Image ¡Guided ¡ Therapy ¡(NCIGT) ¡ • Brigham ¡and ¡Women’s ¡Hospital, ¡Boston ¡ • NIH ¡P41 ¡(Ferenc ¡Jolesz), ¡Clare ¡Tempany ¡ – Tina ¡Kapur: ¡ExecuDve ¡Director ¡ • Projects: ¡ – Neurosurgery ¡: ¡Alexendra ¡Golby, ¡MD ¡ – Prostate ¡: ¡Clare ¡Tempany, ¡MD ¡ – Guidance ¡: ¡Noby ¡Hata, ¡PhD ¡ – ComputaDon ¡: ¡William ¡Wells, ¡PhD ¡ • CollaboraDon ¡and ¡training ¡are ¡*required* ¡

Advanced ¡MulDmodality ¡Image ¡Guided ¡ OperaDng ¡Suite ¡(AMIGO) ¡ 22 ¡

Precise ¡Localiza-on ¡of ¡Tumor ¡Boundaries ¡for ¡Therapy ¡ MRI ¡ ANGIO ¡ OR ¡ PET/CT ¡ ENTRANCE ¡INTO ¡AMIGO ¡ +ultrasound ¡ + ¡navigaDon ¡ +mass ¡spect ¡ 5700 ¡Square ¡Feet ¡ ¡ 23 ¡ Launched ¡in ¡2011 ¡ Courtesy ¡Balasz ¡Lengyel, ¡BWH ¡

3D ¡Feature-­‑Based ¡Analysis ¡ • Precursor ¡(2D) ¡ – Scale ¡Invariant ¡Feature ¡Transform ¡(SIFT) ¡ – Big ¡success ¡in ¡Computer ¡Vision ¡ • Medical ¡Image ¡Analysis ¡vs. ¡Computer ¡Vision ¡ – Some ¡problems ¡are ¡harder ¡in ¡computer ¡vision ¡ • PerspecDve ¡projecDon ¡ • Uncontrolled ¡illuminaDon ¡ – Different ¡quesDons ¡ • IdenDfy ¡biomarkers: ¡disease-­‑related ¡features ¡ • QuanDfy ¡ Lowe ¡D. ¡ ¡Dis2nc2ve ¡Image ¡Features ¡from ¡Scale-­‑Invariant ¡Keypoints. ¡Intl ¡J ¡ Computer ¡Vision, ¡2004. ¡

3D ¡Feature ¡DetecDon[1] ¡ • Localize ¡ key ¡points ¡in ¡images ¡ – LocaDon ¡ – Scale ¡ – 3D ¡OrientaDon ¡ • at ¡each ¡key ¡point: ¡ – Summarize ¡local ¡texture ¡in ¡3D ¡patch ¡centered ¡on ¡ feature ¡ – 64 ¡bucket ¡histogram ¡of ¡gradient ¡direcDons ¡ – Rank ¡transform ¡histograms ¡[2] ¡ [1] ¡Toews ¡M., ¡Wells ¡III ¡W.M., ¡Collins ¡D.L., ¡Arbel ¡T. ¡ Feature-­‑Based ¡Morphometry . ¡Int ¡Conf ¡Med ¡Image ¡ Comput ¡Comput ¡Assist ¡Interv. ¡2009 ¡Sep;12(Pt ¡2):109-­‑16. ¡PMID: ¡20426102. ¡PMCID: ¡PMC3854925. ¡ [2]Toews ¡M, ¡Wells ¡W. ¡SIFT-­‑Rank: ¡Ordinal ¡Descriptors ¡for ¡Invariant ¡Feature ¡Correspondence. ¡ ¡ Interna2onal ¡Conference ¡on ¡Computer ¡Vision ¡and ¡Pa^ern ¡Recogni2on ¡(CVPR), ¡2009. ¡pp ¡172-­‑177. ¡

Feature ¡DetecDon… ¡ Brain ¡MRI ¡ σ : Scale Appearance x: 3D location Geometry Lung ¡CT ¡ MRI, ¡CT: ¡100s ¡to ¡1000s ¡of ¡features ¡per ¡scan ¡