Biomedical Data Mining: Imaging Sharath Cholle6 Medical - - PowerPoint PPT Presentation

Biomedical ¡Data ¡Mining: ¡Imaging ¡

Sharath ¡Cholle6 ¡

Medical ¡Imaging ¡

• Radiology ¡

– CT ¡ – X-­‑ray ¡ – MRI ¡ – PET ¡

• Pathology ¡

– High ¡resolu6on ¡microscope ¡

Example ¡Radiology ¡Images ¡

MRI ¡ CT ¡

Example ¡Pathology ¡Whole ¡Slide ¡ Images ¡

Example ¡2 ¡

Zoomed ¡in ¡Image ¡

Different ¡types ¡of ¡regions ¡

IBM ¡Watson ¡

Possibili6es ¡

• Ques6ons? ¡
• Solu6ons? ¡

Image ¡Analysis ¡

• Color ¡deconvolu6on ¡

– Separa6on ¡of ¡colors ¡

• “Object” ¡Segmenta6on ¡

– Cells, ¡nuclei, ¡cytoplasm, ¡blood ¡vessels, ¡necrosis ¡

• Feature ¡Extrac6on ¡

– Size: ¡Area, ¡perimeter ¡ – Shape: ¡circularity, ¡elonga6on, ¡jaggedness ¡ – Texture: ¡smoothness, ¡paTerns ¡

• Classifica6on ¡

In Silico Brain Tumor Research

Datasets: ¡ histology ¡ neuroimaging ¡ clincal\pathology ¡

Integrated ¡ Analysis ¡

molecular ¡

In ¡Silico ¡Research ¡ ¡ Centers ¡of ¡Excellence ¡

Morphometry of the Gliomas

Oligodendroglioma ¡ Astrocytoma ¡

Nuclear ¡ Morphology: ¡ Vessel ¡ Morphology: ¡ Necrosis: ¡

Morphometric Analysis

PAIS ¡Database ¡ Parallel ¡ Matlab ¡ Scien6fic ¡Queries ¡

? ¡

(90+ ¡Million ¡Nuclei) ¡

Morphological Correlates of Genomic Analysis

Nuclear ¡ Characteriza6on ¡ Region ¡ ¡ Filtering ¡ Nuclear ¡ Classifica6on ¡ Nuclear ¡priors ¡ Class ¡ Summary ¡Sta6s6cs ¡

?

Proneural ¡ Neural ¡ Classical ¡ Mesenchymal ¡

(Neoplas6c ¡Oligodendroglia, ¡ Neoplas6c ¡Astrocytes, ¡ Reac6ve ¡Endothelial, ¡...) ¡ ¡

Morphological Correlates of Genomic Analysis

Nuclear ¡ Characteriza6on ¡ Tissue ¡ ¡ Classifica6on ¡ Nuclear ¡ Classifica6on ¡ Nuclear ¡Priors ¡ Class ¡ Summary ¡Sta6s6cs ¡

?

Proneural ¡ Neural ¡ Classical ¡ Mesenchymal ¡

(Neoplas6c ¡Oligodendroglia, ¡ Neoplas6c ¡Astrocytes, ¡ Reac6ve ¡Endothelial, ¡...) ¡ ¡

Region Classification

• Classify regions as normal or tumor

– exclude nuclei in normal tissue regions – conditional probabilities for nuclear classification

• texton approach

– Multiple layers of classification add robustness – Combines supervised and unsupervised classifiers

• References

– Malik, J., Belongie, S., Shi, J., and Leung, T. 1999. Textons, contours and regions: Cue integration in image segmentation. In Proceedings IEEE 7th International Conference on Computer Vision, Corfu, Greece, pp. 918–925. –

• O. Tuzel, L. Yang, P. Meer, and D. J. Foran. Classification of hematologic malignancies using texton
• signatures. Pattern Anal. Appl., 10(4):277-290,2007.

–

• M. Varma and A. Zisserman. Texture classification: Are filter banks necessary? In Proceedings of

the IEEE Conference on Computer Vision and Pattern Recognition, pages 691-698, 2003.

Tissue Classifier: Training

Train ¡Region ¡ Classifier ¡

SVM

For ¡each ¡training ¡region: ¡ Extract ¡ “Textures” ¡ Training ¡ Regions ¡ Texton ¡ Library ¡ For ¡each ¡class ¡(texture ¡classifica;on): ¡ Region ¡ “Textures” ¡ Texton ¡ Histogram ¡

Tissue Classifier: Testing

Texton ¡ Library ¡

SVM

Region ¡ “Textures” ¡ Texton ¡ Histogram ¡ Test ¡ Region ¡ Region ¡ Classifica6on ¡

Dataset

• Human Annotated regions

– 18 whole-slide images – Normal, GBM (IV), Astrocytoma (II & III), Oligodendroglioma (II & III), Oligoastrocytoma (II & III)

Region ¡type ¡ # ¡ Normal ¡ 45 ¡ Astrocytoma ¡ 20 ¡ Oligodendroglioma ¡ 54 ¡ Oligoastrocytoma ¡ 29 ¡ Glioblastoma ¡ 18 ¡ Total ¡ 166 ¡

Experiment and Results

Experiment ¡ Classifica;on ¡accuracy ¡(%) ¡ Normal ¡vs ¡Tumor ¡ 98 ¡ Oligodendroglioma ¡vs ¡Oligoastrocytoma ¡ 86 ¡ Oligodendroglioma ¡vs ¡Astrocytoma ¡ 92 ¡ Olgiodendroglioma ¡vs ¡Glioblastoma ¡ 91 ¡ Oligoastrocytoma ¡vs ¡Astrocytoma ¡ 80 ¡ Oligoastrocytoma ¡vs ¡Gligoblastoma ¡ 76 ¡ Astrocytoma ¡vs ¡Glioblastoma ¡ 70 ¡

• 30 ¡x ¡2 ¡cross-­‑valida6on ¡
• Randomly ¡pick ¡50% ¡data ¡for ¡training ¡and ¡50% ¡for ¡
• tes6ng. ¡
• Classifica6on ¡accuracy: ¡ ¡

Average(correct ¡regions ¡/ ¡total ¡regions) ¡

3 Class region classification results

Category ¡ Predicted ¡as ¡

Normal ¡ Tumor ¡ Background ¡ Normal ¡ 0.9852 ¡ 0.0181 ¡ 0.0051 ¡ Tumor ¡ 0.0148 ¡ 0.9819 ¡ 0 ¡ Background ¡ 0 ¡ 0 ¡ 0.9949 ¡

Confusion ¡matrix ¡

• 3 ¡types ¡of ¡regions ¡
• Normal, ¡background ¡and ¡tumor ¡
• Overall ¡accuracy ¡98.6% ¡

Multiclass classification results: tumor subtypes

Category ¡ Predicted ¡as ¡

Normal ¡ Astrocytoma ¡ Background ¡ GBM ¡ Oligoastrocytoma ¡ Oligodendroglioma ¡ Normal ¡ 1 ¡ 0.0417 ¡ 0 ¡ 0 ¡ 0.0333 ¡ 0 ¡ Astrocytoma ¡ 0 ¡ 0.2833 ¡ 0 ¡ 0 ¡ 0.0067 ¡ 0.0033 ¡ Background ¡ 0 ¡ 0.0417 ¡ 1 ¡ 0.1222 ¡ 0 ¡ 0 ¡ GBM ¡ 0 ¡ 0.1833 ¡ 0 ¡ 0.6778 ¡ 0.0067 ¡ 0.0633 ¡ Oligoastrocytoma ¡ 0 ¡ 0.0583 ¡ 0 ¡ 0.1111 ¡ 0.7733 ¡ 0.01 ¡ Oligodendroglioma ¡ 0 ¡ 0.3917 ¡ 0 ¡ 0.0889 ¡ 0.18 ¡ 0.9233 ¡

• 6 ¡types ¡of ¡regions ¡
• Tumor ¡subclasses ¡
• Astrocytoma, ¡GBM, ¡Oligoastrocytoma, ¡Oligodendroglioma ¡
• Overall ¡accuracy ¡86.9% ¡

Confusion ¡matrix ¡

Extension: Region Masking

Watson ¡+ ¡Image ¡Mining ¡

with ¡ ¡ Image ¡Mining ¡