lecture 5 classification and dimension reduction
play

Lecture 5: Classification and dimension reduction Felix Held, - PowerPoint PPT Presentation

Sep 24, 2022 โ€ข165 likes โ€ข426 views

Lecture 5: Classification and dimension reduction Felix Held, Mathematical Sciences MSA220/MVE440 Statistical Learning for Big Data 4th April 2019 Random Forests 1. Given a training sample with features, do for = 1, , on

  1. Lecture 5: Classification and dimension reduction Felix Held, Mathematical Sciences MSA220/MVE440 Statistical Learning for Big Data 4th April 2019

  2. Random Forests 1. Given a training sample with ๐‘ž features, do for ๐‘ = 1, โ€ฆ , ๐ถ on bootstrapped data. Note: Step 1.2.1 leads to less correlation between trees built Majority vote at ๐ฒ across trees Classification: ๐ถ 1 ๐‘ ๐‘ (๐ฒ) = ๐‘” ห† Regression: 2. For a new ๐ฒ predict 1.2.3 Split the node 1.2.2 Find best splitting variable among these ๐‘› 1.2.1 Randomly select ๐‘› variables from the ๐‘ž available ๐‘œ min replacement) 1.1 Draw a bootstrap sample of size ๐‘œ from training data (with 1/21 1.2 Grow a tree ๐‘ˆ ๐‘ until each node reaches minimal node size ๐ถ โˆ‘ ๐‘=1 ๐‘ˆ ๐‘ (๐ฒ)

  3. Comparison of RF, Bagging and CART ๐ฒ โˆผ ๐‘‚(๐Ÿ, ๐šป), ๐ฒ โˆˆ โ„ 5 , Toy example Training and test data were sampled from the true model. Results 2/21 ๐œ โˆผ ๐‘‚(0, 1) ๐‘ง = ๐‘ฆ 2 where 1 + ๐œ ๐šป ๐‘š๐‘š = 1, ๐šป ๐‘š๐‘™ = 0.98, ๐‘š โ‰  ๐‘™ for RF, bagged CART and a single CART, using ๐‘ฆ 1 , โ€ฆ , ๐‘ฆ 5 as predictor variables. ( ๐‘œ ๐‘ข๐‘  = 50 , ๐‘œ ๐‘ข๐‘“ = 100 ) โ— Test error 2.1 โ— โ— 1.8 โ— โ— โ— โ— โ— โ— โ— โ— โ— 1.5 โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— 0 100 200 300 Number of trees

  4. Variable importance set for that particular tree, since they were not used serves as an importance measure for variable ๐‘˜ 1 ๐น (๐‘˜) 1 calculate test error again ๐น (๐‘˜) 1. Impurity index: Splitting on a feature leads to a reduction during training. Resulting in test error ๐น 0 a chance of about 63% to be selected trees per feature gives a measure for variable importance of node impurity. Summing all improvements over all 3/21 2. Out-of-bag error โ–ถ During bootstrapping for large enough ๐‘œ , each sample has โ–ถ For bagging the remaining samples are out-of-bag . โ–ถ These out-of-bag samples for tree ๐‘ˆ ๐‘ can be used as a test โ–ถ Permute variable ๐‘˜ in the out-of-bag samples and โ–ถ The increase in error โˆ’ ๐น 0 โ‰ฅ 0

  5. RF applied to cardiovascular dataset Monica dataset ( http://thl.fi/monica , ๐‘œ = 6367 , ๐‘ž = 11 ) 4/21 number of cardiovascular risk factors (class ratio 1.25 alive : 1 dead) Predicting whether or not patients survive a 10 year period given a Error estimate Variable importance 0.25 โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— yronset โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— stroke Type โ— โ— Type Alive Acc. smstat Alive 0.20 โ— Dead Acc. Dead โ— Outโˆ’ofโˆ’bag error Mean Acc. sex โ— OOB Mean Gini โ— โ— premi โ— โ— โ— 0.15 โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— hosp โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— highbp โ— 0.10 โ— hichol โ— โ— โ— โ— โ— diabetes โ— โ— โ— โ— โ— โ— โ— 0.05 โ— angina โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— age โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— โ— 0 50 100 150 200 0 1 2 3 Number of Trees Decrease

Download Presentation
Download Policy: The content available on the website is offered to you 'AS IS' for your personal information and use only. It cannot be commercialized, licensed, or distributed on other websites without prior consent from the author. To download a presentation, simply click this link. If you encounter any difficulties during the download process, it's possible that the publisher has removed the file from their server.

Recommend

Dimension Reduction CS 760@UW-Madison Goals for the lecture you should understand the following

Dimension Reduction CS 760@UW-Madison Goals for the lecture you should understand the following

Dimension Reduction CS 760@UW-Madison Goals for the lecture you should understand the following concepts dimension reduction principal component analysis: definition and formulation two interpretations strength and

925 views โ€ข 27 slides
Dimension Reduction and Nearest Neighbor Search Advanced Algorithms Nanjing University, Fall

Dimension Reduction and Nearest Neighbor Search Advanced Algorithms Nanjing University, Fall

Dimension Reduction and Nearest Neighbor Search Advanced Algorithms Nanjing University, Fall 2018 Dimension reduction: Why we care? High dimension data are common, yet working on them directly is expensive. Dimension reduction: Why we

1.61k views โ€ข 116 slides
Linear Dimension Reduction (in L 2 ) Linear Dimension Reduction: R D R d Goal: Find a low-dim.

Linear Dimension Reduction (in L 2 ) Linear Dimension Reduction: R D R d Goal: Find a low-dim.

Linear Dimension Reduction (in L 2 ) Linear Dimension Reduction: R D R d Goal: Find a low-dim. linear map that preserves the relevant information Application dependent ie find a d x D matrix M Different definitions yield different

541 views โ€ข 30 slides
Lecture 13: Even more dimension reduction techniques Felix Held, Mathematical Sciences

Lecture 13: Even more dimension reduction techniques Felix Held, Mathematical Sciences

Lecture 13: Even more dimension reduction techniques Felix Held, Mathematical Sciences MSA220/MVE440 Statistical Learning for Big Data 10th May 2019 Recap: kernel PCA The projection of a feature vector onto the -th principal

453 views โ€ข 23 slides
Dimension Reduction for Classification Alfred O. Hero Dept. EECS, Dept BME, Dept. Statistics

Dimension Reduction for Classification Alfred O. Hero Dept. EECS, Dept BME, Dept. Statistics

Dimension Reduction for Classification Alfred O. Hero Dept. EECS, Dept BME, Dept. Statistics University of Michigan - Ann Arbor hero@eecs.umich.edu http://www.eecs.umich.edu/~hero BIRS, July. 2005 1. The manifold supporting data sample 2.

452 views โ€ข 31 slides
Dimension Reduction CSE 6242 / CX 4242 Thanks : Prof. Jaegul Choo , Dr. Ramakrishnan Kannan,

Dimension Reduction CSE 6242 / CX 4242 Thanks : Prof. Jaegul Choo , Dr. Ramakrishnan Kannan,

Dimension Reduction CSE 6242 / CX 4242 Thanks : Prof. Jaegul Choo , Dr. Ramakrishnan Kannan, Prof. Le Song What is Dimension Reduction? Data item index (n) low-dim Columns as data data items Dimension index (d) Dimension Reduction

972 views โ€ข 44 slides
VC Dimension and classification John Duchi Prof. John Duchi Outline I Setting: classification

VC Dimension and classification John Duchi Prof. John Duchi Outline I Setting: classification

VC Dimension and classification John Duchi Prof. John Duchi Outline I Setting: classification problems II Finite hypothesis classes 1 Union bounds 2 Zero error case III Shatter coe ffi cients and Rademacher complexity IV VC Dimension Prof.

445 views โ€ข 26 slides
Dimension reduction numerical methods for Bermudan options Scott Sues Probability, Numerics, and

Dimension reduction numerical methods for Bermudan options Scott Sues Probability, Numerics, and

Dimension reduction numerical methods for Bermudan options Scott Sues Probability, Numerics, and Finance, Le Mans 29 Jun-1 Jul 2016 Outline 1. Dimension reduction approach 2. Fourier cosine method 3. Bermudan option pricing 1 / 25 Abstract

497 views โ€ข 29 slides
Nonparametric Variable Selection via Sufficient Dimension Reduction Lexin Li Workshop on Current

Nonparametric Variable Selection via Sufficient Dimension Reduction Lexin Li Workshop on Current

Nonparametric Variable Selection via Sufficient Dimension Reduction Lexin Li Workshop on Current Trends and Challenges in Model Selection and Related Areas Vienna, Austria July 24, 2008 1 Dimension Reduction and Variable Selection Outline

411 views โ€ข 25 slides
Geometric perspectives for supervised dimension reduction A Tale of Two Manifolds S. Mukherjee,

Geometric perspectives for supervised dimension reduction A Tale of Two Manifolds S. Mukherjee,

Geometric perspectives for supervised dimension reduction Geometric perspectives for supervised dimension reduction A Tale of Two Manifolds S. Mukherjee, K. Mao, F. Liang, Q. Wu, D-X. Zhou, J. Guinney Department of Statistical Science

1.32k views โ€ข 99 slides
Discriminative Feature Extraction and Dimension Reduction - PCA & LDA Berlin Chen, 2004

Discriminative Feature Extraction and Dimension Reduction - PCA & LDA Berlin Chen, 2004

Discriminative Feature Extraction and Dimension Reduction - PCA & LDA Berlin Chen, 2004 Introduction Goal: discover significant patterns or features from the input data Salient feature selection or dimensionality reduction

521 views โ€ข 37 slides
Dimension Reduction CS 6242 Ramakrishnan Kannan Thanks : Prof. Jaegul Choo and Prof. Le

Dimension Reduction CS 6242 Ramakrishnan Kannan Thanks : Prof. Jaegul Choo and Prof. Le

Dimension Reduction CS 6242 Ramakrishnan Kannan Thanks : Prof. Jaegul Choo and Prof. Le Song What is Dimension Reduction? Data item index (n) low-dim Columns as data data items

701 views โ€ข 44 slides
1 In this lecture we discuss Pansus conformal dimension . Definition (Pansu, 1989) Let X be a

1 In this lecture we discuss Pansus conformal dimension . Definition (Pansu, 1989) Let X be a

Distortion of dimension by Sobolev and quasiconformal mappings J. Tyson 17 June 2014 I. Introduction and overview, quasiconformal maps of R n and their effect on Hausdorff dimension II. Global quasiconformal dimension in R n III. Conformal

751 views โ€ข 41 slides
Dimension Reduction with Heavy Tails Gabriel Kuhn Munich University of Technology

Dimension Reduction with Heavy Tails Gabriel Kuhn Munich University of Technology

Dimension Reduction with Heavy Tails Gabriel Kuhn Munich University of Technology http/www.ma.tum.de/stat 4th Conference on Extreme Value Analysis Gothenburg, August 15 . 19 . , 2005 Kl uppelberg, C. and Kuhn, G. (2005) Dimension

472 views โ€ข 11 slides
The Rokhlin dimension of topological Z m -actions The structure and classification of nuclear

The Rokhlin dimension of topological Z m -actions The structure and classification of nuclear

The Rokhlin dimension of topological Z m -actions The structure and classification of nuclear C*-algebras G abor Szab o WWU M unster April 2013 1 / 22 Main result Today, I would like to convince you of the following: Theorem Let X

612 views โ€ข 57 slides
Extreme Value Theory and Dimension GARDES Inference on reduction for the study of hyperspectral

Extreme Value Theory and Dimension GARDES Inference on reduction for the study of hyperspectral

Extreme Value Theory and Dimension reduction for the study of hyperspectral images Laurent Extreme Value Theory and Dimension GARDES Inference on reduction for the study of hyperspectral images Weibull tail distributions Extreme

925 views โ€ข 45 slides
Stylization with a Purpose Stylization with a Purpose Stylization with a Purpose Stylization

Stylization with a Purpose Stylization with a Purpose Stylization with a Purpose Stylization

Stylization with a Purpose Stylization with a Purpose Stylization with a Purpose Stylization with a Purpose The Illustrative World The Illustrative World of Team Fortress 2 of Team Fortress 2 Jason Mitchell Jason Mitchell Jason Mitchell

1.15k views โ€ข 82 slides
The Gas Network Control Problem and How to Approach It Felix Hennings Combinatorial Optimization

The Gas Network Control Problem and How to Approach It Felix Hennings Combinatorial Optimization

The Gas Network Control Problem and How to Approach It Felix Hennings Combinatorial Optimization @ Work 2020 The Gas Network Control Problem General description Optimization of short-term transient gas network control of large real-world

917 views โ€ข 39 slides
Quality Energy Services Brochure Locations and Capabilities E-Line & Cased Hole Services

Quality Energy Services Brochure Locations and Capabilities E-Line & Cased Hole Services

Quality Energy Services Brochure Locations and Capabilities E-Line & Cased Hole Services Cased Hole/Electric Line Services Quality Energy Services provides Cased Hole Electric Line, Combination Slick line/EL and Memory Tool Logging services

939 views โ€ข 58 slides
CPSC 875 CPSC 875 John D McGregor John D. McGregor ABS module a work in progress Purpose

CPSC 875 CPSC 875 John D McGregor John D. McGregor ABS module a work in progress Purpose

CPSC 875 CPSC 875 John D McGregor John D. McGregor ABS module a work in progress Purpose Purpose This is a unit that blends software architecture This is a unit that blends software architecture information with telematics information

655 views โ€ข 40 slides
Effect of the PCSK9 Inhibitor Evolocumab on Cardiovascular Outcomes MS Sabatine, RP Giugliano,

Effect of the PCSK9 Inhibitor Evolocumab on Cardiovascular Outcomes MS Sabatine, RP Giugliano,

Effect of the PCSK9 Inhibitor Evolocumab on Cardiovascular Outcomes MS Sabatine, RP Giugliano, SD Wiviott, FJ Raal, CM Ballantyne, R Somaratne, J Legg, SM Wasserman, R Scott, MJ Koren, and EA Stein for the OSLER Investigators American College

226 views โ€ข 18 slides
Data Warehousing & OLAP Motivation: Business Intelligence Customer information Product

Data Warehousing & OLAP Motivation: Business Intelligence Customer information Product

Data Warehousing & OLAP Motivation: Business Intelligence Customer information Product information (customer-id, gender, age, home- (Product-id, category, address, occupation, income, manufacturer, made-in, stock- family-size, )

464 views โ€ข 27 slides
Therapy of Ph+ ALL elderly pa1ents Cris%na Papayannidis,

Therapy of Ph+ ALL elderly pa1ents Cris%na Papayannidis,

Therapy of Ph+ ALL elderly pa1ents Cris%na Papayannidis, MD, PhD DIMES University of Bologna Ph+ ALL in the elderly: background Philadelphia

566 views โ€ข 32 slides
What if my panel is negative? How do I manage my patient? Robert Campbell, MD September 30, 2016

What if my panel is negative? How do I manage my patient? Robert Campbell, MD September 30, 2016

What if my panel is negative? How do I manage my patient? Robert Campbell, MD September 30, 2016 NO DISCLOSURES Childrens Healthcare of Atlanta | Sibley Heart Center Cardiology Negative LQTS gene panel report Childrens Healthcare of

586 views โ€ข 25 slides

More recommend