SLIDE 1
Boos$ng (almost) by hand (from Rob Schapire) N = 10 - - PowerPoint PPT Presentation
Boos$ng (almost) by hand (from Rob Schapire) N = 10 - - PowerPoint PPT Presentation
Boos$ng (almost) by hand (from Rob Schapire) N = 10 Whats error train here? Whats error train here? New weights New weights Step 2 No$ce
SLIDE 2
SLIDE 3
(from ¡Rob ¡Schapire) ¡
N ¡= ¡10 ¡
SLIDE 4
Whats ¡error ¡train ¡here? ¡
SLIDE 5
Whats ¡error ¡train ¡here? ¡
SLIDE 6
New ¡weights ¡
SLIDE 7
New ¡weights ¡
SLIDE 8
Step ¡2 ¡
No$ce ¡I ¡s$ll ¡get ¡3 ¡examples ¡wrong, ¡ ¡but ¡they ¡are ¡worth ¡less ¡now. ¡
SLIDE 9
New ¡weights ¡
SLIDE 10
Step ¡3 ¡
No$ce ¡I ¡s$ll ¡get ¡3 ¡examples ¡ ¡
- wrong. ¡
SLIDE 11
SLIDE 12
Evalua$on ¡Metrics ¡
- 0-‑1 ¡error ¡on ¡test ¡set: ¡
- 1 ¡– ¡(0-‑1 ¡error)/N ¡= ¡accuracy ¡
- Accuracy ¡is ¡just ¡% ¡of ¡test ¡samples ¡I ¡get ¡right. ¡
¡
SLIDE 13
Let’s ¡go ¡back ¡to ¡that ¡millionaire… ¡
- Let’s ¡say ¡the ¡millionaire ¡asks ¡you ¡to ¡build ¡a ¡
classifier ¡to ¡iden$fy ¡other ¡millionaires. ¡
SLIDE 14
Let’s ¡go ¡back ¡to ¡that ¡millionaire… ¡
- Let’s ¡say ¡the ¡millionaire ¡asks ¡you ¡to ¡build ¡a ¡
classifier ¡to ¡iden$fy ¡other ¡millionaires. ¡
- You ¡build ¡a ¡fancy ¡classifier, ¡and ¡get ¡accuracy ¡= ¡
80% ¡in ¡some ¡test ¡data. ¡PreZy ¡good, ¡right? ¡
SLIDE 15
Let’s ¡go ¡back ¡to ¡that ¡millionaire… ¡
- Let’s ¡say ¡the ¡millionaire ¡asks ¡you ¡to ¡build ¡a ¡
classifier ¡to ¡iden$fy ¡other ¡millionaires. ¡
- You ¡build ¡a ¡fancy ¡classifier, ¡and ¡get ¡accuracy ¡= ¡
80% ¡in ¡some ¡test ¡data. ¡PreZy ¡good, ¡right? ¡
- Your ¡compe$$on ¡has ¡a ¡O(1) ¡classifier ¡that ¡has ¡
accuracy ¡~ ¡99.9%. ¡Should ¡the ¡millionaire ¡fire ¡ you ¡right ¡away? ¡
SLIDE 16
Let’s ¡go ¡back ¡to ¡that ¡millionaire… ¡
- Let’s ¡say ¡the ¡millionaire ¡asks ¡you ¡to ¡build ¡a ¡
classifier ¡to ¡iden$fy ¡other ¡millionaires. ¡
- You ¡build ¡a ¡fancy ¡classifier, ¡and ¡get ¡accuracy ¡= ¡
80% ¡in ¡some ¡test ¡data. ¡PreZy ¡good, ¡right? ¡
- Your ¡compe$$on ¡has ¡a ¡O(1) ¡classifier ¡that ¡has ¡
accuracy ¡~ ¡99.9%. ¡Should ¡the ¡millionaire ¡fire ¡ you ¡right ¡away? ¡
- His ¡classifier ¡just ¡always ¡predicts ¡‘not ¡
millionaire’. ¡
SLIDE 17
Confusion ¡matrix ¡
SLIDE 18
Confusion ¡matrix ¡
SLIDE 19
Examples: ¡
I ¡got ¡this ¡figure ¡from ¡ ¡hZp://www.lucidatainc.com/2012/10/recall-‑and-‑precision-‑understanding-‑relevancy-‑in-‑ ediscovery/ ¡
Let’s ¡say ¡the ¡net ¡is ¡ trying ¡to ¡pick ¡only ¡ blue ¡fish. ¡What’s ¡ the ¡precision ¡and ¡ the ¡recall? ¡
SLIDE 20
Examples: ¡
I ¡got ¡this ¡figure ¡from ¡ ¡hZp://www.lucidatainc.com/2012/10/recall-‑and-‑precision-‑understanding-‑relevancy-‑in-‑ ediscovery/ ¡
Let’s ¡say ¡the ¡net ¡is ¡ trying ¡to ¡pick ¡only ¡ blue ¡fish. ¡What’s ¡ the ¡precision ¡and ¡ the ¡recall? ¡ P ¡= ¡1/4 ¡ R ¡= ¡1/5 ¡ ¡
SLIDE 21
Examples: ¡
I ¡got ¡this ¡figure ¡from ¡ ¡hZp://www.lucidatainc.com/2012/10/recall-‑and-‑precision-‑understanding-‑relevancy-‑in-‑ ediscovery/ ¡
Let’s ¡say ¡the ¡net ¡is ¡ trying ¡to ¡pick ¡only ¡ red ¡fish. ¡What’s ¡ the ¡precision ¡and ¡ the ¡recall? ¡
SLIDE 22
Examples: ¡
I ¡got ¡this ¡figure ¡from ¡ ¡hZp://www.lucidatainc.com/2012/10/recall-‑and-‑precision-‑understanding-‑relevancy-‑in-‑ ediscovery/ ¡
Let’s ¡say ¡the ¡net ¡is ¡ trying ¡to ¡pick ¡only ¡ red ¡fish. ¡What’s ¡ the ¡precision ¡and ¡ the ¡recall? ¡ P ¡= ¡3/4 ¡ R ¡= ¡3/5 ¡ ¡
SLIDE 23
A ¡single ¡metric? ¡
- F1 ¡ ¡= ¡2 ¡* ¡precision ¡* ¡recall ¡
¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡precision ¡+ ¡recall ¡
- Fbeta ¡
- AUC ¡
- … ¡
¡
SLIDE 24
Which ¡one ¡is ¡beZer? ¡
- Our ¡millionaire ¡iden$fica$on ¡scenario? ¡
SLIDE 25
Which ¡one ¡is ¡beZer? ¡
- Spam ¡classifica$on ¡
SLIDE 26
Which ¡one ¡is ¡beZer? ¡
- Medical ¡classifier: ¡Y ¡= ¡(operate, ¡don’t ¡operate) ¡
SLIDE 27
Which ¡one ¡is ¡beZer? ¡
- Search ¡engine: ¡query ¡= ¡legal ¡
SLIDE 28
Which ¡one ¡is ¡beZer? ¡
- Search ¡engine: ¡query ¡= ¡“Husky ¡football” ¡
- By ¡the ¡way: ¡why ¡does ¡google ¡show ¡more ¡than ¡
1 ¡page? ¡
SLIDE 29
Which ¡one ¡is ¡beZer? ¡
- It ¡depends ¡on ¡the ¡task ¡
- Is ¡there ¡imbalance? ¡
- Are ¡the ¡misclassifica$on ¡costs ¡the ¡same? ¡
- … ¡
- … ¡
- Think ¡about ¡evalua$on ¡when ¡doing ¡your ¡