SLIDE 1
Improving ¡Adversarial ¡Robustness ¡via ¡Promoting ¡ Ensemble ¡Diversity
Tianyu Pang, Kun Xu, Chao Du, Ning Chen and Jun Zhu
Department of Computer Science and Technology Tsinghua University
Improving Adversarial Robustness via Promoting Ensemble - - PowerPoint PPT Presentation
Improving Adversarial Robustness via Promoting Ensemble - - PowerPoint PPT Presentation
Improving Adversarial Robustness via Promoting Ensemble Diversity Tianyu Pang, Kun Xu, Chao Du, Ning Chen and Jun Zhu Department of Computer Science and Technology Tsinghua University TSAIL ICML | 2019 Adversarial
SLIDE 2
SLIDE 3
Previous ¡Defense ¡Strategies
Enhanced ¡Model Base ¡Model
Single ¡model defense: ¡
e.g., ¡adversarial ¡training
SLIDE 4
Previous ¡Defense ¡Strategies
Member ¡1
Ensemble ¡model defense: ¡
Member ¡2 Member ¡3
SLIDE 5
Previous ¡Defense ¡Strategies
Member ¡1
Ensemble ¡model defense: ¡
Member ¡2 Member ¡3 Clean ¡input Bus Bus Bus
SLIDE 6
Previous ¡Defense ¡Strategies
Member ¡1
Ensemble ¡model defense: ¡
Member ¡2 Member ¡3 Adversarial ¡input Cat Cat Cat
SLIDE 7
Our ¡Strategy
Member ¡1
Training ¡ensembles ¡with ¡diversity: ¡
Member ¡2 Member ¡3
SLIDE 8
Our ¡Strategy
Member ¡1
Training ¡ensembles ¡with ¡diversity: ¡
Member ¡2 Member ¡3 Adversarial ¡input Bus Bus Cat
SLIDE 9
Adaptive ¡Diversity ¡Promoting
plane car bird cat deer dog frog horse ship truck plane car bird cat deer dog frog horse ship truck plane car bird cat deer dog frog horse ship truck plane car bird cat deer dog frog horse ship truck plane car bird cat deer dog frog horse ship truck plane car bird cat deer dog frog horse ship truck
Prediction 1 (!") Prediction 2 (!#) Prediction 3 (!$) % &\(
"
% &\(
#
% &\(
$
% &\(
"
% &\(
#
% &\(
$
Prediction 1 (!") Prediction 2 (!#) Prediction 3 (!$)
Baseline(( ADP
- Promoting ¡diversity ¡on ¡
non-‑maximal ¡predictions
SLIDE 10
Adaptive ¡Diversity ¡Promoting
plane car bird cat deer dog frog horse ship truck plane car bird cat deer dog frog horse ship truck plane car bird cat deer dog frog horse ship truck plane car bird cat deer dog frog horse ship truck plane car bird cat deer dog frog horse ship truck plane car bird cat deer dog frog horse ship truck
Prediction 1 (!") Prediction 2 (!#) Prediction 3 (!$) % &\(
"
% &\(
#
% &\(
$
% &\(
"
% &\(
#
% &\(
$
Prediction 1 (!") Prediction 2 (!#) Prediction 3 (!$)
Baseline(( ADP
- Promoting ¡diversity ¡on ¡
non-‑maximal ¡predictions correspond ¡to ¡all ¡potentially ¡ wrong ¡labels ¡returned ¡for ¡ the ¡adversarial ¡examples
SLIDE 11
Experiments
Adversarial ¡transferability ¡among ¡individual ¡members ¡of ¡ensembles
SLIDE 12
Experiments
Classification ¡accuracy ¡(%) ¡on ¡adversarial ¡examples
SLIDE 13
Experiments
Classification ¡accuracy ¡(%) ¡on ¡adversarial ¡examples
SLIDE 14