Network Economics -- Lecture 4: Incen5ves and games - - PowerPoint PPT Presentation

Network ¡Economics ¡

• ­‑-­‑ ¡

Lecture ¡4: ¡Incen5ves ¡and ¡games ¡in ¡ security ¡

Patrick ¡Loiseau ¡ EURECOM ¡ Fall ¡2015 ¡

1 ¡

References ¡

• J. ¡Walrand. ¡“Economics ¡Models ¡of ¡Communica5on ¡

Networks”, ¡in ¡Performance ¡Modeling ¡and ¡Engineering, ¡ Zhen ¡Liu, ¡Cathy ¡H. ¡Xia ¡(Eds), ¡Springer ¡2008. ¡(Tutorial ¡ given ¡at ¡SIGMETRICS ¡2008). ¡ ¡

– Available ¡online: ¡ h[p://robo5cs.eecs.berkeley.edu/~wlr/Papers/ EconomicModels_Sigmetrics.pdf ¡

• N. ¡Nisam, ¡T. ¡Roughgarden, ¡E. ¡Tardos ¡and ¡V. ¡Vazirani ¡

(Eds). ¡“Algorithmic ¡Game ¡Theory”, ¡CUP ¡2007. ¡Chapter ¡ 17, ¡18, ¡19, ¡etc. ¡ ¡

– Available ¡online: ¡ h[p://www.cambridge.org/journals/nisan/downloads/ Nisan_Non-­‑printable.pdf ¡ ¡

2 ¡

Outline ¡

• 1. Interdependence: ¡investment ¡and ¡free ¡riding ¡
• 2. Informa5on ¡asymmetry ¡
• 3. A[acker ¡versus ¡defender ¡games ¡

– Classifica5on ¡games ¡

3 ¡

Outline ¡

• 1. Interdependence: ¡investment ¡and ¡free ¡riding ¡
• 2. Informa5on ¡asymmetry ¡
• 3. A[acker ¡versus ¡defender ¡games ¡

– Classifica5on ¡games ¡

4 ¡

Incen5ve ¡issues ¡in ¡security ¡

• Plenty ¡of ¡security ¡solu5ons… ¡

– Cryptographic ¡tools ¡ – Key ¡distribu5on ¡mechanisms ¡ – etc. ¡ ¡

• …useless ¡if ¡users ¡do ¡not ¡install ¡them ¡
• Examples: ¡

– Soiware ¡not ¡patched ¡ – Private ¡data ¡not ¡encrypted ¡ ¡

• Ac5ons ¡of ¡a ¡user ¡affects ¡others! ¡à ¡game ¡

5 ¡

A ¡model ¡of ¡investment ¡

• Jiang, ¡Anantharam ¡and ¡Walrand, ¡“How ¡bad ¡are ¡

selfish ¡investments ¡in ¡network ¡security”, ¡IEEE/ ACM ¡ToN ¡2011 ¡

• Set ¡of ¡users ¡N ¡= ¡{1, ¡…, ¡n} ¡
• User ¡i ¡invests ¡xi ¡≥ ¡0 ¡in ¡security ¡
• U5lity: ¡ ¡
• Assump5ons: ¡ ¡

ui(x) = u0 − di(x) where di(x) = gi α jix j

j

∑

# $ % % & ' ( (+ xi

6 ¡

Free-­‑riding ¡

• Posi5ve ¡externality ¡à ¡we ¡expect ¡free-­‑riding ¡
• Nash ¡equilibrium ¡xNE ¡
• Social ¡op5mum ¡xSO ¡
• We ¡look ¡at ¡the ¡ra5o: ¡ ¡
• Characterizes ¡the ¡‘price ¡of ¡anarchy’ ¡

ρ = di(x NE)

i

∑

di(xSO)

i

∑

7 ¡

Remarks ¡

• Interdependence ¡of ¡security ¡investments ¡
• Examples: ¡ ¡

– DoS ¡a[acks ¡ – Virus ¡infec5on ¡

• Asymmetry ¡of ¡investment ¡importance ¡

– Simpler ¡model ¡in ¡Varian, ¡“System ¡reliability ¡and ¡free ¡ riding”, ¡in ¡Economics ¡of ¡Informa5on ¡Security, ¡2004 ¡

8 ¡

Price ¡of ¡anarchy ¡

• Theorem: ¡ ¡

¡ ¡ ¡ ¡and ¡the ¡bound ¡is ¡5ght ¡ ¡

ρ ≤ max j 1+ β ji

i≠j

∑

$ % & ' & ( ) & * & where β ji = α ji αii

9 ¡

Comments ¡

• There ¡exist ¡pure ¡strategy ¡NE ¡
• ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡player ¡j’s ¡importance ¡to ¡the ¡

society ¡

• PoA ¡bounded ¡by ¡the ¡player ¡having ¡the ¡most ¡

importance ¡on ¡society, ¡regardless ¡of ¡gi(.) ¡

1+ β ji

i≠j

∑

= β ji

i

∑

10 ¡

Examples ¡

11 ¡

Bound ¡5ghtness ¡ ¡

12 ¡

Investment ¡costs ¡

• Modify ¡the ¡u5lity ¡to ¡ ¡
• The ¡result ¡becomes ¡

ui(x) = u0 − di(x) where di(x) = gi α jix j

j

∑

# $ % % & ' ( (+cixi ρ ≤ max j 1+ β ji

i≠j

∑

$ % & ' & ( ) & * & where β ji = α ji αii ci cj

13 ¡

Outline ¡

• 1. Interdependence: ¡investment ¡and ¡free ¡riding ¡
• 2. Informa5on ¡asymmetry ¡
• 3. A[acker ¡versus ¡defender ¡games ¡

– Classifica5on ¡games ¡

14 ¡

Informa5on ¡asymmetry ¡

• Hidden ¡ac5ons ¡

– See ¡previous ¡lecture ¡

• Hidden ¡informa5on ¡

– Market ¡for ¡lemons ¡ – Example: ¡soiware ¡security ¡

15 ¡

Market ¡for ¡lemons ¡

• Akerlof, ¡1970 ¡

– Nobel ¡prize ¡in ¡2001 ¡

• 100 ¡car ¡sellers ¡

– 50 ¡have ¡bad ¡cars ¡(lemons), ¡willing ¡to ¡sell ¡at ¡$1k ¡ – 50 ¡have ¡good ¡cars, ¡willing ¡to ¡sell ¡at ¡$2k ¡ – Each ¡knows ¡its ¡car ¡quality ¡

• 100 ¡car ¡buyers ¡

– Willing ¡to ¡buy ¡bad ¡cars ¡for ¡$1.2k ¡ – Willing ¡to ¡buy ¡good ¡cars ¡for ¡$2.4k ¡ – Cannot ¡observe ¡the ¡car ¡quality ¡

16 ¡

Market ¡for ¡lemons ¡(2) ¡

• What ¡happens? ¡What ¡is ¡the ¡clearing ¡price? ¡
• ¡Buyer ¡only ¡knows ¡average ¡quality ¡

– Willing ¡to ¡pay ¡$1.8k ¡

• But ¡at ¡that ¡price, ¡no ¡good ¡car ¡seller ¡sells ¡
• Therefore, ¡buyer ¡knows ¡he ¡will ¡buy ¡a ¡lemon ¡

– Pay ¡max ¡$1.2k ¡

• No ¡good ¡car ¡is ¡sold ¡

17 ¡

Market ¡for ¡lemon ¡(3) ¡

• This ¡is ¡a ¡market ¡failure ¡

– Created ¡by ¡externali5es: ¡bad ¡car ¡sellers ¡imposes ¡ an ¡externality ¡on ¡good ¡car ¡sellers ¡buy ¡decreasing ¡ the ¡average ¡quality ¡of ¡cars ¡on ¡the ¡market ¡

• Soiware ¡security: ¡ ¡

– Vendor ¡can ¡know ¡the ¡security ¡ – Buyers ¡have ¡no ¡reason ¡to ¡trust ¡them ¡

• So ¡they ¡won’t ¡pay ¡a ¡premium ¡ ¡
• Insurance ¡for ¡older ¡people ¡

18 ¡

Outline ¡

• 1. Interdependence: ¡investment ¡and ¡free ¡riding ¡
• 2. Informa5on ¡asymmetry ¡
• 3. A[acker ¡versus ¡defender ¡games ¡

– Classifica5on ¡games ¡

19 ¡

Network ¡security ¡[Symantec ¡2011] ¡

• Security ¡threats ¡increase ¡due ¡to ¡technology ¡evolu5on ¡ ¡

– Mobile ¡devices, ¡social ¡networks, ¡virtualiza5on ¡

• Cybera[acks ¡is ¡the ¡first ¡risk ¡of ¡businesses ¡

– 71% ¡had ¡at ¡least ¡one ¡in ¡the ¡last ¡year ¡

• Top ¡3 ¡losses ¡due ¡to ¡cybera[acks ¡

– Down5me, ¡employee ¡iden5ty ¡thei, ¡thei ¡of ¡intellectual ¡ property ¡

• Losses ¡are ¡substan5al ¡

– 20% ¡of ¡businesses ¡lost ¡> ¡$195k ¡

à Tendency ¡to ¡start ¡using ¡analy5cal ¡models ¡to ¡op5mize ¡ response ¡to ¡security ¡threats ¡ à Use ¡of ¡machine ¡learning ¡(classifica5on) ¡

20 ¡

Learning with strategic agents: from adversarial learning to game-theoretic statistics

Patrick Patrick Loiseau Loiseau, EURECOM (Sophia- , EURECOM (Sophia-Antipolis Antipolis) ) Graduate Summer School: Games and Contracts for Cyber-Physical Security Graduate Summer School: Games and Contracts for Cyber-Physical Security IPAM, UCLA, July 2015 IPAM, UCLA, July 2015

Supervised machine learning

§ Supervised learning has many applications Supervised learning has many applications

– Computer vision, medicine, economics

§ Numerous successful algorithms Numerous successful algorithms

– GLS, logistic regression, SVM, Naïve Bayes, etc.

22

Cats Dogs Cat or dog?

Learning from data generated by strategic agents

§ Standard machine learning algorithms are based on the Standard machine learning algorithms are based on the “iid iid assumption” assumption” § The The iid iid assumption fails assumption fails in some contexts in some contexts

– Security: data is generated by an adversary

h Spam detection, detection of malicious behavior in online systems, malware detection, fraud detection

– Privacy: data is strategically obfuscated by users

h Learning from online users personal data, recommendation, reviews

à à where where data is generated/provided by strategic agents data is generated/provided by strategic agents in reaction to the learning algorithm in reaction to the learning algorithm à à How to learn in these situations? How to learn in these situations?

23

Content

Main objective: illustrate what game theory brings to the Main objective: illustrate what game theory brings to the question “how to learn?” on the example of: question “how to learn?” on the example of: Classification from strategic data Classification from strategic data 1.

• 1. Problem formulation

Problem formulation 2.

• 2. The adversarial learning approach

The adversarial learning approach 3.

• 3. The game-theoretic approach

The game-theoretic approach

a. Intrusion detection games b. Classification games

24

Content

Main objective: illustrate what game theory brings to the Main objective: illustrate what game theory brings to the question “how to learn?” on the example of: question “how to learn?” on the example of: Classification from strategic data Classification from strategic data 1.

• 1. Problem formulation

Problem formulation 2.

• 2. The adversarial learning approach

The adversarial learning approach 3.

• 3. The game-theoretic approach

The game-theoretic approach

a. Intrusion detection games b. Classification games

25

Binary classification

26

Class 0 Class 1 Classifier

v1

(0),,vn (0)

v1

(1),,vm (1)

Vector of features of nth training example § Classifier’s task Classifier’s task

– From , make decision boundary – Classify new example based on which side of the boundary

v1

(0),,vn (0),v1 (1),,vm (1)

v

§ Single feature ( scalar) Single feature ( scalar) § Multiple features ( vector) Multiple features ( vector)

– Combine features to create a decision boundary – Logistic regression, SVM, Naïve Bayes, etc.

Binary classification

27

New example :

v

class 0 if v < th class 1 if v > th

th

False positive False positive (false alar (false alarm) m) False negative False negative (missed detect.) (missed detect.)

v1

(0),

v1

(0),

Binary classification from strategic data

28

Class 0 Class 1 Classifier

v(0) ~ P

N given

v(1) ~ P(1) given

Attacker (strategic) Defender (strategic)

§ Attacker modifies the data in some way in reaction to Attacker modifies the data in some way in reaction to the classifier the classifier

Content

Main objective: illustrate what game theory brings to the Main objective: illustrate what game theory brings to the question “how to learn?” on the example of: question “how to learn?” on the example of: Classification from strategic data Classification from strategic data 1.

• 1. Problem formulation

Problem formulation 2.

• 2. The adversarial learning approach

The adversarial learning approach 3.

• 3. The game-theoretic approach

The game-theoretic approach

a. Intrusion detection games b. Classification games

29

Machine learning and security literature

§ A large literature at the intersection of machine learning A large literature at the intersection of machine learning and security since mid-2000 and security since mid-2000

– [Huang et al., AISec ’11] – [Biggio et al., ECML PKDD ’13] – [Biggio, Nelson, Laskov, ICML ’12] – [Dalvi et al., KDD ’04] – [Lowd, Meek, KDD ’05] – [Nelson et al., AISTATS ’10, JMLR ’12] – [Miller et al. AISec ’04] – [Barreno, Nelson, Joseph, Tygar, Mach Learn ’10] – [Barreno et al., AISec ’08] – [Rubinstein et al., IMC ’09, RAID ’08] – [Zhou et al., KDD ’12] – [Wang et al., USENIX SECURITY ’14] – [Zhou, Kantarcioglu, SDM ’14] – [Vorobeychik, Li, AAMAS ’14, SMA ’14, AISTATS ’15] – …

30

Different ways of altering the data

§ Two main types of attacks: Two main types of attacks:

– Causative: the attacker can alter the training set

h Poisoning attack

– Exploratory: the attacker cannot alter the training set

h Evasion attack

§ Many variations: Many variations:

– Targeted vs indiscriminate – Integrity vs availability – Attacker with various level of information and capabilities

§ Full taxonomy in [Huang et al., Full taxonomy in [Huang et al., AISec AISec ’11] ’11]

31

Poisoning attacks

§ General research questions General research questions

– What attacks can be done?

h Depending on the attacker capabilities

– What defense against these attacks?

§ 3 examples of poisoning attacks 3 examples of poisoning attacks

– SpamBayes – Anomaly detection with PCA – Adversarial SVM

32

Poisoning attack example (1): SpamBayes [Nelson et al., 2009]

§ SpamBayes SpamBayes: simple content based spam filter : simple content based spam filter § 3 attacks with 3 objectives: 3 attacks with 3 objectives:

– Dictionary attack: send spam with all token so user disables filter

h Controlling 1% of the training set is enough

– Focused attack: make a specific email appear spam

h Works in 90% of the cases

– Pseudospam attack: send spam that gets mislabeled so that user receives spam

h User receives 90% of spam if controlling 10% of the training set

§ Counter-measure: RONI (Reject on negative impact) Counter-measure: RONI (Reject on negative impact)

– Remove from the training set examples that have a large negative impact

33

Poisoning attack example (2): Anomaly detection using PCA [Rubinstein et al. 09]

§ Context: detection of Context: detection of DoS DoS attacks through anomaly attacks through anomaly detection; using PCA to reduce dimensionality detection; using PCA to reduce dimensionality § Attack: inject traffic during training to alter the principal Attack: inject traffic during training to alter the principal components to evade detection of the components to evade detection of the DoS DoS attack attack

– With no poisoning attack: 3.67% evasion rate – 3 levels of information on traffic matrices, injecting 10% of the traffic

h Uninformed à 10% evasion rate h Locally informed (on link to be attacked) à 28% evasion rate h Globally informed à 40% evasion rate

§ Defense: “robust statistics” Defense: “robust statistics”

– Maximize maximum absolute deviation instead of variance

34

Poisoning attack example (3): adversarial SVM [Zhou et al., KDD ’12]

§ Learning algorithm: support vector machine Learning algorithm: support vector machine § Adversary’s objective: alter the classification by Adversary’s objective: alter the classification by modifying the features of class 1 training examples modifying the features of class 1 training examples

– Restriction on the range of modification (possibly dependent on the initial feature)

§ Defense: minimize SVM cost with worse-case possible Defense: minimize SVM cost with worse-case possible attack attack

– Zero-sum game “in spirit”

35

Evasion attacks

§ Fixed classifier, general objective of evasion attacks: Fixed classifier, general objective of evasion attacks:

– By querying the classifier, find a “good” negative example

§ “Near optimal evasion”: find negative instance of minimal cost “Near optimal evasion”: find negative instance of minimal cost

– [Lowd, Meek, KDD ’05]: Linear classifier (with continuous features and linear cost)

h Adversarial Classifier Reverse Engineering (ACRE): polynomial queries

– [Nelson et al., AISTATS ’10]: extension to convex-inducing classifiers

§ “Real-world evasion”: find “acceptable” negative instance “Real-world evasion”: find “acceptable” negative instance § Defenses Defenses

– Randomization: no formalization or proofs

36

Content

Main objective: illustrate what game theory brings to the Main objective: illustrate what game theory brings to the question “how to learn?” on the example of: question “how to learn?” on the example of: Classification from strategic data Classification from strategic data 1.

• 1. Problem formulation

Problem formulation 2.

• 2. The adversarial learning approach

The adversarial learning approach 3.

• 3. The game-theoretic approach

The game-theoretic approach

a. Intrusion detection games b. Classification games

37

Game theory and security literature

§ A large literature on game theory for security since A large literature on game theory for security since mid-2000 mid-2000

– Surveys:

h [Manshaei et al., ACM Computing Survey 2011] h [Alpcan Basar, CUP 2011]

– Game-theoretic analysis of intrusion detection systems

h [Alpcan, Basar, CDC ’04, Int Symp Dyn Games ’06] h [Zhu et al., ACC ’10] h [Liu et al, Valuetools ’06] h [Chen, Leneutre, IEEE TIFS ’09]

– Many other security aspects approached by game theory

h Control [Tambe et al.] h Incentives for investment in security with interdependence [Kunreuther and Heal 2003], [Grossklags et al. 2008], [Jiang, Anantharam, Walrand 2009], [Kantarcioglu et al, 2010] h Cyber insurance [Lelarge, Bolot 2008-2012], [Boehme, Schwartz 2010], [Shetty, Schwartz, Walrand 2008-2012], [Schwartz et al. 2014] h Economics of security [Anderson, Moore 2006] h Robust networks design: [Gueye, Anantharam, Walrand, Schwartz 2011-2013], [Laszka et al, 2013-2015] h …

38

Intrusion Detection System (IDS): simple model

§ IDS: Detect unauthorized use of network IDS: Detect unauthorized use of network

– Monitor traffic and detect intrusion (signature or anomaly based) – Monitoring has a cost (CPU (e.g., for real time))

§ Simple model: Simple model:

– Attacker: {attack, no attack} ({a, na}) – Defender: {monitoring, no monitoring} ({m, nm}) – Payoffs – “Safe strategy” (or min-max)

h Attacker: na h Defender: m if αs>αf, nm if αs<αf

39

P A = −βc βs " # $ $ % & ' ' , PD = αc −αs −α f " # $ $ % & ' '

m nm a na m nm

Nash equilibrium: mixed strategy (i.e., randomized)

§ Payoffs: Payoffs: § Non-zero sum game Non-zero sum game § There is no pure strategy NE There is no pure strategy NE § Mixed strategy NE: Mixed strategy NE:

– Be unpredictable – Neutralize the opponent (make him indifferent) – Opposite of own optimization (indep. own payoff)

40

m nm a na

pa = α f α f +αc +αs , pm = βs βc +βs

P A = −βc βs " # $ $ % & ' ' , PD = αc −αs −α f " # $ $ % & ' '

Heterogeneous networks [Chen, Leneutre, IEEE TIFS 2009]

§ N independent targets T={1, …, N} N independent targets T={1, …, N} § Target Target i has value W has value Wi § Payoff of attack for target Payoff of attack for target i § Total payoff: sum on all targets Total payoff: sum on all targets § Strategies Strategies

– Attacker chooses {pi, i=1..N}, proba to attack i – Defender chooses {qi, i=1..N}, proba to monitor i

41

pi

i

∑

≤ P qi

i

∑

≤ Q

Sensible targets

§ Sets Sets TS (sensible targets) (sensible targets) TQ (quasi-sensible targets) (quasi-sensible targets) uniquely defined by uniquely defined by § Theorem: Theorem:

– A rational attack does not attack in – A rational defender does defend in

42

T −TS −TQ

T −TS −TQ

High value Low value

Nash equilibrium – case 1

§ Attacker and defender use up all their available Attacker and defender use up all their available resources: and resources: and § Nash equilibrium given by Nash equilibrium given by

43

pi

i

∑

= P qi

i

∑

= Q

Sensible (and quasi-sensible) nodes attacked and defended Non-sensible nodes not attacked and not defended

Nash equilibrium – case 2

§ If the attack power If the attack power P is low relative to the cost of is low relative to the cost of monitoring, the defender does not use all his available monitoring, the defender does not use all his available resources: and resources: and § Nash equilibrium given by Nash equilibrium given by

44

pi

i

∑

= P qi

i

∑

< Q

where , the largest integer not more than .

Sensible (and quasi-sensible) nodes attacked and defended Non-sensible nodes not attacked and not defended Monitor more the targets with higher values

Nash equilibrium – case 3

§ If P and Q are large, or cost of monitoring/attack is too If P and Q are large, or cost of monitoring/attack is too large, neither attacker nor defender uses all available large, neither attacker nor defender uses all available resources: and resources: and § Nash equilibrium given by Nash equilibrium given by Ø All IDS work: assumption that payoff is sum on all targets All IDS work: assumption that payoff is sum on all targets

45

pi

i

∑

< P qi

i

∑

< Q

– All targets are sensible – Equivalent to N independent IDS – Monitoring/attack independent of Wi

h Due to payoff form (cost of attack proportional to value)

Content

Main objective: illustrate what game theory brings to the Main objective: illustrate what game theory brings to the question “how to learn?” on the example of: question “how to learn?” on the example of: Classification from strategic data Classification from strategic data 1.

• 1. Problem formulation

Problem formulation 2.

• 2. The adversarial learning approach

The adversarial learning approach 3.

• 3. The game-theoretic approach

The game-theoretic approach

a. Intrusion detection games b. Classification games

46

Classification games

47

Class 0 Class 1 Classifier

chooses P(1)

th

v(0) ~ P

N given

v(1) ~ P(1) given

Attacker (strategic) Maximizes false negative Defender (strategic) Minimizes false negative (zero-sum)

th th

Nash equilibrium?

Non-attacker (noise) Attacker (strategic) Defender (strategic)

A first approach

§ [Brückner Brückner, , Scheffer Scheffer, KDD ’12, , KDD ’12, Brückner Brückner, , Kanzow Kanzow, , Scheffer Scheffer, JMLR ’12] , JMLR ’12] § Model: Model:

– Defender selects the parameters of a pre-specified generalized linear model – Adversary selects a modification of the features – Continuous cost in the probability of class 1 classification

§ Result: Result:

– Pure strategy Nash equilibrium

48

A more flexible model [Dritsoula, L., Musacchio, 2012, 2015]

§ Model specification Model specification § Game-theoretic analysis to answer the questions: Game-theoretic analysis to answer the questions:

Ø How should the defender perform classification?

Ø How to combine the features? Ø How to select the threshold?

Ø How will the attacker attack?

Ø How does the attacker select the attacks features?

Ø How does the performance change with the system’s parameters?

49

Model: players and actions

50

Class 0 Class 1

Classifier

v ~ P

N given

chooses v

Non-attacker (noise) Attacker (strategic) Defender (strategic) flags NA (0) or A (1) p 1-p

§ Attacker Attacker chooses chooses § Defender Defender chooses chooses

– Classifier

§ Two-players game Two-players game

v ∈ V

Set of feature vectors

c ∈ C

G = V,C,P

N, p,cd,cfa

c :V → {0,1}

Set of classifiers {0,1}

V

Payoff-relevant Parameters

Model: payoffs

§ Attacker Attacker’s payoff: ’s payoff: § Defender Defender’s payoff: ’s payoff:

51

U A(v,c) = R(v)−cd1c(v)=1

Reward from attack Cost if detected

U D(v,c) = p −R(v)+cd1c(v)=1

( )+(1− p)cfa

P

N( "

v )1c( "

v )=1 " v ∈V

∑

% & ' ( ) *

Cost of false alarm

U D(v,c) = −U A(c,v)+ (1− p) p cfa P

N( "

v )1c( "

v )=1 " v ∈V

∑

% & ' ( ) *

Rescaling

Nash equilibrium

§ Mixed strategies: Mixed strategies:

– Attacker: probability distribution – Defender: probability distribution

§ Utilities extended: Utilities extended: § Nash equilibrium: Nash equilibrium: s.t. s.t. each player is at best- each player is at best- response: response:

52

β on C

(α,β)

α on V

α* ∈ argmax

α

U A(α,β*) β* ∈ argmax

β

U D(α*,β)

U A(α,β) = αvU A(v,c)

c∈C

∑

v∈V

∑

βc

“Easy solution”: linear programming (almost zero-sum game)

§ The non-zero-sum part depends only on The non-zero-sum part depends only on § Best-response equivalent to zero-sum game Best-response equivalent to zero-sum game Ø Solution can be computed by LP, Solution can be computed by LP, BUT BUT

Ø The size of the defender’s action set is large Ø Gives no information on the game structure

53

U A(v,c) = R(v)−cd1c(v)=1

U D(v,c) = −U A(c,v)+ (1− p) p cfa P

N( "

v )1c( "

v )=1 " v ∈V

∑

% & ' ( ) *

c ∈ C

−(1− p) p cfa P

N( "

v )1c( "

v )=1 " v ∈V

∑

% & ' ( ) *

Main result 1: defender combines features based on attacker’s reward

§ Define : set of threshold classifiers on Define : set of threshold classifiers on Ø Classifiers that compare to a threshold are optimal Classifiers that compare to a threshold are optimal for the defender for the defender

Ø Different from know classifiers (logistic regression, etc.) Ø Reduces a lot the size of the defender’s strategy set

54

CT = c ∈ C :c(v) =1R(v)≥t ∀v, for some t ∈ ℜ

{ }

CT

R(v) Theorem: ¡

For ¡every ¡NE ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡there ¡exists ¡a ¡NE ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡with ¡the ¡same ¡a[acker’s ¡strategy ¡and ¡ the ¡same ¡equilibrium ¡payoffs ¡ G = V,C,P

N, p,cd,cfa

GT = V,CT,P

N, p,cd,cfa

R(v)

Main result 1: proof’s key steps

1.

• 1. The utilities depend on only through the probability

The utilities depend on only through the probability

• f class 1 classification:
• f class 1 classification:

2.

• 2. At NE, if , then

At NE, if , then 3.

• 3. Any can be achieved by

Any can be achieved by a mix of threshold strategies in a mix of threshold strategies in

55

β

π d(v) = βc1c(v)=1

c∈C

∑

π d(v) increases with R(v) P

N(v) > 0 for all v

π d(v) that increases with R(v)

CT

Main result 1: illustration

56

Main result 2: attacker’s equilibrium strategy mimics the non-attacker

57

10 20 30 40 50 60 70 80 90 100 0.1 0.2 0.3 0.4 Defender’s NE randomized threholds Number of attacks on main target probability 10 20 30 40 50 60 70 80 90 100 0.1 0.2 probability Attacker’s NE mixed straregy 10 20 30 40 50 60 70 80 90 100 0.1 0.2 0.3 Non−attacker’s distribution probability

Lemma: ¡

If ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡a ¡NE ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡then ¡

¡

¡

(α,β)

G = V,C,P

N, p,cd,cfa

αv = 1− p p cfa cd P

N(v), for all v s.t. π d(v) ∈ (0,1)

§ Attacker’s strategy: Attacker’s strategy: scaled version of the scaled version of the non-attacker non-attacker distribution on a distribution on a subset subset

Reduction of attacker’s strategy space

§ : set of rewards : set of rewards § : non-attacker’s probability on : non-attacker’s probability on Ø It is enough to study It is enough to study

58

V R

υ1 υ2 υ3 υ4 R r

1

r

3

r

2

V R V

Proposi/on: ¡

If ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡a ¡NE ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡then ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡is ¡a ¡ NE ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡with ¡the ¡same ¡equilibrium ¡ payoffs, ¡where ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡. ¡ ¡

GT = V,CT,P

N, p,cd,cfa

GR,T = V R,CT,P

N R, p,cd,cfa

P

N R(r) =

P

N(v) v:R(v)=r

∑

V R

GR,T = V R,CT,P

N R, p,cd,cfa

(α,β) ( ! α ,β)

! αr = αv

v:R(v)=r

∑

Game rewriting in matrix form

§ Game Game

– Attacker chooses attack reward in – Defender chooses threshold strategy in

59

GR,T = V R,CT,P

N R, p,cd,cfa

V R = {r

1 < r 2 <}

CT

CT = V R +1

Λ = cd 1    1            1    1 " # $ $ $ $ $ $ % & ' ' ' ' ' ' − r

1

   rV R " # $ $ $ $ $ $ $ % & ' ' ' ' ' ' ' ⋅ * 1V R +1

U A(α,β) = − " α Λβ and U D = " α Λβ − " µ β

µi = 1− p p cfa P

N R(r) r≥r

i

∑

Main result 3: Nash equilibrium structure (i.e., how to choose the threshold)

60

Theorem: ¡

At ¡a ¡NE ¡of ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡for ¡some ¡k: ¡

¡

• The ¡a[acker’s ¡strategy ¡is ¡ ¡
• The ¡defender’s ¡strategy ¡is ¡ ¡

¡ ¡ ¡ ¡ ¡where ¡ ¡ ¡ ¡

¡

GR,T = V R,CT,P

N R, p,cd,cfa

0,,0,αk,,α V R

( )

0,,0,βk,,βV R ,βV R +1

( )

βi = r

i+1 −r i

cd , for i ∈ k +1,, V R

{ }

αi = 1− p p cfa cd P

N R(r i), for i ∈ k +1,, V R −1

{ }

NE computation

§ Defender: try all vectors of the form (for all Defender: try all vectors of the form (for all k) ) § Take the one maximizing payoff Take the one maximizing payoff

– Unique maximizing à unique NE. – Multiple maximizing à any convex combination is a NE

§ Attacker: Use the formula Attacker: Use the formula

– Complete first and last depending on

β: Mix of defender threshold strategies

• r

61

βi = r

i+1 −r i

cd βi = r

i+1 −r i

cd

V R +1 V R +1 V R k +1 k

Complement to 1

β

β

β β

Nash equilibrium illustration

62

1 2 3 4 5 6 7 8 9 10 11 12 13 0.2 0.4 Non−attacker’s distribution probability 1 2 3 4 5 6 7 8 9 10 11 12 13 0.2 0.4 0.6 Attacker’s equilibrium strategy probability 1 2 3 4 5 6 7 8 9 10 11 12 13 0.2 0.4 0.6 Defender’s equilibrium strategy probability Attack vectors

§ Case Case

r

i = i⋅ca

Main result 3: proof’s key steps

1.

• 1. At NE, maximizes

At NE, maximizes Ø Solve LP: Solve LP: Ø extreme points of extreme points of 2.

• 2. Look at polyhedron

Look at polyhedron and eliminate points and eliminate points that are not that are not extreme extreme

63

β

minΛβ − # µ β

maximize z - ! µ β s.t. Λβ ≥ z⋅1V R , β ≥ 0,1V R +1 ⋅β =1

Λx ≥1V R , x ≥ 0 β = x x

( )

cdx1 +(rV R −r

1 +ε) x

≥1 cd(x1 + x2)+(rV R −r

2 +ε) x

≥1  cd(x1 + x2 ++ xV R )+ε x ≥1

Example

§ Case Case

64

10 20 30 40 50 60 70 80 90 100 0.1 0.2 0.3 0.4 Defender’s NE randomized threholds Number of attacks on main target probability 10 20 30 40 50 60 70 80 90 100 0.1 0.2 probability Attacker’s NE mixed straregy 10 20 30 40 50 60 70 80 90 100 0.1 0.2 0.3 Non−attacker’s distribution probability

r

i = i⋅ca, N =100,P N ~ Bino(θ), p = 0.2

Example (2): variation with cost of attack

65

1 2 3 4 5 6 7 8 9 10 Players’ NE payoff cost of single attack, ca attacker defender

Example (3): variation with false alarm cost

66

2 4 6 8 10 12 14 16 18 20 Players’ NE payoff cfa attacker defender

Example (4): Variation with noise strength

67

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Player’s NE payoff non attacker’s per period frequency θ0

Example (5): is it worth investing in a second sensor?

§ There are two features There are two features § 3 scenarios: 3 scenarios:

– 1: defender classifies on feature 1 only

h Attacker uses maximal strength on feature 2

– 2: defender classifies on features 1 and 2 but attacker doesn’t know

h Attacker uses maximal strength on feature 2

– 3: defender classifies on features 1 and 2 and attacker knows

h Attacker adapts strength on feature 2

§ Is it worth investing? Is it worth investing?

– Compare the investment cost to the payoff difference!

68

Scenario 1 Scenario 2 Scenario 3 0.5 1 1.5 2 2.5 3 3.5 4 4.5 Defender’s equilibrium payoff

Conclusion: binary classification from strategic data

§ Game theory provides new insights into learning from Game theory provides new insights into learning from data generated by a strategic attacker data generated by a strategic attacker § Analysis of a simple model (Nash equilibrium): Analysis of a simple model (Nash equilibrium):

Ø Defender should combine features according to attacker’s reward à not use a known algorithm

Ø Mix on threshold strategies proportionally to marginal reward increase, up to highest threshold

Ø Attacker mimics non-attacker on defender’s support

69

Class 0 Class 1

Classifier

v ~ P

N given

chooses v

Non-attacker (noise) Attacker (strategic) Defender (strategic) flags NA (0) or A (1)

p 1-p

Extensions and open problems

§ Game theory can bring to other learning problems with Game theory can bring to other learning problems with strategic agents! strategic agents! § Models with one strategic attacker [security] Models with one strategic attacker [security]

– Extensions of the classification problem

h Model generalization, multiclass, regularization, etc.

– Unsupervised learning

h Clustering

– Sequential learning

h Dynamic classification

§ Models with many strategic agents [privacy] Models with many strategic agents [privacy]

– Linear regression, recommendation

70