Outline Recap DifferenCal privacy ensures adversary cant - - PowerPoint PPT Presentation

No ¡Free ¡Lunch ¡& ¡Pufferfish ¡Framework ¡

CompSci ¡590.03 ¡ Instructor: ¡Ashwin ¡Machanavajjhala ¡

1 ¡ Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Outline ¡

• Recap ¡

– DifferenCal ¡privacy ¡ensures ¡adversary ¡can’t ¡disCnguish ¡between ¡two ¡ “neighboring ¡tables” ¡using ¡any ¡output ¡beyond ¡a ¡factor ¡of ¡exp(ε). ¡ – What ¡does ¡epsilon ¡mean? ¡What ¡do ¡neighboring ¡tables ¡mean? ¡ ¡ – Are ¡there ¡adversaries ¡that ¡can ¡“break” ¡differenCal ¡privacy ¡? ¡

• No ¡Free ¡Lunch ¡Theorem ¡
• Pufferfish ¡Framework ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 2 ¡

Outline ¡

• Recap ¡
• No ¡Free ¡Lunch ¡Theorem ¡

– It ¡is ¡not ¡possible ¡to ¡guarantee ¡any ¡uClity ¡in ¡addiCon ¡to ¡privacy, ¡without ¡ making ¡assump@ons ¡about ¡the ¡aXacker’s ¡knowledge ¡

• Pufferfish ¡Framework ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 3 ¡

Outline ¡

• Recap ¡
• No ¡Free ¡Lunch ¡Theorem ¡
• Pufferfish ¡Framework ¡

– Making ¡adversarial ¡assumpCons ¡explicit ¡ – What ¡adversarial ¡assumpCons ¡does ¡differenCal ¡privacy ¡make? ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 4 ¡

Holy ¡grail ¡in ¡privacy ¡… ¡

• … ¡is ¡there ¡a ¡single ¡definiCon ¡that ¡can ¡ensure ¡privacy ¡independent ¡
• f ¡what ¡data ¡is ¡used ¡and ¡independent ¡of ¡the ¡aXacker? ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 5 ¡

DifferenCal ¡Privacy ¡

A ¡good ¡candidate ¡for ¡this ¡“holy ¡grail” ¡definiCon ¡… ¡

• … ¡is ¡not ¡suscepCble ¡to ¡known ¡aXacks. ¡ ¡
• … ¡seems ¡to ¡ensure ¡privacy ¡against ¡strong ¡adversaries ¡ ¡

– who ¡know ¡informaCon ¡about ¡all ¡but ¡one ¡individual ¡

• … ¡is ¡composable. ¡
• … ¡ε ¡is ¡a ¡very ¡nice ¡tuning ¡knob ¡for ¡trading ¡privacy ¡vs ¡uClity. ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 6 ¡

But ¡… ¡Different ¡ways ¡to ¡define ¡privacy ¡for ¡ different ¡datasets ¡

• Neighbors ¡for ¡tabular ¡data ¡

– Presence ¡or ¡absence ¡of ¡a ¡tuple ¡D, ¡D ¡U ¡{t} ¡ – Change ¡in ¡a ¡tuple ¡D ¡U ¡{x}, ¡D ¡U ¡{y} ¡

• Neighbors ¡for ¡Graphs ¡

– Presence ¡or ¡absence ¡of ¡an ¡edge ¡ ¡ – Presence ¡or ¡absence ¡of ¡a ¡vertex ¡(and ¡all ¡its ¡edges) ¡ ¡

• Neighbors ¡for ¡Set ¡values ¡data ¡

– Presence ¡or ¡absence ¡of ¡one ¡value ¡ – Presence ¡or ¡absence ¡of ¡enCre ¡set ¡

• Neighbors ¡for ¡Streaming ¡data ¡ ¡

– Change ¡in ¡one ¡Events ¡ – Change ¡in ¡K ¡consecuCve ¡events ¡ – EnCre ¡sequence ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 7 ¡

How ¡to ¡choose ¡a ¡ correct ¡neighbor ¡ definiCon? ¡ ¡

But ¡… ¡DifferenCal ¡privacy ¡may ¡lead ¡to ¡ disclosure ¡of ¡sensiCve ¡informaCon ¡… ¡

• … ¡when ¡the ¡adversary ¡knows ¡that ¡records ¡in ¡the ¡data ¡are ¡

correlated ¡

• CorrelaCons ¡across ¡records ¡in ¡the ¡data ¡occurs ¡in ¡many ¡ways: ¡ ¡

– Data ¡with ¡pre-­‑released ¡constraints ¡ – Social ¡Networks ¡ – FuncConal ¡dependencies ¡ – Streaming ¡data ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 8 ¡

But ¡… ¡DifferenCal ¡privacy ¡may ¡lead ¡to ¡ disclosure ¡of ¡sensiCve ¡informaCon ¡… ¡

• … ¡when ¡the ¡adversary ¡knows ¡that ¡records ¡in ¡the ¡data ¡are ¡

correlated ¡

• CorrelaCons ¡across ¡records ¡in ¡the ¡data ¡occurs ¡in ¡many ¡ways: ¡ ¡

– Data ¡with ¡pre-­‑released ¡constraints ¡ – Social ¡Networks ¡ – FuncConal ¡dependencies ¡ – Streaming ¡data ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 9 ¡

ConCngency ¡tables ¡

10 ¡

2 ¡ 2 ¡ 2 ¡ 8 ¡ D ¡ Count( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡ Each ¡tuple ¡takes ¡k=4 ¡ different ¡values ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

ConCngency ¡tables ¡

11 ¡

? ¡ ? ¡ ? ¡ ? ¡ D ¡ Count( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡ ¡ Want ¡to ¡release ¡counts ¡ privately ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Laplace ¡Mechanism ¡

12 ¡

2 ¡+ ¡Lap(1/ε) ¡ 2 ¡+ ¡Lap(1/ε) ¡ 2 ¡+ ¡Lap(1/ε) ¡ 8 ¡+ ¡Lap(1/ε) ¡ D ¡ Mean ¡: ¡8 ¡ Variance ¡: ¡2/ε2 ¡

Guarantees ¡differenDal ¡privacy. ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Marginal ¡counts ¡

13 ¡

2 ¡+ ¡Lap(1/ε) ¡ 2 ¡+ ¡Lap(1/ε) ¡ 4 ¡ 2 ¡+ ¡Lap(1/ε) ¡ 8 ¡+ ¡Lap(1/ε) ¡ 10 ¡ 4 ¡ 10 ¡ D ¡

Does ¡Laplace ¡mechanism ¡sDll ¡guarantee ¡ privacy? ¡

Auxiliary ¡marginals ¡published ¡for ¡following ¡reasons: ¡ ¡

1. Legal: ¡2002 ¡Supreme ¡Court ¡case ¡Utah ¡v. ¡Evans ¡ 2. Contractual: ¡AdverCsers ¡must ¡know ¡exact ¡ demographics ¡at ¡coarse ¡granulariCes ¡

4 ¡ 10 ¡ 4 ¡ 10 ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Marginal ¡counts ¡

14 ¡

2 ¡+ ¡Lap(1/ε) ¡ 2 ¡+ ¡Lap(1/ε) ¡ 4 ¡ 2 ¡+ ¡Lap(1/ε) ¡ 8 ¡+ ¡Lap(1/ε) ¡ 10 ¡ 4 ¡ 10 ¡ D ¡ 2 ¡+ ¡Lap(1/ε) ¡ 2 ¡+ ¡Lap(1/ε) ¡ 2 ¡+ ¡Lap(1/ε) ¡ Count ¡( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡8 ¡+ ¡Lap(1/ε) ¡ ¡ Count ¡( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡8 ¡-­‑ ¡Lap(1/ε) ¡ ¡ Count ¡( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡8 ¡-­‑ ¡Lap(1/ε) ¡ ¡ Count ¡( ¡ ¡ ¡ ¡ ¡ ¡ ¡, ¡ ¡ ¡ ¡ ¡ ¡ ¡) ¡= ¡8 ¡+ ¡Lap(1/ε) ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Mean ¡: ¡8 ¡ ¡ ¡Variance ¡: ¡2/ke2 ¡

Marginal ¡counts ¡

15 ¡

2 ¡+ ¡Lap(1/ε) ¡ 2 ¡+ ¡Lap(1/ε) ¡ 4 ¡ 2 ¡+ ¡Lap(1/ε) ¡ 8 ¡+ ¡Lap(1/ε) ¡ 10 ¡ 4 ¡ 10 ¡ D ¡ 2 ¡+ ¡Lap(1/ε) ¡ 2 ¡+ ¡Lap(1/ε) ¡ 2 ¡+ ¡Lap(1/ε) ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡can ¡reconstruct ¡the ¡table ¡with ¡ high ¡precision ¡for ¡large ¡k ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Reason ¡for ¡Privacy ¡Breach ¡

16 ¡

• ¡Pairs ¡of ¡tables ¡that ¡differ ¡ ¡ ¡

in ¡one ¡tuple ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

• ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡cannot ¡disCnguish ¡them ¡

Tables ¡that ¡do ¡not ¡ saCsfy ¡background ¡ knowledge ¡ Space ¡of ¡all ¡ possible ¡tables ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Reason ¡for ¡Privacy ¡Breach ¡

17 ¡

¡ ¡ ¡can ¡disCnguish ¡between ¡ every ¡pair ¡of ¡these ¡tables ¡based ¡

• n ¡the ¡output ¡

Space ¡of ¡all ¡ possible ¡tables ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

But ¡… ¡DifferenCal ¡privacy ¡may ¡lead ¡to ¡ disclosure ¡of ¡sensiCve ¡informaCon ¡… ¡

• … ¡when ¡the ¡adversary ¡knows ¡that ¡records ¡in ¡the ¡data ¡are ¡

correlated ¡

• CorrelaCons ¡across ¡records ¡in ¡the ¡data ¡occurs ¡in ¡many ¡ways: ¡ ¡

– Data ¡with ¡pre-­‑released ¡constraints ¡ – Social ¡Networks ¡ – FuncConal ¡dependencies ¡ – Streaming ¡data ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 18 ¡

A ¡count ¡query ¡in ¡a ¡social ¡network ¡

• Want ¡to ¡release ¡the ¡number ¡of ¡edges ¡between ¡blue ¡and ¡green ¡
• communiCes. ¡
• Should ¡not ¡disclose ¡the ¡presence/absence ¡of ¡Bob-­‑Alice ¡edge. ¡ ¡

19 ¡

Bob Alice

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Adversary ¡knows ¡how ¡social ¡networks ¡ evolve ¡

20 ¡

• Depending ¡on ¡the ¡social ¡network ¡evoluCon ¡model, ¡ ¡

(d2-­‑d1) ¡is ¡linear ¡or ¡even ¡super-­‑linear ¡in ¡the ¡size ¡of ¡the ¡network. ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

DifferenCal ¡privacy ¡fails ¡to ¡avoid ¡breach ¡

21 ¡

Output ¡ ¡ ¡(d1 ¡+ ¡δ) ¡ Output ¡ ¡ ¡(d2 ¡+ ¡δ) ¡ δ ¡ ¡~ ¡Laplace(1/ε) ¡ ¡

Adversary ¡can ¡disDnguish ¡between ¡the ¡two ¡ worlds ¡if ¡d2 ¡– ¡d1 ¡is ¡large. ¡ ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Summary ¡

DifferenCal ¡privacy ¡is ¡a ¡… ¡ ¡

• … ¡a ¡sound ¡noCon ¡for ¡privacy ¡
• … ¡but ¡may ¡need ¡to ¡customize ¡to ¡different ¡kinds ¡of ¡data ¡
• … ¡does ¡not ¡ensure ¡disclosure ¡of ¡sensiCve ¡informaCon ¡when ¡

records ¡are ¡correlated. ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 22 ¡

Outline ¡

• Recap ¡
• No ¡Free ¡Lunch ¡Theorem ¡

– It ¡is ¡not ¡possible ¡to ¡guarantee ¡any ¡uClity ¡in ¡addiCon ¡to ¡privacy, ¡without ¡ making ¡assump@ons ¡about ¡the ¡aXacker’s ¡knowledge ¡

• Pufferfish ¡Framework ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 23 ¡

No ¡Free ¡Lunch ¡Theorem ¡

¡ It ¡is ¡not ¡possible ¡to ¡guarantee ¡any ¡uClity ¡in ¡addiCon ¡to ¡privacy, ¡ without ¡making ¡assump@ons ¡about ¡ ¡ ¡

• the ¡data ¡genera@ng ¡distribu@on ¡ ¡
• the ¡background ¡knowledge ¡available ¡ ¡

to ¡an ¡adversary ¡ ¡

24 ¡

[Kifer-­‑Machanavajjhala ¡SIGMOD ¡‘11]

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

[Dwork-­‑Naor ¡ ¡JPC ¡‘10]

Discriminant: ¡Sliver ¡of ¡UClity ¡

• Does ¡an ¡algorithm ¡A ¡provide ¡any ¡uClity? ¡

w(k, ¡A) ¡> ¡c ¡if ¡there ¡are ¡k ¡inputs ¡{D1, ¡…, ¡Dk} ¡such ¡that ¡ ¡ ¡ A(Di) ¡give ¡different ¡outputs ¡with ¡probability ¡> ¡c. ¡ ¡ ¡

• Example: ¡

If ¡A ¡can ¡disCnguish ¡between ¡tables ¡of ¡size ¡<100 ¡and ¡size ¡ >1000000000, ¡then ¡w(2,A) ¡= ¡1. ¡ ¡

25 ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Discriminant: ¡Sliver ¡of ¡UClity ¡

Theorem: ¡The ¡discriminant ¡of ¡Laplace ¡mechanism ¡is ¡1. ¡ ¡ Proof: ¡ ¡

• Let ¡Di ¡= ¡a ¡database ¡with ¡n ¡records ¡and ¡ ¡n·√i/k ¡cancer ¡paCents ¡
• Let ¡Si ¡= ¡the ¡range ¡[n·√i/k ¡– ¡n/3k, ¡n·√i/k ¡+ ¡n/3k]. ¡All ¡Si ¡are ¡disjoint ¡
• Let ¡M ¡be ¡the ¡laplace ¡mechanism ¡on ¡the ¡query ¡“how ¡many ¡cancer ¡

paCents ¡are ¡there”. ¡ ¡

• Pr(M(Di) ¡ε ¡Si) ¡= ¡Pr(Noise ¡< ¡n/3k) ¡> ¡1 ¡– ¡e-­‑n/3kε ¡= ¡1 ¡– ¡δ ¡ ¡
• Hence, ¡discriminant ¡w(k,M) ¡> ¡1-­‑ ¡δ ¡
• As ¡n ¡tends ¡to ¡infinity, ¡discriminant ¡tends ¡to ¡1. ¡ ¡

26 ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Discriminant: ¡Sliver ¡of ¡UClity ¡

• Does ¡an ¡algorithm ¡A ¡provide ¡any ¡uClity? ¡

w(k, ¡A) ¡> ¡c ¡if ¡there ¡are ¡k ¡inputs ¡{D1, ¡…, ¡Dk} ¡such ¡that ¡ ¡ ¡ A(Di) ¡give ¡different ¡outputs ¡with ¡probability ¡> ¡c. ¡ ¡ ¡

• If ¡w(k, ¡A) ¡is ¡close ¡to ¡1 ¡ ¡
• ­‑ ¡we ¡may ¡get ¡some ¡uClity ¡aver ¡using ¡A. ¡

¡

• If ¡w(k, ¡A) ¡is ¡close ¡to ¡0 ¡
• ­‑ ¡we ¡cannot ¡disCnguish ¡any ¡k ¡inputs ¡– ¡no ¡uClity. ¡ ¡

27 ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Non-­‑privacy ¡

• D ¡is ¡randomly ¡drawn ¡from ¡Pdata. ¡ ¡
• q ¡is ¡a ¡sensiCve ¡query ¡with ¡k ¡answers, ¡s.t., ¡ ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡knows ¡Pdata ¡but ¡cannot ¡guess ¡value ¡of ¡q ¡

• A ¡is ¡not ¡private ¡if: ¡

¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡can ¡guess ¡q ¡correctly ¡based ¡on ¡Pdata ¡and ¡A ¡

28 ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

No ¡Free ¡Lunch ¡Theorem ¡

• Let ¡A ¡be ¡a ¡privacy ¡mechanism ¡with ¡w(k,A) ¡> ¡1-­‑ ¡ε ¡
• Let ¡q ¡be ¡a ¡sensiCve ¡query ¡with ¡k ¡possible ¡outcomes. ¡ ¡
• There ¡exists ¡a ¡data ¡generaCng ¡distribuCon ¡Pdata, ¡s.t. ¡

– q(D) ¡is ¡uniformly ¡distributed, ¡but ¡ – ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡wins ¡with ¡probability ¡greater ¡than ¡1-­‑ε ¡

29 ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡

Outline ¡

• Recap ¡
• No ¡Free ¡Lunch ¡Theorem ¡
• Pufferfish ¡Framework ¡

– Making ¡adversarial ¡assumpCons ¡explicit ¡ – What ¡adversarial ¡assumpCons ¡does ¡differenCal ¡privacy ¡make? ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 30 ¡

Pufferfish ¡Framework ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 31 ¡

[Kifer-­‑M ¡PODS ¡12] ¡

Pufferfish ¡SemanCcs ¡

• What ¡is ¡being ¡kept ¡secret? ¡ ¡
• Who ¡are ¡the ¡adversaries? ¡
• How ¡is ¡informaCon ¡disclosure ¡bounded? ¡ ¡

– (similar ¡to ¡epsilon ¡in ¡differenCal ¡privacy) ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 32 ¡

SensiCve ¡InformaCon ¡

• Secrets: ¡S ¡be ¡a ¡set ¡of ¡potenCally ¡sensiCve ¡statements ¡

– “individual ¡j’s ¡record ¡is ¡in ¡the ¡data, ¡and ¡j ¡has ¡Cancer” ¡ – “individual ¡j’s ¡record ¡is ¡not ¡in ¡the ¡data” ¡

• DiscriminaDve ¡Pairs: ¡ ¡

Mutually ¡exclusive ¡pairs ¡of ¡secrets. ¡ ¡

– (“Bob ¡is ¡in ¡the ¡table”, ¡“Bob ¡is ¡not ¡in ¡the ¡table”) ¡ – (“Bob ¡has ¡cancer”, ¡“Bob ¡has ¡diabetes”) ¡ – Denotes ¡an ¡adversary’s ¡possible ¡beliefs ¡about ¡an ¡individual. ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 33 ¡

Adversaries ¡

• We ¡assume ¡a ¡Bayesian ¡adversary ¡who ¡is ¡can ¡be ¡completely ¡

characterized ¡by ¡his/her ¡prior ¡informaCon ¡about ¡the ¡data ¡

– We ¡do ¡not ¡assume ¡computaConal ¡limits ¡

• Data ¡EvoluDon ¡Scenarios: ¡set ¡of ¡all ¡probability ¡distribuCons ¡that ¡

could ¡have ¡generated ¡the ¡data ¡( ¡… ¡think ¡adversary’s ¡prior). ¡

– No ¡assump@ons: ¡ ¡All ¡probability ¡distribuCons ¡over ¡data ¡instances ¡are ¡

• possible. ¡ ¡

– I.I.D.: ¡Set ¡of ¡all ¡f ¡such ¡that: ¡P(data ¡= ¡{r1, ¡r2, ¡…, ¡rk}) ¡= ¡f(r1) ¡x ¡f(r2) ¡x…x ¡f(rk) ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 34 ¡

InformaCon ¡Disclosure ¡

• Mechanism ¡M ¡saCsfies ¡ε-­‑Pufferfish(S, ¡Spairs, ¡D), ¡if ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 35 ¡

Pufferfish ¡SemanCc ¡Guarantee ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 36 ¡

Prior ¡odds ¡of ¡ ¡ s ¡vs ¡s’ ¡ Posterior ¡odds ¡

• f ¡ ¡s ¡vs ¡s’ ¡

AssumpConless ¡Privacy ¡ ¡

• Suppose ¡we ¡want ¡to ¡make ¡protect ¡against ¡any ¡adversary ¡

– No ¡assumpCons ¡about ¡adversary’s ¡background ¡knowledge ¡

• Spairs: ¡ ¡

– “record ¡j ¡is ¡in ¡the ¡table ¡with ¡value ¡x” ¡vs ¡“record ¡j ¡is ¡not ¡in ¡the ¡table” ¡

• Data ¡EvoluCon: ¡All ¡probability ¡distribuCons ¡over ¡data ¡instances ¡

are ¡possible. ¡ ¡ A ¡mechanism ¡saDsfies ¡ε-­‑AssumpDonless ¡Privacy ¡ if ¡and ¡only ¡if ¡ ¡ for ¡every ¡pair ¡of ¡database ¡D1, ¡D2, ¡and ¡every ¡output ¡w ¡ P(M(D1) ¡= ¡w) ¡≤ ¡eε ¡P(M(D2) ¡= ¡w) ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 37 ¡

AssumpConless ¡Privacy ¡

A ¡mechanism ¡saDsfies ¡ε-­‑AssumpDonless ¡Privacy ¡ if ¡and ¡only ¡if ¡ ¡ for ¡every ¡pair ¡of ¡database ¡D1, ¡D2, ¡and ¡every ¡output ¡w ¡ P(M(D1) ¡= ¡w) ¡≤ ¡eε ¡P(M(D2) ¡= ¡w) ¡ ¡ ¡

• Suppose ¡we ¡want ¡to ¡compute ¡the ¡number ¡of ¡individuals ¡having ¡
• cancer. ¡

– D1: ¡all ¡individuals ¡have ¡cancer ¡ – D2: ¡no ¡individual ¡has ¡cancer ¡ – For ¡assumpConless ¡privacy, ¡the ¡output ¡w ¡should ¡not ¡be ¡too ¡different ¡if ¡the ¡ input ¡was ¡D1 ¡or ¡D2 ¡ – Therefore, ¡need ¡O(N) ¡noise ¡(where ¡N ¡= ¡size ¡of ¡the ¡input ¡database). ¡ – Hence, ¡not ¡much ¡uClity. ¡ ¡ ¡

¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 38 ¡

Pufferfish ¡& ¡DifferenCal ¡Privacy ¡

• Spairs: ¡ ¡

– ¡si

x: ¡record ¡i ¡takes ¡the ¡value ¡x ¡ ¡

– ¡ ¡

¡

• AXackers ¡should ¡not ¡be ¡able ¡to ¡significantly ¡disCnguish ¡between ¡

any ¡two ¡values ¡from ¡the ¡domain ¡for ¡any ¡individual ¡record. ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 39 ¡

Pufferfish ¡& ¡DifferenCal ¡Privacy ¡

¡

• Data ¡evoluCon: ¡ ¡

– For ¡all ¡θ ¡= ¡[ ¡f1, ¡f2, ¡f3, ¡…, ¡fk ¡] ¡

• Adversary’s ¡prior ¡may ¡be ¡any ¡distribuCon ¡that ¡makes ¡records ¡

independent ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 40 ¡

! !"#" = ! Θ] =! !

!(! !) !!∈!

!

Pufferfish ¡& ¡DifferenCal ¡Privacy ¡

• Spairs: ¡ ¡

– ¡si

x: ¡record ¡i ¡takes ¡the ¡value ¡x ¡ ¡

– ¡ ¡

• Data ¡evoluCon: ¡ ¡

– For ¡all ¡θ ¡= ¡[ ¡f1, ¡f2, ¡f3, ¡…, ¡fk ¡] ¡ A ¡mechanism ¡M ¡saDsfies ¡differenDal ¡privacy ¡(neighbors ¡DU{x}, ¡DU{y}) ¡ ¡ if ¡and ¡only ¡if ¡ ¡ it ¡saDsfies ¡Pufferfish ¡instanDated ¡using ¡Spairs ¡and ¡{θ} ¡ ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 41 ¡

! !"#" = ! Θ] =! !

!(! !) !!∈!

!

Examples: ¡Graphs ¡

• Edge ¡differenCal ¡privacy: ¡

– Neighboring ¡graphs ¡differ ¡in ¡presence/absence ¡of ¡one ¡edge ¡

• Pufferfish ¡meaning: ¡ ¡

– Data: ¡matrix ¡of ¡bits ¡ – Secrets: ¡whether ¡or ¡not ¡an ¡edge ¡(u,v) ¡is ¡in ¡the ¡graph ¡(bit ¡at ¡(u,v) ¡is ¡0 ¡or ¡1) ¡ – Data ¡generaCng ¡distribuCons: ¡All ¡graphs ¡where ¡each ¡edge ¡e ¡is ¡ independently ¡present ¡with ¡probability ¡pe. ¡

• But ¡… ¡ ¡

– Edges ¡are ¡not ¡independent ¡in ¡real ¡graphs ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 42 ¡

Examples: ¡LocaCon ¡Traces ¡

• Single ¡locaCon ¡differenCal ¡privacy ¡

– Neighboring ¡tables ¡are ¡change ¡in ¡one ¡locaCon ¡(at ¡one ¡point ¡of ¡Cme) ¡of ¡an ¡ individual ¡ ¡

• Pufferfish ¡meaning ¡

– Data: ¡a ¡matrix ¡of ¡locaCons ¡ – Secrets: ¡Whether ¡or ¡not ¡individual ¡was ¡at ¡some ¡locaCon ¡at ¡some ¡point ¡of ¡ Cme ¡ – Data ¡GeneraCng ¡DistribuCons: ¡All ¡trajectories ¡where ¡an ¡individual’s ¡ locaDon ¡at ¡some ¡Dme ¡is ¡independent ¡of ¡all ¡other ¡locaDons ¡… ¡

• But ¡… ¡ ¡

– Current ¡locaCon ¡depends ¡on ¡previous ¡locaCons… ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 43 ¡

Examples: ¡LocaCon ¡Traces ¡

• EnCre ¡trajectory ¡differenCal ¡privacy ¡

– Neighboring ¡tables ¡are ¡change ¡in ¡enCre ¡trajectory ¡of ¡one ¡individual ¡ ¡

• Pufferfish ¡meaning ¡

– Data: ¡a ¡matrix ¡of ¡locaCons ¡ – Secrets: ¡Whether ¡or ¡not ¡individual’s ¡had ¡trajectory ¡{x1,x2,…,xk} ¡or ¡{y1,y2, …, ¡yk} ¡for ¡all ¡points ¡x1, ¡x2, ¡…y1, ¡y2, ¡… ¡ – Data ¡GeneraCng ¡DistribuCons: ¡Each ¡individual’s ¡trajectory ¡is ¡independent ¡

• f ¡other ¡trajectories ¡… ¡
• But ¡… ¡ ¡

– UnrealisCc ¡to ¡assume ¡adversary ¡may ¡have ¡knowledge ¡of ¡the ¡form ¡“Bob’s ¡ trajectory ¡is ¡either ¡in ¡Vietnam, ¡or ¡USA” ¡ ¡ – Not ¡all ¡trajectories ¡x1,x2…xk ¡are ¡realisCc ¡trajectories ¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 44 ¡

Summary ¡of ¡Pufferfish ¡

• A ¡semanCc ¡approach ¡to ¡defining ¡privacy ¡

– Enumerates ¡the ¡informaCon ¡that ¡is ¡secret ¡and ¡the ¡set ¡of ¡adversaries. ¡ – Bounds ¡the ¡odds ¡raCo ¡of ¡pairs ¡of ¡mutually ¡exclusive ¡secrets ¡

• Helps ¡understand ¡assumpCons ¡under ¡which ¡privacy ¡is ¡guaranteed ¡

– DifferenCal ¡privacy ¡is ¡one ¡specific ¡choice ¡of ¡secret ¡pairs ¡and ¡adversaries ¡

¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 45 ¡

References ¡

[Kifer-­‑M ¡SIGMOD’11] ¡

• D. ¡Kifer, ¡A. ¡Machanavajjhala, ¡“No ¡Free ¡Lunch ¡in ¡Data ¡Privacy”, ¡SIGMOD ¡2011 ¡

[Kifer-­‑M ¡PODS’12] ¡

• D. ¡Kifer, ¡A. ¡Machanavajjhala, ¡“A ¡Rigorous ¡and ¡Customizable ¡Framework ¡for ¡Privacy”, ¡

PODS ¡2012 ¡

¡

Lecture ¡11: ¡590.03 ¡Fall ¡13 ¡ 46 ¡