Privacy and Composi0on (Part 2) Michael Carl Tschantz - - PowerPoint PPT Presentation

Privacy ¡and ¡Composi0on ¡

(Part ¡2) ¡

Michael ¡Carl ¡Tschantz ¡ Interna0onal ¡Computer ¡Science ¡Ins0tute ¡

High ¡ inputs ¡ Low ¡

• utputs ¡

Low ¡ inputs ¡ Program ¡1 ¡ High ¡

• utputs ¡

Low ¡

• utputs ¡

Program ¡2 ¡ Low ¡ inputs ¡

High ¡ inputs ¡ Low ¡

• utputs ¡

Low ¡

• utputs ¡

Low ¡ inputs ¡ Program ¡1 ¡ Program ¡2 ¡ High ¡

• utputs ¡

Low ¡ inputs ¡

Failure ¡of ¡Composi0on ¡

High ¡ inputs ¡ Low ¡

• utputs ¡

Low ¡

• utputs ¡

Low ¡ inputs ¡ Program ¡1 ¡ Program ¡2 ¡ Composite ¡System ¡ High ¡

• utputs ¡

Low ¡ inputs ¡

High ¡

• utputs ¡

Low ¡

• utputs ¡

High ¡ inputs ¡ Program ¡1 ¡

High ¡ inputs ¡ High ¡

• utputs ¡

Program ¡2 ¡ High ¡ inputs ¡

Failure ¡of ¡Composi0on ¡

High ¡ inputs ¡ High ¡

• utputs ¡

Low ¡

• utputs ¡

High ¡

• utputs ¡

High ¡ inputs ¡ Program ¡1 ¡ Program ¡2 ¡ Composite ¡System ¡ High ¡ inputs ¡

Noninterference ¡Composi0onal ¡and ¡Not ¡

Feedback ¡ Not ¡in ¡general ¡ Cascade ¡(sequen0al) ¡ Yes ¡ Product ¡(parallel) ¡ Yes ¡

[McLean, ¡1996] ¡

Purpose ¡Restric0ons ¡in ¡Privacy ¡Policies ¡

• Yahoo!'s ¡prac0ce ¡is ¡not ¡to ¡use ¡the ¡content ¡of ¡

messages ¡[…] ¡for ¡marke0ng ¡purposes. ¡

• By ¡providing ¡your ¡personal ¡informa0on, ¡you ¡

give ¡[Social ¡Security ¡Administra0on] ¡consent ¡ to ¡use ¡the ¡informa0on ¡only ¡for ¡the ¡purpose ¡ for ¡which ¡it ¡was ¡collected. ¡

10 ¡

Audi0ng ¡

11 ¡

Auditee’s ¡ behavior ¡ Purpose ¡ restric0on ¡ Environment ¡ Model ¡ Obeyed ¡ Violated ¡ Inconclusive ¡

12 ¡

Behavior ¡ log ¡

Consistent ¡with ¡ ¡

• bserved ¡behavior ¡

Record ¡for ¡ treatment ¡

Solver ¡ Solver ¡

Consistent ¡with ¡ ¡ treatment ¡

13 ¡

Behavior ¡ log ¡

Solver ¡

Record ¡for ¡ cost ¡reduc0on ¡

Consistent ¡with ¡ ¡ cost ¡reduc0on ¡ Consistent ¡with ¡ ¡

• bserved ¡behavior ¡

Solver ¡

14 ¡

Behavior ¡ log ¡

Solver ¡

Record ¡for ¡ cost ¡reduc0on ¡

Consistent ¡with ¡ ¡ cost ¡reduc0on ¡ Consistent ¡with ¡ ¡

• bserved ¡behavior ¡

Record ¡for ¡ treatment ¡

Solver ¡ Solver ¡

Consistent ¡with ¡ ¡ treatment ¡

Purpose ¡Composi0onal ¡and ¡Not ¡

Simultaneous ¡ No ¡ Parallel ¡ Yes ¡ Sequen0al ¡ Yes ¡

[Tschantz, ¡Da^a ¡& ¡Wing ¡2012; ¡Tschantz ¡2012] ¡

16 ¡

17 ¡

Discrimina0on ¡

18 18

Web browsing Advertisements Ad settings Ad ecosystem Set the gender bit to female or male Browse websites related finding a new job Significant difference ads on news website (p < 0.000006)

[Da^a, ¡Tschantz ¡& ¡Da^a ¡2015] ¡

Discrimina0on ¡Explana0on ¡

19

Female Gr Female Group

• up

Male Gr Male Group

• up

Jobs (Hiring Now)

www.jobsinyourarea.co 45 vs. 8

$200k+ Jobs - Execs Only

careerchange.com 311 vs. 1816

4Runner Parts Service

www.westernpatoyotaservice.com 36 vs. 5

Find Next $200k+ Job

careerchange.com 7 vs. 36

Criminal Justice Program

www3.mc3.edu/Criminal+Justice 29 vs. 1

Become a Youth Counselor

www.youthcounseling.degreeleap.com 0 vs. 310

Out ¡Bided ¡on ¡Women ¡but ¡Not ¡Men ¡

Bids ¡for ¡Females ¡ Bids ¡for ¡Males ¡ $7 ¡Makeup ¡ $5 ¡Dress ¡ $4 ¡Job ¡ $4 ¡Job ¡ $2 ¡Hair ¡Salon ¡ $1 ¡Car ¡ $1 ¡Car ¡

Who’s ¡to ¡Blame? ¡

• Career ¡coaching ¡service: ¡place ¡same ¡bids ¡for ¡

females ¡and ¡males ¡

• Other ¡adver0sers: ¡place ¡bids ¡on ¡females ¡for ¡

products ¡that ¡cater ¡only ¡to ¡women ¡

• Google: ¡show ¡the ¡highest ¡bid ¡

References ¡

• [Goguen ¡and ¡Meseguer, ¡1982] ¡Joseph ¡A. ¡Goguen ¡and ¡Jose ¡Meseguer. ¡ ¡Security ¡

policies ¡and ¡security ¡models. ¡ ¡Proceedings ¡of ¡the ¡IEEE ¡Symposium ¡on ¡Security ¡ and ¡Privacy. ¡ ¡1982. ¡

• [Dwork, ¡McSherry, ¡Nissim ¡& ¡Smith, ¡2006] ¡ ¡Cynthia ¡Dwork, ¡Frank ¡Mcsherry, ¡

Kobbi ¡Nissim ¡and ¡Adam ¡Smith. ¡Calibra0ng ¡Noise ¡to ¡Sensi0vity ¡in ¡Private ¡Data ¡

• Analysis. ¡Theory ¡of ¡Cryptography ¡Conference. ¡ ¡2006. ¡
• [Garg, ¡Jia ¡& ¡Da^a, ¡2011] ¡D. ¡Garg, ¡L. ¡Jia ¡and ¡A. ¡Da^a. ¡ ¡Policy ¡Audi0ng ¡over ¡

Incomplete ¡Logs: ¡Theory, ¡Implementa0on ¡and ¡Applica0ons. ¡ ¡Proceedings ¡of ¡ 18th ¡ACM ¡Conference ¡on ¡Computer ¡and ¡Communica0ons ¡Security. ¡ ¡2011. ¡

• [McLean, ¡1996] ¡John ¡McLean. ¡ ¡A ¡General ¡Theory ¡of ¡Composi0on ¡for ¡a ¡Class ¡of ¡

“Possibilis0c” ¡Proper0es. ¡ ¡IEEE ¡Trans. ¡Sonw. ¡Eng. ¡22 ¡(1). ¡ ¡1996 ¡

• [Tschantz, ¡Da^a ¡& ¡Wing ¡2012] ¡Michael ¡Carl ¡Tschantz, ¡Anupam ¡Da^a ¡and ¡

Jeanne^e ¡M. ¡Wing. ¡ ¡Formalizing ¡and ¡Enforcing ¡Purpose ¡Restric0ons ¡in ¡Privacy ¡

• Policies. ¡ ¡Proceedings ¡of ¡the ¡2012 ¡IEEE ¡Symposium ¡on ¡Security ¡and ¡Privacy. ¡ ¡
• 2012. ¡176-­‑190. ¡
• [Tschantz ¡2012] ¡Michael ¡Carl ¡Tschantz. ¡ ¡Formalizing ¡and ¡Enforcing ¡Purpose ¡
• Restric0ons. ¡Ph.D. ¡Disserta0on. ¡ ¡School ¡of ¡Computer ¡Science, ¡Carnegie ¡Mellon ¡
• University. ¡CMU-­‑CS-­‑12-­‑117. ¡ ¡2012. ¡
• [Da^a, ¡Tschantz ¡& ¡Da^a ¡2015] ¡Amit ¡Da^a, ¡Michael ¡Carl ¡Tschantz ¡and ¡Anupam ¡

Da^a. ¡Automated ¡Experiments ¡on ¡Ad ¡Privacy ¡Seqngs: ¡A ¡Tale ¡of ¡Opacity, ¡Choice, ¡ and ¡Discrimina0on. ¡Proceedings ¡on ¡Privacy ¡Enhancing ¡Technologies ¡(PoPETs). ¡

• 2015. ¡