Meanings of "Privacy" in Privacy Enhancing - - PowerPoint PPT Presentation

Meanings ¡of ¡"Privacy" ¡in ¡Privacy ¡ Enhancing ¡Technologies ¡

Claudia ¡Diaz ¡

KU ¡Leuven ¡– ¡COSIC ¡

Digital ¡IdenBty ¡Management ¡(DIM) ¡

November ¡8, ¡2013 ¡

1 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

Overview ¡

• Review ¡of ¡(three) ¡different ¡families ¡of ¡privacy ¡

technologies ¡focusing ¡on: ¡

– the ¡concept ¡of ¡“privacy” ¡they ¡embed ¡ – their ¡goals ¡ – their ¡challenges ¡and ¡limitaBons ¡ – incenBves/obstacles ¡for ¡deployment ¡ ¡

• Content ¡based ¡on ¡ongoing ¡work ¡with ¡Seda ¡Gürses ¡(NYU) ¡
• n ¡Privacy ¡Research ¡Paradigms ¡in ¡CS ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 2 ¡

“Social ¡privacy”: ¡Privacy ¡concerns ¡

• Technology ¡mediaBon ¡of ¡social ¡interacBons ¡leads ¡to ¡problems ¡in ¡the ¡immediate ¡

social ¡context ¡of ¡the ¡user ¡

– Examples: ¡ ¡

• “My ¡parents ¡discovered ¡I’m ¡gay” ¡
• “My ¡boss ¡found ¡out ¡that ¡I ¡hate ¡him” ¡
• “My ¡friends ¡saw ¡my ¡naked ¡pictures ¡OMG!” ¡
• Self-­‑presentaBon ¡and ¡idenBty ¡construcBon ¡towards ¡friends, ¡family, ¡colleagues ¡

– ParBcularly ¡relevant ¡in ¡social ¡media ¡applicaBons ¡ ¡ – Tension ¡between ¡privacy ¡and ¡publicity ¡

• Decision ¡making: ¡cogniBve ¡overload, ¡bounded ¡raBonality, ¡immediate ¡graBficaBon, ¡

hyperbolic ¡discounBng, ¡behavioral ¡biases ¡

• Who ¡defines ¡the ¡privacy ¡problem: ¡

– Users ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 3 ¡

“Social ¡privacy”: ¡Goals ¡

• Meet ¡privacy ¡expecta/ons: ¡system ¡behaves ¡as ¡expected ¡by ¡the ¡

user: ¡ ¡

– “don’t ¡surprise ¡the ¡user!” ¡

• Make ¡privacy ¡controls ¡(e.g., ¡se`ngs) ¡visible ¡and ¡easy ¡to ¡use ¡
• Assist ¡users ¡in ¡privacy-­‑relevant ¡decision ¡making: ¡ ¡

– users ¡can ¡predict ¡the ¡outcomes ¡of ¡their ¡acBons, ¡such ¡that ¡they ¡do ¡not ¡ regret ¡their ¡acBons ¡aber ¡the ¡fact ¡

• Help ¡users ¡develop ¡appropriate ¡privacy ¡prac/ces ¡ ¡

– e.g., ¡eBqueee: ¡use ¡“Bcc:” ¡instead ¡of ¡“Cc:” ¡when ¡sending ¡email ¡to ¡a ¡ large ¡number ¡of ¡people ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 4 ¡

“Social ¡privacy”: ¡Examples ¡

• Appropriate ¡defaults ¡

– “only ¡friends” ¡

• Usable ¡privacy ¡se`ngs, ¡tools ¡for ¡audience ¡segregaBon ¡ ¡

– automated ¡grouping ¡of ¡friends ¡

• Contextual ¡feedback ¡mechanisms ¡ ¡

– “how ¡others ¡see ¡my ¡profile” ¡

• Privacy ¡nudges ¡ ¡

– Bmer ¡nudge, ¡audience ¡visualizaBon ¡nudge, ¡content ¡analysis ¡ nudge ¡

5 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

Social ¡privacy ¡technologies: ¡challenges ¡and ¡ limitaBons ¡

• Focus ¡on ¡voliBonal ¡acBons ¡(e.g., ¡user-­‑generated ¡content) ¡

– Concerns ¡relate ¡to ¡harms ¡that ¡are ¡direct ¡consequences ¡of ¡user ¡acBons ¡ – Typically ¡leaving ¡out ¡implicit ¡data, ¡more ¡abstract ¡privacy ¡risks ¡ ¡

• Focus ¡on ¡the ¡front-­‑end ¡

– Making ¡abstracBon ¡of: ¡how ¡the ¡back-­‑end ¡is ¡implemented, ¡what ¡informaBon ¡is ¡disclosed ¡to ¡the ¡ service ¡provider, ¡how ¡it ¡can ¡be ¡(stealthily) ¡used ¡by ¡the ¡provider ¡

• Research ¡methodology: ¡user ¡studies ¡ ¡

– Mostly ¡conducted ¡in ¡Europe ¡and ¡North ¡America ¡ – Focus ¡on ¡the ¡“average ¡consumer” ¡ – Limited ¡by ¡users’ ¡understanding ¡and ¡percepBon ¡of ¡the ¡system ¡

• Focus ¡on ¡“privacy ¡expectaBons” ¡

– Slippery ¡slope ¡if ¡expectaBons ¡erode ¡

• Example: ¡prisoners ¡in ¡the ¡PanopBcon ¡have ¡no ¡expectaBon ¡of ¡privacy, ¡thus, ¡the ¡system ¡design ¡perfectly ¡

meets ¡their ¡privacy ¡expectaBons ¡

• Paradox ¡of ¡control ¡(affects ¡all ¡types ¡of ¡privacy ¡technologies) ¡
• IncenBves ¡for ¡deployment: ¡strong ¡

– Aligned ¡with ¡industry’s ¡interests: ¡make ¡users ¡comfortable ¡with ¡sharing ¡informaBon ¡in ¡their ¡ systems ¡ ¡

6 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

“InsBtuBonal ¡privacy”: ¡Privacy ¡concerns ¡

• Data ¡collecBon ¡without ¡user ¡awareness ¡or ¡informed ¡consent ¡
• Use ¡of ¡data ¡for ¡illegiBmate ¡purposes ¡
• Data ¡security: ¡

– InformaBon ¡becoming ¡public ¡(or ¡widely ¡available ¡to ¡third ¡parBes) ¡ – Safety, ¡protecBon ¡from ¡crime: ¡idenBty ¡theb, ¡stalking, ¡etc. ¡

• Data ¡correctness, ¡integrity, ¡deleBon ¡
• Who ¡defines ¡the ¡privacy ¡problem: ¡

– LegislaBon, ¡organizaBons ¡(through ¡policies) ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 7 ¡

“InsBtuBonal ¡privacy”: ¡Goals ¡

• Ensure ¡compliance ¡with ¡data ¡protecBon ¡

principles: ¡ ¡

– informed ¡consent, ¡purpose ¡limitaBon, ¡data ¡ minimizaBon, ¡data ¡security ¡obligaBons, ¡subject ¡access ¡ rights ¡

• Data ¡security: ¡ ¡

– prevent ¡(or ¡miBgate ¡the ¡consequences ¡of) ¡data ¡ breaches ¡

• Auditability ¡and ¡accountability ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 8 ¡

“InsBtuBonal ¡privacy”: ¡Examples ¡

• appropriate ¡defaults ¡and ¡privacy ¡controls ¡ ¡

– again, ¡but ¡here ¡towards ¡organizaBons ¡instead ¡of ¡peers ¡

• tools ¡to ¡make ¡privacy ¡policies ¡easier ¡to ¡understand ¡and ¡

negoBate ¡ ¡

– P3P, ¡DNT ¡

• tools ¡help ¡organizaBons ¡define ¡and ¡enforce ¡access ¡

control ¡policies ¡ ¡

– purpose-­‑based ¡access ¡control ¡

• audiBng ¡systems ¡
• database ¡privacy ¡technologies ¡ ¡

– data ¡anonymizaBon ¡and ¡differenBal ¡privacy ¡techniques ¡

9 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

InsBtuBonal ¡privacy ¡technologies: ¡challenges ¡ and ¡limitaBons ¡

• Assumes ¡the ¡collecBon ¡and ¡processing ¡of ¡personal ¡informaBon ¡by ¡organizaBons ¡is ¡

good ¡and ¡necessary ¡ ¡

• The ¡organizaBon ¡is ¡(semi-­‑)trusted ¡to ¡be ¡honest, ¡competent, ¡and ¡act ¡in ¡the ¡best ¡

interest ¡of ¡the ¡user ¡ ¡

– Reliance ¡on ¡the ¡legal ¡system ¡to ¡punish ¡lack ¡of ¡compliance ¡ – No ¡(technical) ¡protecBon ¡guarantees ¡towards ¡organizaBons ¡that ¡want ¡to ¡violate ¡user ¡privacy ¡ by ¡stealthily ¡abusing ¡the ¡data ¡that ¡they ¡hold ¡

• Focus ¡on ¡limiBng ¡(mis)use ¡of ¡personal ¡data, ¡rather ¡than ¡collecBon ¡

– In ¡spite ¡of ¡data ¡minimizaBon ¡principles ¡in ¡data ¡protecBon, ¡it ¡is ¡easy ¡to ¡jusBfy ¡mass ¡collecBon ¡ and/or ¡obtain ¡consent ¡for ¡it: ¡does ¡not ¡preempt ¡the ¡creaBon ¡of ¡large ¡databases ¡ – AudiBng ¡and ¡legal ¡compliance ¡mechanisms ¡may ¡result ¡in ¡more ¡data ¡being ¡recorded ¡

• Who ¡has ¡the ¡power ¡to ¡define ¡and ¡enforce ¡the ¡policies ¡on ¡data ¡use? ¡

– Do ¡whatever ¡we ¡wanted ¡to ¡do ¡with ¡the ¡data ¡while ¡being ¡compliant ¡

• Focus ¡on ¡“personal ¡data” ¡ ¡

– Does ¡not ¡address ¡inferences ¡from ¡anonymized ¡or ¡aggregated ¡data ¡(discriminaBon ¡concerns) ¡

• Limits ¡on ¡transparency ¡posed ¡by ¡IP ¡(proprietary ¡sobware, ¡algorithms, ¡databases) ¡
• IncenBves ¡for ¡deployment: ¡strong ¡

– Legal ¡compliance ¡is ¡a ¡very ¡strong ¡driver ¡ ¡

10 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

AnB-­‑surveillance ¡technologies ¡(PETs): ¡ Privacy ¡concerns ¡

• Data ¡disclosure ¡by ¡default ¡through ¡the ¡use ¡of ¡the ¡ICT ¡infrastructure ¡
• Threat ¡model: ¡ ¡

– surveillance ¡by ¡(possibly ¡colluding) ¡service ¡providers ¡and ¡governments ¡ ¡ – not ¡unreasonable ¡given ¡recent ¡revelaBons. ¡ ¡

• Censorship ¡by ¡service ¡providers ¡and ¡governments ¡

– protecBon ¡of ¡the ¡public ¡sphere ¡

• RelaBonship ¡to ¡other ¡democraBc ¡values: ¡

– ProtecBon ¡of ¡dissent, ¡free ¡speech, ¡freedom ¡of ¡associaBon, ¡freedom ¡from ¡ government ¡intrusion, ¡protecBon ¡of ¡the ¡democraBc ¡system ¡itself ¡(danger ¡of ¡ moving ¡towards ¡a ¡totalitarian ¡system ¡through ¡mass ¡surveillance) ¡

• Who ¡defines ¡the ¡privacy ¡problem: ¡

– Security ¡experts ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 11 ¡

AnB-­‑surveillance ¡technologies ¡(PETs): ¡Goals ¡

• Prevent/minimize ¡default ¡disclosure ¡of ¡personal ¡

informaBon ¡to ¡service ¡providers ¡and ¡other ¡third ¡parBes: ¡

– Only ¡informaBon ¡explicitly ¡disclosed ¡is ¡made ¡available ¡to ¡ intended ¡recipients ¡(confidenBality) ¡ – This ¡includes ¡user-­‑generated ¡content ¡and ¡implicit ¡data ¡ ¡ – Minimize ¡the ¡need ¡to ¡trust ¡others ¡with ¡appropriately ¡handling ¡ data ¡

• Distribute ¡trust ¡by ¡avoiding ¡single ¡points ¡of ¡failure ¡
• Circumvent ¡censorship ¡

– Availability ¡properBes ¡ – CircumvenBon ¡might ¡need ¡to ¡be ¡undetectable ¡(hard!) ¡ ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 12 ¡

AnB-­‑surveillance ¡technologies ¡(PETs): ¡ Examples ¡

• end-­‑to-­‑end ¡encrypBon ¡ ¡

– PGP, ¡OTR ¡

• systems ¡for ¡anonymous ¡communicaBons ¡ ¡

– ¡Tor ¡

• advanced ¡crypto ¡protocols: ¡ ¡

– private ¡informaBon ¡retrieval, ¡oblivious ¡transfer ¡ – anonymous ¡authenBcaBon ¡ – privacy-­‑preserving ¡smart ¡metering ¡

• obfuscaBon ¡approaches: ¡

– TMN: ¡degrade ¡data ¡quality ¡with ¡noise ¡

• Technologies ¡that ¡expose ¡surveillance ¡(transparency) ¡

– FPDetecBve ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 13 ¡

AnB-­‑surveillance ¡technologies ¡(PETs): ¡challenges ¡ and ¡limitaBons ¡

• Focus ¡on ¡(prevenBng) ¡data ¡disclosure ¡

– No ¡protecBon ¡for ¡informaBon ¡a;er ¡disclosure ¡

• Making ¡secure ¡design ¡and ¡implementaBons ¡is ¡hard ¡

– AcBve ¡research ¡ – Importance ¡of ¡public ¡algorithms ¡and ¡open ¡source: ¡“it ¡takes ¡a ¡village ¡to ¡keep ¡systems ¡secure” ¡ – Security ¡of ¡end-­‑devices: ¡big ¡issue ¡

• Research ¡methodology: ¡

– Narrow ¡privacy ¡definiBons ¡ – Driven ¡by ¡threat ¡(adversarial) ¡models ¡ – Explicit ¡(someBmes ¡implicit) ¡assumpBons ¡that ¡need ¡to ¡hold ¡to ¡guarantee ¡privacy ¡properBes ¡ (mathemaBcal, ¡behavioral, ¡available ¡buildling ¡blocks, ¡trust ¡assumpBons) ¡

• Making ¡security ¡usable ¡is ¡hard ¡

– Target: ¡global ¡user ¡base, ¡or ¡users ¡with ¡stronger ¡privacy ¡concerns ¡(e.g., ¡acBvists, ¡journalists)? ¡

• IncenBves ¡for ¡deployment: ¡weak ¡at ¡best ¡

– Companies ¡don’t ¡want ¡this: ¡less ¡data ¡is ¡bad ¡for ¡business ¡ – Governments ¡ ¡neither: ¡naBonal ¡security, ¡law ¡enforcement, ¡social ¡control, ¡detecBon ¡of ¡fraud ¡

14 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

PETs ¡implemented ¡by ¡the ¡Service ¡Provider ¡

• Example: ¡advanced ¡crypto ¡protocols: ¡ ¡

– idenBty ¡management ¡systems, ¡privacy-­‑preserving ¡smart ¡ metering, ¡road ¡tolling, ¡etc. ¡

• Requires ¡ ¡

– Designing ¡the ¡system ¡with ¡the ¡PET ¡integrated ¡in ¡it ¡ – Significant ¡investment ¡ – ExperBse ¡in ¡implemenBng ¡and ¡integraBng ¡the ¡PET ¡ ¡ – Availability ¡of ¡sobware ¡for ¡review ¡(trust ¡in ¡the ¡ implementaBon) ¡ – Interest/incenBves ¡from ¡the ¡SP ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 15 ¡

client ¡ SP ¡ PET ¡ PET ¡

Unilateral ¡PETs ¡

• Example: ¡encrypBon ¡plug-­‑ins ¡(e.g., ¡for ¡gmail, ¡facebook), ¡OTR ¡for ¡instant ¡

messaging, ¡obfuscaBon ¡tools ¡(e.g., ¡TMN), ¡anonymizing ¡proxies ¡

• SPs ¡do ¡not ¡need ¡to ¡invest ¡or ¡modify ¡their ¡services, ¡PET ¡only ¡at ¡client-­‑side ¡

– Oben ¡implemented ¡as ¡(research) ¡open-­‑source ¡projects: ¡experBse ¡and ¡review ¡ required! ¡

• Requires: ¡

– That ¡the ¡SP ¡“tolerates” ¡the ¡use ¡of ¡the ¡PET ¡ ¡

• In ¡the ¡terms ¡and ¡condiBons ¡
• In ¡pracBce: ¡e.g., ¡that ¡it ¡does ¡not ¡take ¡acBon ¡to ¡make ¡the ¡PET ¡unusable ¡(plausible ¡

deniability) ¡

– … ¡or ¡that ¡the ¡PET ¡is ¡made ¡undetectable: ¡possible? ¡desirable? ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 16 ¡

client ¡ SP ¡ service ¡ PET ¡

CollaboraBve ¡PETs ¡

• Example: ¡anonymous ¡communicaBons ¡networks ¡(e.g., ¡Tor ¡hidden ¡services), ¡distributed ¡social ¡

networks, ¡community-­‑based ¡systems ¡

• The ¡service ¡itself ¡is ¡implemented ¡in ¡a ¡P2P ¡fashion, ¡oben ¡as ¡a ¡(research) ¡open-­‑source ¡project ¡
• Commercial ¡SPs ¡sBll ¡involved: ¡communicaBons ¡infrastructure ¡

– Possibility ¡to ¡make ¡PET ¡unusable ¡by ¡blocking ¡its ¡communicaBons ¡ – Governments ¡also ¡someBmes ¡interested ¡in ¡blocking ¡these ¡PETs ¡ ¡

• Requires ¡

– An ¡engaged ¡community ¡of ¡users, ¡security ¡experBse, ¡and ¡sobware ¡review ¡ – Tradeoffs ¡performance/cost/security, ¡parBcularly ¡to ¡protect ¡against ¡traffic ¡analysis ¡ – ProtecBon ¡from ¡being ¡outlawed ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 17 ¡

client ¡ PET ¡ SP ¡ client ¡ PET ¡ client ¡ PET ¡ service ¡

comm ¡ infrastructure ¡

IdenBty ¡Management ¡Systems ¡

• What ¡is ¡idenBty ¡management? ¡ ¡

– Many ¡possible ¡meanings ¡ – Complex ¡systems ¡meant ¡to ¡support ¡a ¡broad ¡variety ¡of ¡applicaBons ¡

• Elements ¡belonging ¡to ¡the ¡various ¡paradigms: ¡

– AnB-­‑surveillance: ¡minimize ¡disclosure ¡of ¡data, ¡narrow ¡privacy ¡ definiBons, ¡hard ¡guarantees ¡ – InsBtuBonal ¡privacy: ¡managing ¡interacBons ¡with ¡organizaBons ¡

• Who ¡defines ¡/ ¡verifies ¡the ¡policies ¡that ¡determine ¡which ¡aeributes ¡should ¡be ¡

disclosed ¡in ¡a ¡given ¡context? ¡ ¡

– Social ¡privacy: ¡managing ¡idenBty ¡towards ¡other ¡peers ¡

• Increased ¡idenBty ¡assurances ¡may ¡facilitate ¡surveillance ¡(in ¡spite ¡of ¡

data ¡minimizaBon) ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 18 ¡

Conclusions ¡& ¡Refs ¡

• Diverse ¡landscape ¡of ¡privacy ¡technologies, ¡in ¡terms ¡of ¡goals, ¡limitaBons, ¡

and ¡assumpBons ¡(trust, ¡dependencies ¡on ¡technology, ¡law, ¡social ¡norms ¡or ¡ third ¡parBes) ¡

– hard ¡to ¡approach ¡for ¡outsiders ¡(and ¡even ¡for ¡insiders!) ¡

• Importance ¡of ¡understanding ¡embedded ¡concepts ¡of ¡privacy ¡and ¡who ¡gets ¡

to ¡define ¡those ¡concepts ¡and ¡fill ¡them ¡with ¡meaning! ¡

• How ¡to ¡integrate ¡the ¡different ¡technological ¡approaches? ¡ ¡
• IncenBves!! ¡ParBcularly, ¡how ¡to ¡incenBvize ¡and ¡support ¡the ¡deployment ¡of ¡

anB-­‑surveillance ¡technologies? ¡

• Recent ¡arBcles: ¡

– Two ¡tales ¡of ¡privacy ¡in ¡online ¡social ¡networks. ¡S. ¡Gürses, ¡C. ¡Diaz. ¡In ¡IEEE ¡Security ¡& ¡ Privacy ¡Magazine ¡Vol. ¡11(3):29-­‑37, ¡2013. ¡ – Hero ¡or ¡Villain: ¡The ¡Data ¡Controller ¡in ¡Privacy ¡Law ¡and ¡Technologies. ¡C. ¡Diaz, ¡O. ¡Tene, ¡S. ¡ Gürses. ¡Ohio ¡State ¡Law ¡Journal ¡(in ¡print), ¡2013. ¡

• ArBcles ¡and ¡contact ¡info: ¡hep://homes.esat.kuleuven.be/~cdiaz/ ¡ ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 19 ¡