Personal Data and Ci/zenship The Technical perspec/ve - - PowerPoint PPT Presentation

Personal ¡Data ¡and ¡Ci/zenship ¡ ¡

The ¡Technical ¡perspec/ve ¡

Claudia ¡Diaz ¡

KU ¡Leuven ¡– ¡COSIC ¡

Digital ¡Enlightenment ¡Forum ¡ ¡

September ¡18, ¡2013 ¡

1 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

About ¡this ¡talk ¡

• Review ¡of ¡different ¡families ¡of ¡privacy ¡

technologies ¡focusing ¡on: ¡

– the ¡concept ¡of ¡“privacy” ¡they ¡embed ¡ – their ¡goals ¡ – their ¡assump/ons ¡ – their ¡challenges ¡and ¡limita/ons ¡ – incen/ves/obstacles ¡for ¡deployment ¡ ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 2 ¡

Concepts ¡of ¡“privacy” ¡in ¡technology ¡(1): ¡ ¡ “Social ¡privacy” ¡

• Privacy ¡concerns: ¡ ¡

– Technology ¡media/on ¡of ¡social ¡interac/ons ¡leading ¡to ¡problems ¡in ¡the ¡immediate ¡social ¡context ¡of ¡the ¡user ¡

• Examples: ¡“My ¡parents ¡discovered ¡I’m ¡gay”, ¡“My ¡boss ¡found ¡out ¡that ¡I ¡despise ¡him”, ¡“My ¡friends ¡saw ¡my ¡naked ¡pictures!” ¡

– Self-­‑presenta/on ¡and ¡iden/ty ¡construc/on ¡towards ¡friends, ¡family, ¡colleagues ¡ – Par/cularly ¡relevant ¡in ¡social ¡media ¡applica/ons: ¡tension ¡between ¡privacy ¡and ¡publicity ¡ – Decision ¡making: ¡cogni/ve ¡overload, ¡bounded ¡ra/onality, ¡immediate ¡gra/fica/on, ¡hyperbolic ¡discoun/ng, ¡ behavioral ¡biases ¡

• Goals: ¡ ¡

– Meet ¡privacy ¡expecta0ons: ¡system ¡behaves ¡as ¡expected ¡by ¡the ¡user: ¡“don’t ¡surprise ¡the ¡user!” ¡ – Make ¡privacy ¡controls ¡more ¡visible ¡and ¡understandable ¡ – Assist ¡users ¡in ¡privacy-­‑relevant ¡decision ¡making: ¡users ¡can ¡predict ¡the ¡outcomes ¡of ¡their ¡ac/ons, ¡such ¡that ¡ they ¡do ¡not ¡regret ¡their ¡ac/ons ¡a]er ¡the ¡fact ¡ – Help ¡users ¡develop ¡appropriate ¡privacy ¡prac0ces ¡(e.g., ¡e/queae) ¡

• Examples: ¡ ¡

– appropriate ¡defaults ¡ – usable ¡privacy ¡sebngs, ¡tools ¡for ¡audience ¡segrega/on ¡(e.g., ¡automated ¡grouping ¡of ¡friends) ¡ – contextual ¡feedback ¡mechanisms ¡(e.g., ¡“how ¡others ¡see ¡my ¡profile”) ¡ ¡ ¡ – privacy ¡nudges ¡(e.g., ¡/mer ¡nudge, ¡content ¡analysis ¡nudge) ¡

3 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

Social ¡privacy ¡technologies: ¡challenges ¡and ¡ limita/ons ¡

• Focus ¡on ¡voli/onal ¡ac/ons ¡(e.g., ¡user-­‑generated ¡content) ¡

– Concerns ¡relate ¡to ¡harms ¡that ¡are ¡direct ¡consequences ¡of ¡user ¡ac/ons ¡ – Typically ¡leaving ¡out ¡implicit ¡data, ¡more ¡abstract ¡privacy ¡risks ¡ ¡

• Focus ¡on ¡the ¡front-­‑end ¡

– Making ¡abstrac/on ¡of ¡how ¡the ¡back-­‑end ¡is ¡implemented, ¡what ¡informa/on ¡is ¡disclosed ¡to ¡the ¡ service ¡provider, ¡how ¡it ¡can ¡be ¡(stealthily) ¡used ¡by ¡the ¡provider ¡

• Research ¡methodology: ¡user ¡studies ¡ ¡

– Mostly ¡conducted ¡in ¡Europe ¡and ¡North ¡America ¡ – Focus ¡on ¡the ¡“average ¡consumer” ¡ – Limited ¡by ¡users’ ¡understanding ¡and ¡percep/on ¡of ¡the ¡system ¡

• Focus ¡on ¡“privacy ¡expecta/ons” ¡

– Slippery ¡slope ¡if ¡expecta/ons ¡erode ¡

• Example: ¡prisoners ¡in ¡the ¡Panop/con ¡have ¡no ¡expecta/on ¡of ¡privacy, ¡thus, ¡the ¡system ¡design ¡perfectly ¡

meets ¡their ¡privacy ¡expecta/ons ¡

• Paradox ¡of ¡control ¡(affects ¡all ¡types ¡of ¡privacy ¡technologies) ¡
• Incen/ves ¡for ¡deployment: ¡strong ¡

– Aligned ¡with ¡industry’s ¡interests: ¡make ¡users ¡comfortable ¡with ¡sharing ¡informa/on ¡in ¡their ¡ systems ¡ ¡

4 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

Concepts ¡of ¡“privacy” ¡in ¡technology ¡(2): ¡ ¡ “Ins9tu9onal ¡privacy” ¡

• Privacy ¡concerns ¡

– Data ¡collec/on ¡without ¡user ¡awareness ¡or ¡informed ¡consent ¡ – Use ¡of ¡data ¡for ¡illegi/mate ¡purposes ¡ – Data ¡security: ¡

• Informa/on ¡becoming ¡public ¡(or ¡widely ¡available ¡to ¡third ¡par/es) ¡
• Safety, ¡protec/on ¡from ¡crime: ¡iden/ty ¡the], ¡stalking, ¡etc. ¡

– Data ¡correctness, ¡integrity, ¡dele/on ¡

• Goals ¡

– Ensure ¡compliance ¡with ¡data ¡protec/on ¡principles: ¡informed ¡consent, ¡purpose ¡limita/on, ¡data ¡security ¡

• bliga/ons, ¡subject ¡access ¡rights ¡

– Data ¡security: ¡prevent ¡(or ¡mi/gate ¡the ¡consequences ¡of) ¡data ¡breaches ¡ – Auditability ¡and ¡accountability ¡

• Examples: ¡ ¡

– appropriate ¡defaults ¡and ¡privacy ¡controls ¡(again, ¡but ¡here ¡towards ¡organiza/ons ¡instead ¡of ¡peers) ¡ – tools ¡to ¡make ¡privacy ¡policies ¡easy ¡to ¡understand ¡and ¡nego/ate ¡(e.g., ¡P3P) ¡ ¡ – tools ¡help ¡organiza/ons ¡define ¡and ¡enforce ¡access ¡control ¡policies ¡(e.g., ¡purpose-­‑based ¡access ¡control) ¡ – audi/ng ¡systems ¡ – database ¡privacy ¡technologies ¡(anonymiza/on ¡and ¡differen/al ¡privacy ¡techniques) ¡

5 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

Ins/tu/onal ¡privacy ¡technologies: ¡challenges ¡ and ¡limita/ons ¡

• Assumes ¡the ¡collec/on ¡and ¡processing ¡of ¡personal ¡informa/on ¡by ¡organiza/ons ¡is ¡good ¡and ¡

necessary ¡ ¡

• The ¡organiza/on ¡is ¡(semi-­‑)trusted ¡to ¡be ¡honest, ¡competent, ¡and ¡act ¡in ¡the ¡best ¡interest ¡of ¡the ¡user ¡ ¡

– Reliance ¡on ¡the ¡legal ¡system ¡to ¡punish ¡lack ¡of ¡compliance ¡

• Can ¡be ¡bypassed: ¡e.g., ¡recent ¡study ¡on ¡device ¡fingerprin9ng ¡– ¡bypasses ¡“cookie” ¡direc/ve, ¡DNT ¡

– No ¡(technical) ¡protec/on ¡guarantees ¡towards ¡organiza/ons ¡that ¡want ¡to ¡violate ¡user ¡privacy ¡by ¡stealthily ¡ abusing ¡the ¡data ¡that ¡they ¡hold ¡

• Focus ¡on ¡limi/ng ¡(mis)use ¡of ¡personal ¡data, ¡rather ¡than ¡collec/on ¡

– In ¡spite ¡of ¡data ¡minimiza/on ¡principles ¡in ¡data ¡protec/on, ¡it ¡is ¡easy ¡to ¡jus/fy ¡mass ¡collec/on ¡and/or ¡obtain ¡ consent ¡for ¡it ¡ – Audi/ng ¡and ¡legal ¡compliance ¡mechanisms ¡may ¡result ¡in ¡more ¡data ¡being ¡recorded ¡ – Does ¡not ¡preempt ¡the ¡crea/on ¡of ¡large ¡databases ¡

• Who ¡has ¡the ¡power ¡to ¡define ¡and ¡enforce ¡the ¡policies ¡on ¡data ¡use? ¡

– Do ¡whatever ¡we ¡wanted ¡to ¡do ¡with ¡the ¡data ¡while ¡being ¡compliant ¡

• Focus ¡on ¡“personal ¡data” ¡ ¡

– Does ¡not ¡address ¡inferences ¡from ¡anonymized ¡or ¡aggregated ¡data ¡(discrimina/on ¡concerns) ¡

• Limits ¡on ¡transparency ¡posed ¡by ¡IP ¡(proprietary ¡so]ware, ¡algorithms, ¡databases) ¡
• Incen/ves ¡for ¡deployment: ¡strong ¡

– Legal ¡compliance ¡is ¡a ¡very ¡strong ¡driver ¡ ¡

6 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

Concepts ¡of ¡“privacy” ¡in ¡technology ¡(3): ¡ ¡ “freedom ¡from ¡surveillance” ¡

• Privacy ¡concerns: ¡ ¡

– Data ¡disclosure ¡through ¡the ¡use ¡of ¡the ¡ICT ¡infrastructure ¡ – NSA ¡threat ¡model: ¡surveillance ¡by ¡(possibly ¡colluding) ¡service ¡providers ¡and ¡governments: ¡not ¡unreasonable ¡ given ¡recent ¡revela/ons. ¡ ¡ – Censorship ¡by ¡service ¡providers ¡and ¡governments ¡(protec/on ¡of ¡the ¡public ¡sphere) ¡ – Threats ¡to ¡“enlightenment ¡ideals”: ¡Protec/on ¡of ¡dissent, ¡free ¡speech, ¡freedom ¡of ¡associa/on, ¡freedom ¡from ¡ government ¡intrusion, ¡protec/on ¡of ¡democra/c ¡system ¡(danger ¡of ¡totalitarianism ¡through ¡mass ¡surveillance) ¡

• Goals: ¡

– Prevent/minimize ¡default ¡disclosure ¡of ¡personal ¡informa/on ¡to ¡service ¡providers ¡and ¡other ¡third ¡par/es: ¡

• Only ¡informa/on ¡explicitly ¡disclosed ¡is ¡made ¡available ¡to ¡intended ¡recipients ¡(confiden/ality) ¡
• This ¡includes ¡user-­‑generated ¡content ¡and ¡implicit ¡data ¡ ¡
• Minimize ¡the ¡need ¡to ¡trust ¡others ¡with ¡appropriately ¡handling ¡data, ¡distribute ¡trust ¡by ¡avoiding ¡single ¡points ¡of ¡failure ¡

– Circumvent ¡censorship ¡

• Availability ¡proper/es ¡
• Examples: ¡ ¡

– end-­‑to-­‑end ¡encryp/on ¡(eg, ¡PGP) ¡ – systems ¡for ¡anonymous ¡communica/ons ¡(e.g., ¡Tor) ¡ – advanced ¡crypto ¡protocols: ¡private ¡informa/on ¡retrieval, ¡anonymous ¡authen/ca/on, ¡privacy-­‑preserving ¡ smart ¡metering ¡ –

• bfusca/on ¡approaches ¡(e.g., ¡TMN): ¡degrade ¡data ¡quality ¡with ¡noise ¡ ¡

7 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

An/-­‑surveillance ¡technologies ¡(PETs): ¡challenges ¡ and ¡limita/ons ¡

• Focus ¡on ¡(preven/ng) ¡data ¡disclosure ¡

– No ¡protec/on ¡for ¡informa/on ¡a>er ¡disclosure ¡

• Making ¡secure ¡design ¡and ¡implementa/ons ¡is ¡hard ¡

– Ac/ve ¡research ¡ – Importance ¡of ¡public ¡algorithms ¡and ¡open ¡source: ¡“it ¡takes ¡a ¡village ¡to ¡keep ¡systems ¡secure” ¡ – Security ¡of ¡end-­‑devices: ¡big ¡issue ¡

• Research ¡methodology: ¡

– Narrow ¡privacy ¡defini/ons ¡ – Driven ¡by ¡threat ¡(adversarial) ¡models ¡ – Explicit ¡(some/mes ¡implicit) ¡assump/ons ¡that ¡need ¡to ¡hold ¡to ¡guarantee ¡privacy ¡proper/es ¡ (mathema/cal, ¡behavioral, ¡or ¡trust ¡assump/ons) ¡

• Making ¡security ¡usable ¡is ¡hard ¡

– Target: ¡global ¡user ¡base, ¡or ¡users ¡with ¡stronger ¡privacy ¡concerns ¡(e.g., ¡ac/vists, ¡journalists)? ¡

• Incen/ves ¡for ¡deployment: ¡weak ¡at ¡best ¡

– Companies ¡don’t ¡want ¡this: ¡less ¡data ¡is ¡bad ¡for ¡business ¡ – Governments ¡ ¡neither: ¡na/onal ¡security, ¡law ¡enforcement, ¡social ¡control, ¡detec/on ¡of ¡fraud ¡ – Research ¡on ¡certain ¡technologies ¡not ¡well ¡funded ¡in ¡Europe ¡(e.g., ¡anonymous ¡ communica/ons) ¡

• Tor: ¡$2M ¡annual ¡budget ¡(60% ¡public ¡funding), ¡dozens ¡of ¡contributors, ¡scru/ny ¡from ¡the ¡research ¡

community ¡ ¡

8 ¡ Claudia ¡Diaz ¡(KU ¡Leuven) ¡

PETs ¡implemented ¡by ¡the ¡Service ¡Provider ¡

• Example: ¡advanced ¡crypto ¡protocols: ¡ ¡

– iden/ty ¡management ¡systems, ¡privacy-­‑preserving ¡smart ¡ metering, ¡road ¡tolling, ¡etc. ¡

• Requires ¡ ¡

– Designing ¡the ¡system ¡with ¡the ¡PET ¡integrated ¡in ¡it ¡ – Significant ¡investment ¡ – Exper/se ¡in ¡implemen/ng ¡and ¡integra/ng ¡the ¡PET ¡ ¡ – Availability ¡of ¡so]ware ¡for ¡review ¡(trust ¡in ¡the ¡ implementa/on) ¡ – Interest/incen/ves ¡from ¡the ¡SP ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 9 ¡

client ¡ SP ¡ PET ¡ PET ¡

Unilateral ¡PETs ¡

• Example: ¡encryp/on ¡plug-­‑ins ¡(e.g., ¡for ¡gmail, ¡facebook), ¡OTR ¡for ¡instant ¡

messaging, ¡obfusca/on ¡tools ¡(e.g., ¡TMN), ¡anonymizing ¡proxies ¡

• SPs ¡do ¡not ¡need ¡to ¡invest ¡or ¡modify ¡their ¡services, ¡PET ¡only ¡at ¡client-­‑side ¡

– O]en ¡implemented ¡as ¡(research) ¡open-­‑source ¡projects: ¡exper/se ¡and ¡review ¡ required! ¡

• Requires: ¡

– That ¡the ¡SP ¡“tolerates” ¡the ¡use ¡of ¡the ¡PET ¡ ¡

• In ¡the ¡terms ¡and ¡condi/ons ¡
• In ¡prac/ce: ¡e.g., ¡that ¡it ¡does ¡not ¡take ¡ac/on ¡to ¡make ¡the ¡PET ¡unusable ¡(plausible ¡

deniability) ¡

– … ¡or ¡that ¡the ¡PET ¡is ¡made ¡undetectable: ¡possible? ¡desirable? ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 10 ¡

client ¡ SP ¡ service ¡ PET ¡

Collabora/ve ¡PETs ¡

• Example: ¡anonymous ¡communica/ons ¡networks ¡(e.g., ¡Tor ¡hidden ¡services), ¡distributed ¡social ¡

networks, ¡community-­‑based ¡systems ¡

• The ¡service ¡itself ¡is ¡implemented ¡in ¡a ¡P2P ¡fashion, ¡o]en ¡as ¡a ¡(research) ¡open-­‑source ¡project ¡
• Commercial ¡SPs ¡s/ll ¡involved: ¡communica/ons ¡infrastructure ¡

– Possibility ¡to ¡make ¡PET ¡unusable ¡by ¡blocking ¡its ¡communica/ons ¡ – Governments ¡also ¡some/mes ¡interested ¡in ¡blocking ¡these ¡PETs ¡ ¡

• Requires ¡

– An ¡engaged ¡community ¡of ¡users, ¡security ¡exper/se, ¡and ¡so]ware ¡review ¡ – Tradeoffs ¡performance/cost/security, ¡par/cularly ¡to ¡protect ¡against ¡traffic ¡analysis ¡ – Protec/on ¡from ¡being ¡outlawed ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 11 ¡

client ¡ PET ¡ SP ¡ client ¡ PET ¡ client ¡ PET ¡ service ¡

comm ¡ infrastructure ¡

Conclusions ¡& ¡Refs ¡

• Diverse ¡landscape ¡of ¡privacy ¡technologies, ¡in ¡terms ¡of ¡goals, ¡limita/ons, ¡and ¡

assump/ons ¡(trust, ¡dependencies ¡on ¡technology, ¡law, ¡social ¡norms ¡or ¡third ¡par/es) ¡

– hard ¡to ¡approach ¡for ¡outsiders ¡(and ¡even ¡for ¡insiders!) ¡

• Importance ¡of ¡understanding ¡embedded ¡concepts ¡of ¡privacy ¡and ¡who ¡gets ¡to ¡

define ¡those ¡concepts ¡and ¡fill ¡them ¡with ¡meaning! ¡

• How ¡to ¡integrate ¡the ¡different ¡technological ¡approaches? ¡ ¡
• Incen/ves!! ¡Par/cularly, ¡how ¡to ¡incen/vize ¡and ¡support ¡the ¡deployment ¡of ¡an/-­‑

surveillance ¡technologies? ¡

• Recent ¡ar/cles: ¡

– Two ¡tales ¡of ¡privacy ¡in ¡online ¡social ¡networks. ¡S. ¡Gürses, ¡C. ¡Diaz. ¡In ¡IEEE ¡Security ¡& ¡Privacy ¡Magazine ¡

• Vol. ¡11(3):29-­‑37, ¡2013. ¡

– Hero ¡or ¡Villain: ¡The ¡Data ¡Controller ¡in ¡Privacy ¡Law ¡and ¡Technologies. ¡C. ¡Diaz, ¡O. ¡Tene, ¡S. ¡Gürses. ¡ Under ¡submission ¡to ¡the ¡Ohio ¡State ¡Law ¡Journal, ¡2013. ¡ – FPDetec9ve: ¡Dus9ng ¡the ¡web ¡for ¡fingerprinters. ¡G. ¡Acar, ¡M. ¡Juarez, ¡N. ¡Nikiforakis, ¡C. ¡Diaz, ¡S. ¡Gürses, ¡F. ¡ Piessens, ¡B. ¡Preneel. ¡ACM ¡Conference ¡on ¡Computer ¡and ¡Communica/ons ¡Security ¡(CCS), ¡2013. ¡ – Content ¡also ¡based ¡on ¡ongoing ¡work ¡with ¡Seda ¡Gürses ¡on ¡CS ¡Privacy ¡Research ¡Paradigms ¡

• Ar/cles ¡and ¡contact ¡info: ¡hap://homes.esat.kuleuven.be/~cdiaz/ ¡ ¡

Claudia ¡Diaz ¡(KU ¡Leuven) ¡ 12 ¡