Matrix Mechanism and Data Dependent algorithms CompSci - - PowerPoint PPT Presentation

Matrix ¡Mechanism ¡and ¡Data ¡Dependent ¡ algorithms ¡

CompSci ¡590.03 ¡ Instructor: ¡Ashwin ¡Machanavajjhala ¡

1 ¡ Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡

Recap: ¡Constrained ¡Inference ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 2 ¡

Constrained ¡Inference ¡[Hay ¡et ¡al ¡VLDB ¡10] ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 3 ¡

Recap: ¡Query ¡Strategy ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 4 ¡

I

Private ¡ ¡ Data ¡

W ¡ A ¡

Differen.al ¡ Privacy ¡

A(I) ¡ A(I) ¡ W(I) ¡ ~ ¡ ~ ¡

Original ¡Query ¡ ¡ Workload ¡ Strategy ¡Query ¡ ¡ Workload ¡ Noisy ¡Strategy ¡ Answers ¡ Noisy ¡Workload ¡ Answers ¡

This ¡Class ¡

¡

• Query ¡strategy ¡for ¡General ¡Workloads ¡

– Matrix ¡Mechanism ¡ ¡ ¡ ¡ ¡[Li ¡et ¡al ¡PODS ¡10] ¡

• Data ¡Dependent ¡vs ¡Data ¡Independent ¡algorithms ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 5 ¡

Linear ¡Queries ¡

• A ¡set ¡of ¡linear ¡queries ¡can ¡be ¡represented ¡by ¡a ¡matrix ¡
• X ¡= ¡[x1, ¡x2, ¡x3, ¡x4] ¡is ¡a ¡vector ¡ ¡

represenYng ¡the ¡counts ¡of ¡4 ¡values ¡

• H4 ¡X ¡represents ¡the ¡following ¡7 ¡queries ¡

– ¡x1+x2+x3+x4 ¡ – ¡x1+x2 ¡ – ¡x3+x4 ¡ – ¡x1 ¡ – ¡x2 ¡ – ¡x3 ¡ – ¡x4 ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 6 ¡

Example: ¡range ¡queries ¡over ¡spaYal ¡data ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 7 ¡

Sca^er ¡plot ¡of ¡input ¡data ¡ ¡ Input: ¡sensiYve ¡data ¡D ¡

BeijingTaxi ¡dataset[1]: ¡ 4,268,780 ¡records ¡of ¡(lat,lon) ¡ pairs ¡of ¡taxi ¡pickup ¡locaYons ¡ in ¡Beijing, ¡China ¡in ¡1 ¡month. ¡

Input: ¡range ¡query ¡ workload ¡W ¡ Shown ¡is ¡workload ¡of ¡3 ¡ range ¡queries ¡ Task: ¡compute ¡answers ¡to ¡workload ¡W ¡over ¡private ¡input ¡D ¡

Linear ¡Query ¡RepresentaYon ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 8 ¡

• 1. DiscreYze ¡a^ribute ¡domain ¡into ¡cells ¡
• 2. ¡x ¡vector ¡represents ¡the ¡count ¡in ¡each ¡
• cell. ¡ ¡ ¡
• 3. Every ¡query ¡in ¡the ¡workload ¡

represented ¡by ¡1 ¡in ¡the ¡cells ¡that ¡ intersect ¡the ¡query ¡range. ¡ ¡

Baseline ¡Algorithm ¡

• Add ¡Laplace ¡noise ¡to ¡the ¡original ¡counts ¡in ¡x ¡
• Reconstruct ¡the ¡counts ¡using ¡the ¡noisy ¡counts. ¡ ¡
• Query ¡Strategy: ¡ ¡IDENTITY ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 9 ¡

Error ¡analysis ¡

• Domain ¡is ¡single ¡a^ribute, ¡

discreYzed ¡into ¡128 ¡cells ¡

• Baseline ¡simply ¡adds ¡noise ¡

to ¡every ¡cell ¡count ¡

• Incurs ¡high ¡error ¡on ¡large ¡

ranges ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 10 ¡

Error ¡baseline ¡algorithm ¡

• n ¡every ¡range ¡query ¡

Error ¡ Large ¡range ¡ Small ¡range ¡

Other ¡Query ¡Strategies ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 11 ¡

Iden.ty ¡ ¡ Hierarchical ¡ Haar ¡Wavelet ¡

Error ¡comparison ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 12 ¡

Error ¡baseline ¡algorithm ¡

• n ¡every ¡range ¡query ¡

Error ¡

Error ¡tree ¡algorithm ¡

• n ¡every ¡range ¡query ¡

Error ¡

Hierarchy ¡lowers ¡error ¡on ¡large ¡ranges ¡but ¡ incurs ¡slightly ¡higher ¡error ¡for ¡small ¡ranges ¡ ¡

Data ¡transformaYons ¡

• Can ¡think ¡of ¡trees ¡as ¡transform ¡of ¡input ¡
• Can ¡apply ¡other ¡data ¡transformaYons ¡
• General ¡idea: ¡

– Apply ¡transform ¡of ¡data ¡ – Add ¡noise ¡in ¡the ¡transformed ¡space ¡(based ¡on ¡sensiYvity) ¡ – Publish ¡noisy ¡coefficients, ¡or ¡“invert” ¡transform ¡

• Goal: ¡pick ¡a ¡low ¡sensiYvity ¡transform ¡that ¡preserves ¡

good ¡properYes ¡of ¡data ¡

13 ¡

Original ¡ Data ¡ Transform ¡ Coefficients ¡ Noisy ¡ Coefficients ¡ Noise ¡ Private ¡ Data ¡ “Invert” ¡ Credit: ¡Cormode ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡

SensiYvity ¡of ¡a ¡Query ¡Matrix ¡

• How ¡many ¡queries ¡are ¡affected ¡by ¡a ¡change ¡in ¡a ¡single ¡count? ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 14 ¡

Sensi.vity ¡= ¡1 ¡ Sensi.vity ¡= ¡3 ¡ Sensi.vity ¡= ¡3 ¡

Laplace ¡Mechanism ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 15 ¡

Sensi.vity ¡

Noise ¡Vector ¡of ¡ Laplace(1) ¡

Matrix ¡Mechanism ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 16 ¡

Original ¡ Data ¡ Noisy ¡ Representa.on ¡ Reconstructed ¡Data ¡ Final ¡query ¡answer ¡

ReconstrucYon ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 17 ¡

Matrix ¡Mechanism ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 18 ¡

Error ¡analysis ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 19 ¡

Extreme ¡strategies ¡

• Strategy ¡A ¡= ¡In ¡ ¡

– Noisily ¡answer ¡each ¡xi ¡ – Answer ¡queries ¡using ¡noisy ¡counts ¡

• Strategy ¡A ¡= ¡W ¡

– Add ¡noise ¡to ¡all ¡the ¡query ¡answers ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 20 ¡

Good ¡when ¡each ¡ query ¡hits ¡a ¡few ¡

• values. ¡ ¡

Good ¡when ¡ sensiYvity ¡is ¡small ¡ (or ¡each ¡value ¡hits ¡a ¡ small ¡# ¡queries) ¡

Finding ¡the ¡OpYmal ¡Strategy ¡

• Find ¡A ¡that ¡minimizes ¡TotalErrorA(W) ¡

– Reduces ¡to ¡solving ¡a ¡semi-­‑definite ¡program ¡with ¡rank ¡constraints ¡ – O(n6) ¡running ¡Yme. ¡

• ¡See ¡paper ¡for ¡approximaYons ¡and ¡an ¡interesYng ¡discussion ¡on ¡
• geometry. ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 21 ¡

Matrix ¡Mechanism ¡Summary ¡

• Approach ¡

– Use ¡Laplace ¡mechanism ¡to ¡answer ¡batch ¡of ¡queries, ¡each ¡of ¡which ¡is ¡linear ¡ combinaYon ¡of ¡cell ¡counts ¡

• Examples ¡

– Hierarchical: ¡Trees ¡[HRMS10,QYL13], ¡full ¡height ¡quadtree ¡[CPSSY12] ¡ – Haar ¡Wavelet ¡[XWG10] ¡ – Discrete ¡Fourier ¡transform ¡[BCDKMT07] ¡

• InverYng ¡transformaYon ¡

– Some ¡transformaYons ¡(e.g. ¡tree) ¡have ¡redundancy ¡(over-­‑constrained), ¡so ¡ require ¡pseudo-­‑inverse ¡ – Pseudo-­‑inverse ¡automaYcally ¡takes ¡into ¡account ¡postprocessing ¡due ¡to ¡ linear ¡constraints. ¡ ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 22 ¡

This ¡Class ¡

¡

• Query ¡strategy ¡for ¡General ¡Workloads ¡

– Matrix ¡Mechanism ¡ ¡ ¡ ¡ ¡[Li ¡et ¡al ¡PODS ¡10] ¡

• Data ¡dependent ¡Noise ¡addiYon ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 23 ¡

Data ¡dependence ¡vs ¡Data ¡Independence ¡

• Data ¡independent ¡algorithm ¡adds ¡noise ¡that ¡is ¡independent ¡of ¡

the ¡input ¡instance ¡

– Laplace ¡mechanism ¡ – Hierarchical ¡mechanism ¡ – Wavelet ¡mechanism ¡ ¡ – Matrix ¡Mechanism ¡

• Data ¡dependent ¡algorithms ¡add ¡noise ¡that ¡depends ¡on ¡the ¡input ¡

instance ¡

– ExponenYal ¡mechanism ¡(when ¡the ¡score ¡funcYon ¡is ¡data ¡dependent) ¡ – Smooth ¡sensiYvity ¡ – Many ¡more ¡… ¡we ¡will ¡see ¡next ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 24 ¡

Data ¡dependent ¡transformaYons ¡

25 ¡

Original ¡ Data ¡ Transform ¡ Coefficients ¡ Noisy ¡ Coefficients ¡ Noise ¡ Private ¡ Data ¡ “Invert” ¡ Use ¡a ¡Lossy ¡ transformaYon ¡ Inversion ¡is ¡no ¡ longer ¡“unique” ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡

Example: ¡Histogram ¡Release ¡

¡

• Using ¡Laplace ¡mechanism ¡(ε=1), ¡

Mean ¡squared ¡Error ¡= ¡7 ¡* ¡2 ¡= ¡14 ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 26 ¡

25 ¡ 35 ¡ 45 ¡ 55 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡

1 ¡ 2 ¡ 1 ¡ 3 ¡ 5 ¡ 1 ¡ 1 ¡

Example: ¡Histogram ¡Release ¡ ¡

¡

• Mean ¡squared ¡Error ¡in ¡approximate ¡histogram ¡= ¡2.67 ¡
• If ¡someone ¡told ¡us ¡this ¡is ¡the ¡best ¡binning, ¡can ¡use ¡Laplace ¡

mechanism ¡on ¡the ¡new ¡binning ¡to ¡get ¡Error ¡< ¡14 ¡… ¡ ¡ ¡(sensiYvity ¡of ¡each ¡bin ¡= ¡? ¡Laplace ¡error ¡= ¡?) ¡ ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 27 ¡

25 ¡ 35 ¡ 45 ¡ 55 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡

1 ¡ 2 ¡ 1 ¡ 3 ¡ 5 ¡ 1 ¡ 1 ¡

25 ¡ 35 ¡ 45 ¡ 55 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡

4/3 ¡ 8/2 ¡ 2/2 ¡

[Xu ¡et ¡al ¡ICDE ¡‘12] ¡ [Li ¡et ¡al ¡VLDB ¡‘14] ¡

Example: ¡Histogram ¡Release ¡ ¡

¡

• Trading ¡off ¡Bias ¡for ¡Variance ¡
• Laplace ¡mechanism: ¡all ¡noise ¡is ¡due ¡to ¡variance ¡of ¡noise ¡
• Above ¡strategy: ¡some ¡noise ¡due ¡to ¡approximate ¡transform ¡(bias) ¡

¡ ¡ ¡ ¡ ¡ ¡some ¡noise ¡due ¡to ¡laplace ¡noise ¡on ¡groups ¡(variance) ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 28 ¡

25 ¡ 35 ¡ 45 ¡ 55 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡

1 ¡ 2 ¡ 1 ¡ 3 ¡ 5 ¡ 1 ¡ 1 ¡

25 ¡ 35 ¡ 45 ¡ 55 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡

4/3 ¡ 8/2 ¡ 2/2 ¡

[Xu ¡et ¡al ¡ICDE ¡‘12] ¡ [Li ¡et ¡al ¡VLDB ¡‘14] ¡

Example: ¡Histogram ¡Release ¡ ¡

¡

• Inverse: ¡Not ¡“unique” ¡… ¡many ¡ways ¡to ¡reconstruct ¡the ¡counts ¡

within ¡the ¡groups ¡

– Uniformity ¡ – A ¡data ¡independent ¡prior ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 29 ¡

25 ¡ 35 ¡ 45 ¡ 55 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡

1 ¡ 2 ¡ 1 ¡ 3 ¡ 5 ¡ 1 ¡ 1 ¡

25 ¡ 35 ¡ 45 ¡ 55 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡

4/3 ¡ 8/2 ¡ 2/2 ¡

[Xu ¡et ¡al ¡ICDE ¡‘12] ¡ [Li ¡et ¡al ¡VLDB ¡‘14] ¡

Example: ¡Histogram ¡Release ¡ ¡

¡

• Error ¡is ¡data ¡dependent ¡
• Least ¡error ¡if ¡data ¡can ¡be ¡approximated ¡with ¡one ¡bin ¡
• Most ¡error ¡if ¡data ¡in ¡different ¡bins ¡are ¡vastly ¡different, ¡and ¡hence ¡

can’t ¡be ¡approximated ¡well ¡with ¡a ¡small ¡number ¡of ¡bins. ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 30 ¡

25 ¡ 35 ¡ 45 ¡ 55 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡

1 ¡ 2 ¡ 1 ¡ 3 ¡ 5 ¡ 1 ¡ 1 ¡

25 ¡ 35 ¡ 45 ¡ 55 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡

4/3 ¡ 8/2 ¡ 2/2 ¡

[Xu ¡et ¡al ¡ICDE ¡‘12] ¡ [Li ¡et ¡al ¡VLDB ¡‘14] ¡

Example: ¡Private ¡Quad ¡Tree ¡

• Process ¡to ¡build ¡a ¡private ¡quad-­‑tree ¡
• Input: ¡maximum ¡height ¡, ¡minimum ¡

leaf ¡size ¡, ¡data ¡set ¡D ¡

• IniYalize ¡root ¡node ¡
• Recurse ¡on ¡each ¡node: ¡

– Add ¡ ¡noise ¡to ¡node ¡count ¡ – Split ¡node ¡domain ¡into ¡quadrants ¡ – Create ¡child ¡nodes ¡

• Stop ¡when: ¡

– Noisy ¡count ¡of ¡node ¡≤ ¡ ¡ – Max ¡height ¡ ¡is ¡reached ¡

• Intui.on: ¡ ¡

– Early ¡stopping ¡controls ¡granularity ¡of ¡ discreYzaYon ¡ ¡ – To ¡answer ¡long ¡range ¡queries, ¡leverage ¡ hierarchy ¡of ¡noisy ¡counts ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 31 ¡

quadtree ¡

[CPSSY12] ¡

Exercise: ¡Let ¡ℎ′ ¡≤ ¡ℎ ¡be ¡ height ¡of ¡resulYng ¡tree. ¡ Algorithm ¡saYsfies ¡ε’-­‑ differenYal ¡privacy ¡for ¡ε’ ¡ equal ¡to ¡

• 1. εℎ′ ¡
• 2. εℎ ¡
• 3. 4εℎ ¡
• 4. εℎ4 ¡ ¡

Summary ¡of ¡Data ¡dependent ¡algorithms ¡

• Variants ¡

– Drop ¡“small” ¡coefficients: ¡

• Quad-­‑tree ¡with ¡early ¡stopping ¡(noisy ¡count ¡threshold) ¡
• Fourier ¡coefficients: ¡EFPA ¡[ACC12], ¡[RN10] ¡

– Data-­‑adapYve ¡discreYzaYon: ¡

• PrivTree ¡[ZXX16], ¡KD-­‑Tree ¡[CPSSY12], ¡DAWA ¡[LHMY14], ¡[DNRR15], ¡[QYL13], ¡[BLR08] ¡

– Data-­‑adapYve ¡measurement: ¡ ¡

• MWEM ¡[HLM12], ¡DualQuery ¡[GAHRW14] ¡

– Randomized ¡transforms: ¡sketches ¡and ¡compressed ¡sensing ¡

• JL ¡Transform ¡[BBDS12], ¡Compressive ¡mechanism ¡[LZWY11] ¡
• “InverYng” ¡transformaYon ¡

– Because ¡lossy, ¡they ¡are ¡under-­‑constrained, ¡requires ¡esYmaYon ¡

• Error ¡rates ¡depend ¡on ¡input ¡ ¡

– Can ¡be ¡much ¡lower ¡(trades ¡off ¡small ¡bias ¡for ¡lower ¡variance) ¡ – Warrants ¡careful ¡empirical ¡evaluaYon; ¡algorithms ¡are ¡“data ¡dependent” ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 32 ¡

Open ¡QuesYon ¡

• TheoreYcal ¡analysis ¡of ¡error ¡bounds ¡for ¡data ¡dependent ¡

algorithms ¡

– What ¡are ¡lower ¡bounds? ¡ ¡

• Algorithm ¡selecYon ¡

– Best ¡algorithm ¡error ¡depends ¡on ¡dataset ¡ – But ¡we ¡can’t ¡see ¡the ¡data ¡ – How ¡to ¡choose ¡the ¡algorithm ¡? ¡ ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 33 ¡

References ¡

• [ACC12] ¡Ács ¡et ¡al. ¡DifferenYally ¡private ¡histogram ¡publishing ¡through ¡lossy ¡compression. ¡In ¡ICDM, ¡2012. ¡ ¡
• [BBDS12] ¡Blocki ¡et ¡al. ¡The ¡johnson-­‑lindenstrauss ¡transform ¡itself ¡preserves ¡differenYal ¡privacy. ¡ ¡In ¡FOCS, ¡2012. ¡
• [BCDKMT07] ¡Barak ¡et ¡al. ¡Privacy, ¡accuracy, ¡and ¡consistency ¡too: ¡a ¡holisYc ¡soluYon ¡to ¡conYngency ¡table ¡release. ¡ ¡In ¡PODS, ¡2007. ¡
• [BLR08] ¡Blum ¡et ¡al. ¡A ¡learning ¡theory ¡approach ¡to ¡noninteracYve ¡database ¡privacy. ¡ ¡In ¡STOC, ¡2008. ¡
• [DNRR15] ¡Dwork ¡et ¡al. ¡Pure ¡DifferenYal ¡Privacy ¡for ¡Rectangle ¡Queries ¡via ¡Private ¡ParYYons. ¡ ¡In ¡ASIACRYPT, ¡2015. ¡
• [CPSSY12] ¡Cormode ¡et ¡al. ¡DifferenYally ¡Private ¡SpaYal ¡DecomposiYons. ¡ ¡In ¡ICDE, ¡2012. ¡
• [GAHRW14] ¡Gaboardi ¡et ¡al. ¡Dual ¡Query: ¡PracYcal ¡Private ¡Query ¡Release ¡for ¡High ¡Dimensional ¡Data. ¡ ¡In ¡ICML, ¡2014. ¡
• [HLM12] ¡Hardt ¡et ¡al. ¡ ¡A ¡simple ¡and ¡pracYcal ¡algorithm ¡for ¡differenYally ¡private ¡data ¡release. ¡ ¡In ¡NIPS, ¡2012. ¡
• [HMMCZ16] ¡Hay ¡et ¡al. ¡Principled ¡EvaluaYon ¡of ¡DifferenYally ¡Private ¡Algorithms ¡using ¡DPBench. ¡ ¡In ¡SIGMOD, ¡2016. ¡
• [HRMS10] ¡Hay ¡et ¡al. ¡BoosYng ¡the ¡accuracy ¡of ¡differenYally ¡private ¡histograms ¡through ¡consistency. ¡ ¡In ¡PVLDB, ¡2010. ¡
• [LHMY14] ¡Li ¡et ¡al. ¡ ¡A ¡data-­‑ ¡and ¡workload-­‑aware ¡algorithm ¡for ¡range ¡queries ¡under ¡differenYal ¡privacy. ¡ ¡In ¡PVLDB, ¡2014. ¡
• [LHRMM10] ¡Li ¡et ¡al. ¡OpYmizing ¡linear ¡counYng ¡queries ¡under ¡differenYal ¡privacy. ¡ ¡In ¡PODS, ¡2010. ¡
• [LM12] ¡Li ¡et ¡al. ¡An ¡adapYve ¡mechanism ¡for ¡accurate ¡query ¡answering ¡under ¡differenYal ¡privacy. ¡ ¡In ¡PVLDB, ¡2012. ¡
• [LM13] ¡Li ¡et ¡al. ¡OpYmal ¡error ¡of ¡query ¡sets ¡under ¡the ¡differenYally-­‑private ¡matrix ¡mechanism. ¡ ¡In ¡ICDT, ¡2013. ¡
• [LZWY11] ¡Li ¡et ¡al. ¡Compressive ¡mechanism: ¡uYlizing ¡sparse ¡representaYon ¡in ¡differenYal ¡privacy. ¡ ¡In ¡WPES, ¡2011. ¡
• [QYL13] ¡Qardaji ¡et ¡al. ¡Understanding ¡hierarchical ¡methods ¡for ¡differenYally ¡private ¡histograms. ¡ ¡In ¡PVLDB, ¡2013. ¡
• [QYL13] ¡Qardaji ¡et ¡al. ¡DifferenYally ¡private ¡grids ¡for ¡geospaYal ¡data. ¡ ¡In ¡ICDE, ¡2013. ¡
• [RN10] ¡Rastogi ¡et ¡al. ¡DifferenYally ¡private ¡aggregaYon ¡of ¡distributed ¡Yme-­‑series ¡with ¡transformaYon ¡and ¡encrypYon. ¡In ¡SIGMOD, ¡2010. ¡ ¡
• [WWLTRD09] ¡Wang ¡et ¡al. ¡Privacy-­‑preserving ¡genomic ¡computaYon ¡through ¡program ¡specializaYon. ¡ ¡In ¡CCS, ¡2009. ¡
• [XWG10] ¡Xiao ¡et ¡al. ¡DifferenYal ¡privacy ¡via ¡wavelet ¡transforms. ¡ ¡In ¡ICDE, ¡2011. ¡
• [ZCPSX14] ¡Zhang ¡et ¡al. ¡PrivBayes: ¡private ¡data ¡release ¡via ¡bayesian ¡networks. ¡In ¡SIGMOD, ¡2014. ¡
• [ZXX16] ¡Zhang ¡et ¡al. ¡ ¡PrivTree: ¡A ¡DifferenYally ¡Private ¡Algorithm ¡for ¡Hierarchical ¡DecomposiYons. ¡ ¡In ¡SIGMOD, ¡2016. ¡

Lecture ¡9 ¡: ¡590.03 ¡Fall ¡16 ¡ 34 ¡