Simulatability The enemy knows the system, Claude Shannon - PowerPoint PPT Presentation

Simulatability ¡ “The ¡enemy ¡knows ¡the ¡system”, ¡Claude ¡Shannon ¡ CompSci ¡590.03 ¡ Instructor: ¡Ashwin ¡Machanavajjhala ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 1 ¡

Outline ¡ • Simulatable ¡Audi<ng ¡ • Minimality ¡A?ack ¡in ¡anonymiza<on ¡ • Simulatable ¡algorithms ¡for ¡anoymiza<on ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 2 ¡

Query ¡Audi<ng ¡ Query ¡ Yes ¡ Database ¡ Safe ¡to ¡ publish? ¡ No ¡ Researcher ¡ Database ¡has ¡numeric ¡values ¡(say ¡salaries ¡of ¡employees). ¡ Should ¡not ¡release ¡exact ¡value ¡of ¡any ¡value. ¡ ¡ ¡ Database ¡either ¡truthfully ¡answers ¡a ¡ques<on ¡or ¡ denies ¡ answering. ¡ ¡ MIN, ¡MAX, ¡SUM ¡queries ¡over ¡subsets ¡of ¡the ¡database. ¡ ¡ QuesFon: ¡ ¡ ¡When ¡to ¡allow/deny ¡queries? ¡ ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 3 ¡

Why ¡should ¡we ¡deny ¡queries? ¡ • Q1: ¡AK’s ¡sensi<ve ¡value? ¡ ¡ Name ¡ Grad ¡ Interna Sensi=v – DENY ¡ =onal ¡ e ¡value ¡ NR ¡ Y ¡ Y ¡ 1 ¡ • ¡Q2: ¡Max ¡sensi<ve ¡value ¡of ¡ ¡ AK ¡ Y ¡ N ¡ 3 ¡ ugrads? ¡ SR ¡ N ¡ N ¡ 1 ¡ – ANSWER: ¡2 ¡ KL ¡ N ¡ N ¡ 2 ¡ YC ¡ Y ¡ Y ¡ 1 ¡ SY ¡ Y ¡ Y ¡ 2 ¡ • Q3: ¡Max ¡sensi<ve ¡value ¡of ¡US ¡ HC ¡ Y ¡ Y ¡ 1 ¡ ¡students? ¡ ¡ – ANSWER: ¡3 ¡ • But ¡Q3 ¡+ ¡Q2 ¡=> ¡AK ¡= ¡3 ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 4 ¡

Value-­‑Based ¡Audi<ng ¡ • Let ¡a 1 , ¡a 2 , ¡…, ¡a k ¡be ¡the ¡answers ¡to ¡previous ¡queries ¡Q 1 , ¡Q 2 , ¡…, ¡Q k . ¡ ¡ • Let ¡a k+1 ¡be ¡the ¡answer ¡to ¡Q k+1 . ¡ ¡ a i ¡= ¡f(c i1 x 1 , ¡c i2 x 2 , ¡…, ¡c in x n ), ¡ ¡i ¡= ¡1 ¡… ¡k+1 ¡ c im ¡= ¡1 ¡if ¡Q i ¡depends ¡on ¡x m ¡ ¡ ¡ Check ¡if ¡any ¡x j ¡has ¡a ¡unique ¡solu=on. ¡ ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 5 ¡

Value-­‑Based ¡Audi<ng ¡ • Data ¡Values: ¡{x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 }, ¡Queries: ¡MAX. ¡ • Allow ¡query ¡if ¡value ¡of ¡xi ¡can’t ¡be ¡inferred. ¡ ¡ x 1 x 2 ¡ x 3 ¡ x 4 ¡ ¡ x 5 ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 6 ¡

Value-­‑based ¡Audi<ng ¡ • Data ¡Values: ¡{x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 }, ¡Queries: ¡MAX. ¡ -­‑∞ ¡≤ ¡x 1 ¡… ¡x 5 ≤ ¡10 ¡ • Allow ¡query ¡if ¡value ¡of ¡xi ¡can’t ¡be ¡inferred. ¡ ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 ) ¡ x 1 x 2 ¡ Ans: ¡10 ¡ 10 ¡ x 3 ¡ x 4 ¡ ¡ x 5 ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 7 ¡

Value-­‑based ¡Audi<ng ¡ • Data ¡Values: ¡{x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 }, ¡Queries: ¡MAX. ¡ • Allow ¡query ¡if ¡value ¡of ¡xi ¡can’t ¡be ¡inferred. ¡ ¡ -­‑∞ ¡≤ ¡x 1 ¡… ¡x 4 ¡ ≤ ¡8 ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 ) ¡ x 1 ¡=> ¡x 5 ¡= ¡10 ¡ x 2 ¡ Ans: ¡10 ¡ 10 ¡ x 3 ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ) ¡ x 4 ¡ ¡ x 5 ¡ Ans: ¡8 ¡ DENY ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 8 ¡

Value-­‑based ¡Audi<ng ¡ • Data ¡Values: ¡{x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 }, ¡Queries: ¡MAX. ¡ Denial ¡means ¡some ¡ • Allow ¡query ¡if ¡value ¡of ¡xi ¡can’t ¡be ¡inferred. ¡ value ¡can ¡be ¡ compromised! ¡ ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 ) ¡ x 1 x 2 ¡ Ans: ¡10 ¡ 10 ¡ x 3 ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ) ¡ x 4 ¡ ¡ x 5 ¡ Ans: ¡8 ¡ DENY ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 9 ¡

Value-­‑based ¡Audi<ng ¡ • Data ¡Values: ¡{x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 }, ¡Queries: ¡MAX. ¡ What ¡could ¡ ¡ • Allow ¡query ¡if ¡value ¡of ¡xi ¡can’t ¡be ¡inferred. ¡ max(x1, ¡x2, ¡x3, ¡x4) ¡ be? ¡ ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 ) ¡ x 1 x 2 ¡ Ans: ¡10 ¡ 10 ¡ x 3 ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ) ¡ x 4 ¡ ¡ x 5 ¡ Ans: ¡8 ¡ DENY ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 10 ¡

Value-­‑based ¡Audi<ng ¡ • Data ¡Values: ¡{x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 }, ¡Queries: ¡MAX. ¡ From ¡first ¡answer, ¡ • Allow ¡query ¡if ¡value ¡of ¡xi ¡can’t ¡be ¡inferred. ¡ max(x1,x2,x3,x4) ¡≤ ¡10 ¡ ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 ) ¡ x 1 x 2 ¡ Ans: ¡10 ¡ 10 ¡ x 3 ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ) ¡ x 4 ¡ ¡ x 5 ¡ Ans: ¡8 ¡ DENY ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 11 ¡

Value-­‑based ¡Audi<ng ¡ If, ¡ max(x1,x2,x3,x4) ¡= ¡ • Data ¡Values: ¡{x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 }, ¡Queries: ¡MAX. ¡ 10 ¡ • Allow ¡query ¡if ¡value ¡of ¡xi ¡can’t ¡be ¡inferred. ¡ Then, ¡no ¡privacy ¡ ¡ breach ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 ) ¡ x 1 x 2 ¡ Ans: ¡10 ¡ 10 ¡ x 3 ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ) ¡ x 4 ¡ ¡ x 5 ¡ Ans: ¡8 ¡ DENY ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 12 ¡

Value-­‑based ¡Audi<ng ¡ • Data ¡Values: ¡{x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 }, ¡Queries: ¡MAX. ¡ Hence, ¡ • Allow ¡query ¡if ¡value ¡of ¡xi ¡can’t ¡be ¡inferred. ¡ max(x1,x2,x3,x4) ¡< ¡10 ¡ => ¡x5 ¡= ¡10! ¡ ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 ) ¡ x 1 x 2 ¡ Ans: ¡10 ¡ 10 ¡ x 3 ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ) ¡ x 4 ¡ ¡ x 5 ¡ Ans: ¡8 ¡ DENY ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 13 ¡

Value-­‑based ¡Audi<ng ¡ • Data ¡Values: ¡{x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 }, ¡Queries: ¡MAX. ¡ Hence, ¡ • Allow ¡query ¡if ¡value ¡of ¡xi ¡can’t ¡be ¡inferred. ¡ max(x1,x2,x3,x4) ¡< ¡10 ¡ => ¡x5 ¡= ¡10! ¡ ¡ Denials ¡leak ¡informa=on. ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 ) ¡ ¡ x 1 ANack ¡occurred ¡since ¡privacy ¡analysis ¡did ¡ x 2 ¡ Ans: ¡10 ¡ 10 ¡ x 3 ¡ not ¡assume ¡that ¡aNacker ¡knows ¡the ¡algorithm. ¡ ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ) ¡ x 4 ¡ ¡ x 5 ¡ Ans: ¡8 ¡ DENY ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 14 ¡

Simulatable ¡Audi<ng ¡ [Kenthapadi ¡et ¡al ¡PODS ¡‘05] ¡ • An ¡auditor ¡is ¡ simulatable ¡ if ¡the ¡decision ¡to ¡deny ¡a ¡query ¡ Q k ¡is ¡ made ¡based ¡on ¡ informa=on ¡already ¡available ¡to ¡the ¡aNacker. ¡ ¡ – Can ¡use ¡querie s ¡ Q 1 , ¡Q 2 , ¡…, ¡Q k ¡and ¡answers ¡ a 1 , ¡a 2 , ¡…, ¡a k-­‑1 ¡ – Cannot ¡ use ¡ a k ¡or ¡the ¡actual ¡data ¡to ¡make ¡the ¡decision. ¡ • Denials ¡provably ¡do ¡not ¡leak ¡informaiton ¡ – Because ¡the ¡a?acker ¡could ¡equivalently ¡determine ¡whether ¡ the ¡query ¡would ¡be ¡denied. ¡ ¡ – A?acker ¡can ¡mimic ¡or ¡ simulate ¡the ¡auditor. ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 15 ¡

Simulatable ¡Audi<ng ¡Algorithm ¡ • Data ¡Values: ¡{x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 }, ¡Queries: ¡MAX. ¡ ¡ Ans ¡> ¡10 ¡=> ¡not ¡possible ¡ ¡ • Allow ¡query ¡if ¡value ¡of ¡xi ¡can’t ¡be ¡inferred. ¡ Ans ¡= ¡10 ¡=> ¡-­‑∞ ¡≤ ¡x 1 ¡… ¡x 4 ¡ ≤ ¡10 ¡ SAFE ¡ ¡ Ans ¡< ¡10 ¡=> ¡x 5 ¡= ¡10 ¡ UNSAFE ¡ ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ¡ , ¡x 5 ) ¡ x 1 x 2 ¡ Ans: ¡10 ¡ 10 ¡ x 3 ¡ max(x 1 , ¡x 2 ¡ , ¡x 3 ¡ , ¡x 4 ) ¡ x 4 ¡ ¡ Before ¡ x 5 ¡ compu<ng ¡ DENY ¡ answer ¡ Lecture ¡6 ¡: ¡590.03 ¡Fall ¡13 ¡ 16 ¡