Experimental Challenges in Cyber Security: A Story of - PDF document

8/15/11 Experimental ¡Challenges ¡in ¡Cyber ¡Security: ¡ ¡ A ¡Story ¡of ¡Provenance ¡and ¡Lineage ¡for ¡Malware Tudor ¡Dumitraș ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Iulian ¡Neam=u ¡ ¡ Symantec ¡Research ¡Labs ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡UC ¡Riverside ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ The ¡IROP ¡Keyboard ¡ [Zeller, ¡2011] ¡ To ¡prevent ¡bugs, ¡remove ¡the ¡keystrokes ¡ that ¡predict ¡74% ¡of ¡failure-­‑prone ¡modules ¡in ¡Eclipse ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 2 ¡ 1

8/15/11 Does ¡this ¡work? ¡ What ¡am ¡I ¡measuring? ¡ C ¡ Sample ¡D ¡ V1 ¡? ¡ G ¡ D ¡ Sample ¡C ¡ V2 ¡? ¡ Reconstruct ¡Lineage ¡ V3 ¡? ¡ N ¡ E ¡ Sample ¡E ¡ S ¡ T ¡ F ¡ Korgo ¡worm ¡family ¡ How ¡well ¡does ¡this ¡work ¡in ¡the ¡real ¡world? ¡ Will ¡this ¡work ¡tomorrow? ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 3 ¡ Goal ¡ Overcome common threats to validity in cyber security experiments Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 4 ¡ 2

8/15/11 Our ¡Approach ¡ • Provenance ¡and ¡lineage ¡reconstruc=on ¡through ¡ ¡ sta/c , ¡ dynamic , ¡and ¡ contextual ¡analysis ¡ • Key ¡idea : ¡ ¡ Evolu=on ¡of ¡open ¡source ¡binaries ¡ ¡ ¡ ¡= ¡ ¡ ¡ ¡Training ¡data ¡ Linux: ¡ FreeBSD: ¡ – 20 ¡years ¡of ¡evolu=on ¡ – 18 ¡years ¡of ¡evolu=on ¡ – 70+ ¡versions ¡ – 22+ ¡versions ¡ ¡ • Use ¡the ¡WINE ¡benchmark ¡for ¡valida=on ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 5 ¡ Lineage ¡and ¡Provenance ¡ ¡ Lineage : ¡ ¡establish ¡the ¡ancestors ¡and ¡descendants ¡ ¡ ¡of ¡a ¡binary ¡ar=fact ¡ ¡ ¡ Provenance: ¡ ¡ determine ¡the ¡compiler, ¡development ¡ ¡ ¡environment, ¡tes=ng ¡methods, ¡ ¡ ¡release ¡schedule ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 6 ¡ 3

8/15/11 Linux ¡ 0.01 ¡ StaQc ¡Analysis ¡ ... 1.3.100 ¡ Function foo() 2.0 ¡ basic blocks ... Other ¡traits ¡ 2.1.0 ¡ 2.0.34 ¡ system ¡calls ¡ ... • dataflow ¡ • 2.2.0pre9 ¡ memory ¡accesses ¡ • 2.2.0 ¡ ... 2.3.0 ¡ ... 2.2.14 ¡ ... 2.3.99pre9 ¡ 2.4.0 ¡ ... ... ... 2.6.0 ¡ 2.0.40 ¡ 2.4.24 ¡ 2.2.26 ¡ ... ... Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 7 ¡ Contextual ¡Analysis ¡ • Obfusca=on ¡techniques ¡(e.g., ¡ packing, ¡randomiza/on ) ¡ reduce ¡effec=veness ¡of ¡sta=c ¡/ ¡dynamic ¡analyses ¡ • Idea: ¡use ¡contextual ¡informa=on ¡ – Network ¡traces ¡ – Infec=on ¡reports ¡ • Answers ¡ques=ons ¡such ¡as ¡ – When ¡has ¡a ¡malware ¡ar=fact ¡first ¡appeared? ¡ – Where ¡has ¡it ¡spread? ¡ – How ¡has ¡gained ¡access? ¡ ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 8 ¡ 4

8/15/11 Threats ¡to ¡Validity ¡ • Lineage ¡ – Lack ¡of ¡ground ¡truth ¡on ¡malware ¡families ¡ – Lack ¡of ¡contextual ¡data: ¡e.g., ¡date ¡and ¡=me ¡of ¡appearance ¡ • ¡Provenance ¡ – Different ¡informa=on ¡provided ¡by ¡compilers ¡and ¡assemblers ¡ – Lack ¡of ¡contextual ¡data: ¡e.g., ¡origin ¡geoloca=on, ¡ dissemina=on ¡pakerns ¡ Illustrate ¡general ¡threats ¡to ¡validity ¡in ¡experimental ¡cyber ¡security ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 9 ¡ Construct ¡validity: ¡use ¡metrics ¡that ¡model ¡the ¡hypothesis ¡ Internal ¡validity: ¡ establish ¡causal ¡connec=on ¡ Does ¡it ¡work? ¡ What ¡am ¡I ¡ measuring? ¡ Will ¡it ¡work ¡in ¡ the ¡real ¡world? ¡ Will ¡it ¡work ¡ Will ¡it ¡work ¡ tomorrow? ¡ tomorrow? ¡ Content ¡validity: ¡include ¡only ¡and ¡all ¡relevant ¡data ¡ External ¡validity: ¡ generalize ¡results ¡beyond ¡experimental ¡data ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 10 ¡ 5

8/15/11 Candidate ¡Approaches ¡ Validity ¡ • Testbeds ¡for ¡repeatable ¡experimenta=on ¡ ¡ (Emulab, ¡DETER) ¡ – Representa=ve ¡data ¡sets ¡are ¡also ¡needed ¡ • Synthe=c ¡test ¡data ¡genera=on ¡ [Lippmann, ¡2000] ¡ – Short-­‑lived ¡relevance ¡ Content ¡ • Field-­‑gathered ¡data ¡ ¡ [DHS ¡PREDICT; ¡Leita, ¡2010; ¡Bilge, ¡2011] ¡ – Honeypots: ¡instrumenta=on ¡could ¡alter ¡results ¡ Internal ¡ – Network ¡traces: ¡reveal ¡only ¡part ¡of ¡malware ¡behavior ¡ External ¡ – Lack ¡of ¡metadata ¡on ¡collec=on ¡process ¡ Mul=ple ¡ [Camp, ¡2009; ¡CSET ¡2009] ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 11 ¡ WINE: ¡Benchmark ¡for ¡Computer ¡Security ¡ http://www.symantec.com/WINE ¡ Symantec’s ¡ Plaqorm ¡for ¡ worldwide ¡sensors ¡ experimental ¡reproducibility ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 12 ¡ 6

8/15/11 The ¡Worldwide ¡Intelligence ¡Network ¡Environment ¡ (WINE) ¡ • Goal: ¡ reproducible ¡experiments ¡ in ¡cyber ¡security ¡ • Data ¡collected ¡on ¡millions ¡of ¡ end-­‑hosts ¡ • Data ¡sampled ¡from ¡Symantec’s ¡ opera/onal ¡ data ¡sets ¡ • Access ¡WINE ¡on ¡SRL ¡site: ¡ Culver ¡City, ¡CA ¡ or ¡Herndon, ¡VA ¡ – Fee ¡required ¡ • Store ¡ reference ¡data ¡ sets ¡used ¡in ¡prior ¡experiments ¡ • Maintain ¡ lab ¡book ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 13 ¡ WINE: ¡Cover ¡all ¡Phases ¡of ¡Cyber ¡Threat ¡Lifecycle ¡ Tes=ng ¡ Exploit ¡ Vulnerability ¡ Zero-­‑Day ¡ Akacks ¡ Remedia=on ¡ Malware New ¡ Samples Akacks ¡ Patch ¡ Advisory ¡ Binary ¡ Dissemina=on ¡ A/V ¡ Reputa=on ¡ & ¡Concealment ¡ Telemetry ¡ URL ¡Reputa=on ¡ Spam ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 14 ¡ 7

8/15/11 Traits ¡for ¡Contextual ¡Analysis: ¡ Binary ¡Reputa8on ¡ Tes=ng ¡ Exploit ¡ Vulnerability ¡ Zero-­‑Day ¡ Norton ¡Insight ¡ ¡ Akacks ¡ (opt-­‑in ¡program) ¡ Remedia=on ¡ Malware New ¡ Samples Submissions ¡ Queries ¡ Akacks ¡ Patch ¡ MachineID ¡ Advisory ¡ Timestamp ¡ Binary ¡ Dissemina=on ¡ MD5 ¡of ¡binary ¡ A/V ¡ ReputaQon ¡ & ¡Concealment ¡ SHA2 ¡of ¡binary ¡ Telemetry ¡ Download ¡URL ¡ Protocol ¡version ¡ URL ¡Reputa=on ¡ … ¡ Spam ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 15 ¡ Distributed ¡Data ¡CollecQon ¡ Malware: ¡ 7M ¡samples ¡ A/V ¡telemetry: ¡ 130M ¡machines ¡ Binary ¡reputaQon: ¡ URL ¡reputaQon: ¡ 35M ¡machines ¡ 10M ¡domains ¡ Spam: ¡2.5M ¡decoys ¡ Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡ 16 ¡ 8