Experimental Challenges in Cyber Security: A Story of - - PDF document

8/15/11 1

Experimental ¡Challenges ¡in ¡Cyber ¡Security: ¡

A ¡Story ¡of ¡Provenance ¡and ¡Lineage ¡for ¡Malware

¡ Tudor ¡Dumitraș ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Iulian ¡Neam=u ¡ ¡Symantec ¡Research ¡Labs ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡UC ¡Riverside ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡

¡

The ¡IROP ¡Keyboard ¡

[Zeller, ¡2011] ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

2 ¡

To ¡prevent ¡bugs, ¡remove ¡the ¡keystrokes ¡ that ¡predict ¡74% ¡of ¡failure-­‑prone ¡modules ¡in ¡Eclipse ¡

8/15/11 2

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

3 ¡

Sample ¡C ¡ Sample ¡D ¡ Sample ¡E ¡

V1 ¡? ¡ V2 ¡? ¡ V3 ¡? ¡

Does ¡this ¡work? ¡ What ¡am ¡I ¡measuring? ¡ How ¡well ¡does ¡this ¡work ¡in ¡the ¡real ¡world? ¡ Will ¡this ¡work ¡tomorrow? ¡

D ¡ E ¡ F ¡ C ¡ G ¡ N ¡ S ¡ T ¡ Reconstruct ¡Lineage ¡ Korgo ¡worm ¡family ¡

Goal ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

4 ¡

Overcome common threats to validity in cyber security experiments

8/15/11 3

Our ¡Approach ¡

• Provenance ¡and ¡lineage ¡reconstruc=on ¡through ¡ ¡

sta/c, ¡dynamic, ¡and ¡contextual ¡analysis ¡

• Key ¡idea: ¡ ¡

Evolu=on ¡of ¡open ¡source ¡binaries ¡ ¡ ¡ ¡= ¡ ¡ ¡ ¡Training ¡data ¡

¡

• Use ¡the ¡WINE ¡benchmark ¡for ¡valida=on ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

5 ¡

Linux: ¡ – 20 ¡years ¡of ¡evolu=on ¡ – 70+ ¡versions ¡ FreeBSD: ¡ – 18 ¡years ¡of ¡evolu=on ¡ – 22+ ¡versions ¡

Lineage ¡and ¡Provenance ¡

¡ Lineage: ¡ ¡establish ¡the ¡ancestors ¡and ¡descendants ¡ ¡ ¡of ¡a ¡binary ¡ar=fact ¡ ¡ ¡ Provenance: ¡ ¡determine ¡the ¡compiler, ¡development ¡ ¡ ¡environment, ¡tes=ng ¡methods, ¡ ¡ ¡release ¡schedule ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

6 ¡

8/15/11 4

7 ¡

2.0 ¡ 1.3.100 ¡ 0.01 ¡ 2.0.34 ¡ 2.0.40 ¡ 2.2.0 ¡ 2.2.14 ¡ 2.2.26 ¡ 2.4.0 ¡ 2.1.0 ¡ 2.2.0pre9 ¡ 2.3.0 ¡ 2.3.99pre9 ¡ 2.4.24 ¡ 2.6.0 ¡

... ... ... ... ... ... ... ... ... ...

Function foo()

basic blocks

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

...

Other ¡traits ¡

• system ¡calls ¡
• dataflow ¡
• memory ¡accesses ¡

StaQc ¡Analysis ¡

Linux ¡

Contextual ¡Analysis ¡

• Obfusca=on ¡techniques ¡(e.g., ¡packing, ¡randomiza/on) ¡

reduce ¡effec=veness ¡of ¡sta=c ¡/ ¡dynamic ¡analyses ¡

• Idea: ¡use ¡contextual ¡informa=on ¡

– Network ¡traces ¡ – Infec=on ¡reports ¡

• Answers ¡ques=ons ¡such ¡as ¡

– When ¡has ¡a ¡malware ¡ar=fact ¡first ¡appeared? ¡ – Where ¡has ¡it ¡spread? ¡ – How ¡has ¡gained ¡access? ¡ ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

8 ¡

8/15/11 5

Threats ¡to ¡Validity ¡

• Lineage ¡

– Lack ¡of ¡ground ¡truth ¡on ¡malware ¡families ¡ – Lack ¡of ¡contextual ¡data: ¡e.g., ¡date ¡and ¡=me ¡of ¡appearance ¡

• ¡Provenance ¡

– Different ¡informa=on ¡provided ¡by ¡compilers ¡and ¡assemblers ¡ – Lack ¡of ¡contextual ¡data: ¡e.g., ¡origin ¡geoloca=on, ¡ dissemina=on ¡pakerns ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

9 ¡

Illustrate ¡general ¡threats ¡to ¡validity ¡in ¡experimental ¡cyber ¡security ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

10 ¡

Construct ¡validity: ¡use ¡metrics ¡that ¡model ¡the ¡hypothesis ¡ Internal ¡validity: ¡establish ¡causal ¡connec=on ¡ Content ¡validity: ¡include ¡only ¡and ¡all ¡relevant ¡data ¡ External ¡validity: ¡generalize ¡results ¡beyond ¡experimental ¡data ¡ Does ¡it ¡work? ¡ What ¡am ¡I ¡ measuring? ¡ Will ¡it ¡work ¡in ¡ the ¡real ¡world? ¡ Will ¡it ¡work ¡ tomorrow? ¡ Will ¡it ¡work ¡ tomorrow? ¡

8/15/11 6

Candidate ¡Approaches ¡

• Testbeds ¡for ¡repeatable ¡experimenta=on ¡ ¡

(Emulab, ¡DETER) ¡ – Representa=ve ¡data ¡sets ¡are ¡also ¡needed ¡

• Synthe=c ¡test ¡data ¡genera=on ¡

[Lippmann, ¡2000] ¡ – Short-­‑lived ¡relevance ¡

• Field-­‑gathered ¡data ¡ ¡

[DHS ¡PREDICT; ¡Leita, ¡2010; ¡Bilge, ¡2011] ¡ – Honeypots: ¡instrumenta=on ¡could ¡alter ¡results ¡ – Network ¡traces: ¡reveal ¡only ¡part ¡of ¡malware ¡behavior ¡ – Lack ¡of ¡metadata ¡on ¡collec=on ¡process ¡

[Camp, ¡2009; ¡CSET ¡2009] ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

11 ¡

External ¡ Internal ¡ Content ¡ Validity ¡ Mul=ple ¡

WINE: ¡Benchmark ¡for ¡Computer ¡Security ¡

http://www.symantec.com/WINE ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

12 ¡

Symantec’s ¡ worldwide ¡sensors ¡ Plaqorm ¡for ¡ experimental ¡reproducibility ¡

8/15/11 7

The ¡Worldwide ¡Intelligence ¡Network ¡Environment ¡ (WINE) ¡

• Goal: ¡reproducible ¡experiments ¡in ¡cyber ¡security ¡
• Data ¡collected ¡on ¡millions ¡of ¡end-­‑hosts ¡
• Data ¡sampled ¡from ¡Symantec’s ¡opera/onal ¡data ¡sets ¡
• Access ¡WINE ¡on ¡SRL ¡site: ¡Culver ¡City, ¡CA ¡or ¡Herndon, ¡VA ¡

– Fee ¡required ¡

• Store ¡reference ¡data ¡sets ¡used ¡in ¡prior ¡experiments ¡
• Maintain ¡lab ¡book ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

13 ¡

WINE: ¡Cover ¡all ¡Phases ¡of ¡Cyber ¡Threat ¡Lifecycle ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

14 ¡

New ¡ Akacks ¡ Vulnerability ¡ Dissemina=on ¡ & ¡Concealment ¡ Zero-­‑Day ¡ Akacks ¡ Exploit ¡ Tes=ng ¡ Patch ¡ Advisory ¡ Remedia=on ¡

Malware Samples

Binary ¡ Reputa=on ¡ A/V ¡ Telemetry ¡ Spam ¡ URL ¡Reputa=on ¡

8/15/11 8

New ¡ Akacks ¡ Vulnerability ¡ Dissemina=on ¡ & ¡Concealment ¡ Zero-­‑Day ¡ Akacks ¡ Exploit ¡ Tes=ng ¡ Patch ¡ Advisory ¡ Remedia=on ¡

Malware Samples

Binary ¡ ReputaQon ¡ A/V ¡ Telemetry ¡ Spam ¡ URL ¡Reputa=on ¡

Traits ¡for ¡Contextual ¡Analysis: ¡Binary ¡Reputa8on ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

15 ¡

Norton ¡Insight ¡ ¡ (opt-­‑in ¡program) ¡

Submissions ¡ Queries ¡ MachineID ¡ Timestamp ¡ MD5 ¡of ¡binary ¡ SHA2 ¡of ¡binary ¡ Download ¡URL ¡ Protocol ¡version ¡ … ¡

Distributed ¡Data ¡CollecQon ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

16 ¡

Binary ¡reputaQon: ¡ 35M ¡machines ¡ Malware: ¡ 7M ¡samples ¡ Spam: ¡2.5M ¡decoys ¡ URL ¡reputaQon: ¡ 10M ¡domains ¡ A/V ¡telemetry: ¡ 130M ¡machines ¡

8/15/11 9

• Collec=on ¡metadata: ¡data ¡is ¡self-­‑descrip=ve ¡

– When: ¡=mestamp ¡ – Where: ¡machine ¡ID, ¡geoloca=on, ¡URL ¡ – How: ¡protocol ¡version, ¡known ¡bugs ¡

• Enables ¡defining ¡relevant ¡data ¡sets ¡(content ¡validity) ¡
• Enables ¡reasoning ¡if ¡results ¡generalize ¡(external ¡validity) ¡

WINE ¡Experiments: ¡Threats ¡to ¡Validity ¡(1) ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

17 ¡

WINE ¡

… ¡

Submission ¡ Gateways ¡ Con=nuous ¡Updates ¡

WINE ¡Experiments: ¡Threats ¡to ¡Validity ¡(2) ¡

• Experiment ¡metadata: ¡recorded ¡in ¡lab ¡book ¡

– External ¡researcher ¡describes ¡experiment ¡in ¡proposal ¡

• Research ¡hypothesis ¡
• Input/output ¡data ¡

– Researcher ¡develops ¡script ¡to ¡run ¡experiment ¡from ¡end ¡to ¡end ¡ – Hypothesis, ¡data ¡and ¡script ¡are ¡documented ¡on ¡a ¡wiki ¡

• Enables ¡independent ¡verifica=on ¡of ¡experimental ¡

design ¡(internal ¡and ¡construct ¡validity) ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

18 ¡

8/15/11 10

Conclusions ¡

• Rigorous ¡experiments ¡give ¡us ¡an ¡edge ¡in ¡the ¡security ¡

arms ¡race ¡

– Develop ¡techniques ¡that ¡are ¡likely ¡to ¡keep ¡working ¡tomorrow ¡

• Challenges ¡

– Ground ¡truth ¡ – Relevant ¡data ¡sets ¡ – Rigorous ¡analysis ¡

• WINE: ¡first ¡step ¡toward ¡a ¡rigorous ¡benchmark ¡for ¡

cyber ¡security ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

19 ¡

Thank ¡you! ¡

Dumitraș ¡& ¡Neam=u ¡:: ¡Experimental ¡Challenges ¡in ¡Cyber ¡Security ¡

20 ¡

Tudor ¡Dumitraș ¡

http://www.ece.cmu.edu/~tdumitra ¡ tudor_dumitras@symantec.com ¡ ¡ ¡ ¡@tudor_dumitras ¡