ExecScent: Mining for New C&C Domains in Live Networks - - PowerPoint PPT Presentation

▶
execscent mining for new c c domains in live networks
SMART_READER_LITE
LIVE PREVIEW

ExecScent: Mining for New C&C Domains in Live Networks - - PowerPoint PPT Presentation

May 06, 2023 161 likes •507 views

ExecScent: Mining for New C&C Domains in Live Networks with Adap?ve Control Protocol Templates Terry Nelms 1,2 , Roberto Perdisci 3,2 , Mustaque Ahamad 2,4 1

slide-1
SLIDE 1

ExecScent: ¡Mining ¡for ¡New ¡C&C ¡Domains ¡ in ¡Live ¡Networks ¡with ¡Adap?ve ¡Control ¡ Protocol ¡Templates ¡

Terry ¡Nelms1,2, ¡Roberto ¡Perdisci3,2, ¡Mustaque ¡Ahamad2,4 ¡

1Damballa ¡Inc. ¡ 2Georgia ¡Ins?tute ¡of ¡Technology, ¡College ¡of ¡Compu?ng ¡ 3University ¡of ¡Georgia ¡– ¡Dept. ¡of ¡Computer ¡Science ¡ 4New ¡York ¡University ¡Abu ¡Dhabi ¡

slide-2
SLIDE 2

Modern Malware Networking

8/23/13 ¡ 2 ¡

Web Proxy Enterprise Network C&C badguy.com 192.168.1.2

slide-3
SLIDE 3

Malware Network Detection Methods

  • Anomaly-­‑Based ¡
  • Domain-­‑Based ¡
  • URL-­‑Regex ¡

¡

8/23/13 ¡ 3 ¡

slide-4
SLIDE 4

ExecScent Goals & Observations

  • Goals: ¡

– Network ¡detec?on ¡domains ¡& ¡hosts. ¡ – Malware ¡family ¡aWribu?on. ¡

  • Observa?ons: ¡

– C&C ¡protocol ¡changes ¡infrequently. ¡ – HTTP ¡C&C ¡applica?on ¡layer ¡protocol. ¡

¡

8/23/13 ¡ 4 ¡

slide-5
SLIDE 5

Adaptive Control Protocol Templates

  • Structure ¡of ¡the ¡protocol. ¡

¡

  • Self-­‑tuning. ¡
  • En?re ¡HTTP ¡request. ¡

8/23/13 ¡ 5 ¡

slide-6
SLIDE 6

ExecScent Overview

8/23/13 ¡ 6 ¡

ExecScent (learning) Malware Traffic Traces Adaptive (self-tuning) Control Protocol Templates

...

Background Network Traffic Enterprise Network

slide-7
SLIDE 7

ExecScent Overview

8/23/13 ¡ 7 ¡

ExecScent (learning) Malware Traffic Traces Adaptive (self-tuning) Control Protocol Templates

...

Background Network Traffic

HTTP(S) Traffic

Web Proxy Enterprise Network template matching C&C

slide-8
SLIDE 8

ExecScent Overview

8/23/13 ¡ 8 ¡

ExecScent (learning) Malware Traffic Traces Adaptive (self-tuning) Control Protocol Templates

...

Background Network Traffic

HTTP(S) Traffic

Web Proxy Enterprise Network template matching C&C

Specificity Similarity

slide-9
SLIDE 9

ExecScent Overview

8/23/13 ¡ 9 ¡

ExecScent (learning) Malware Traffic Traces Adaptive (self-tuning) Control Protocol Templates

...

Background Network Traffic

HTTP(S) Traffic

Web Proxy Enterprise Network template matching C&C

C&C Domains Infected Hosts

slide-10
SLIDE 10

Template Learning Process

Request Clustering Malware C&C Traces Request Generalization Generate Control Protocol Templates Labeled Control Protocol Templates Labeled C&C Domains Background Network Traffic

8/23/13 ¡ 10 ¡

slide-11
SLIDE 11

Malware C&C Traces

Request Clustering Malware C&C Traces Request Generalization Generate Control Protocol Templates Labeled Control Protocol Templates Labeled C&C Domains Background Network Traffic

8/23/13 ¡ 11 ¡

slide-12
SLIDE 12

Request Generalization

Request Clustering Malware C&C Traces Request Generalization Generate Control Protocol Templates Labeled Control Protocol Templates Labeled C&C Domains Background Network Traffic

8/23/13 ¡ 12 ¡

slide-13
SLIDE 13

Request Generalization

Request 1: GET /Ym90bmV0DQo=/cnc.php?v=121&cc=IT Host: www.bot.net User-Agent: 680e4a9a7eb391bc48118baba2dc8e16 ... Request 2: GET /bWFsd2FyZQ0KDQo=/cnc.php?v=425&cc=US Host: www.malwa.re User-Agent: dae4a66124940351a65639019b50bf5a ... Request 1: GET /<Base64;12>/cnc.php?v=<Int;3>&cc=<Str;2> Host: www.bot.net User-Agent: <Hex;32> ... Request 2: GET /<Base64;16>/cnc.php?v=<Int;3>&cc=<Str;2> Host: www.malwa.re User-Agent: <Hex;32> ...

(a) (b)

8/23/13 ¡ 13 ¡

slide-14
SLIDE 14

Request Clustering

Request Clustering Malware C&C Traces Request Generalization Generate Control Protocol Templates Labeled Control Protocol Templates Labeled C&C Domains Background Network Traffic

8/23/13 ¡ 14 ¡

slide-15
SLIDE 15

Labeled C&C Domains

Request Clustering Malware C&C Traces Request Generalization Generate Control Protocol Templates Labeled Control Protocol Templates Labeled C&C Domains Background Network Traffic

8/23/13 ¡ 15 ¡

slide-16
SLIDE 16

Labeled C&C Domains

Request Clustering Malware C&C Traces Request Generalization Generate Control Protocol Templates Labeled Control Protocol Templates Labeled C&C Domains Background Network Traffic

8/23/13 ¡ 16 ¡

slide-17
SLIDE 17

Generating CPTs

Request Clustering Malware C&C Traces Request Generalization Generate Control Protocol Templates Labeled Control Protocol Templates Labeled C&C Domains Background Network Traffic

8/23/13 ¡ 17 ¡

slide-18
SLIDE 18

Generating CPTs

8/23/13 ¡ 18 ¡

Malware-A Malware-B Malware-E Unlabeled Unlabeled Malware-C Unlabeled Unlabeled Unlabeled Unlabeled Malware-D Malware-F

slide-19
SLIDE 19

Labeled CPTs

Request Clustering Malware C&C Traces Request Generalization Generate Control Protocol Templates Labeled Control Protocol Templates Labeled C&C Domains Background Network Traffic

8/23/13 ¡ 19 ¡

slide-20
SLIDE 20

Labeled CPT

1) Median URL path: /<Base64;14>/cnc.php 2) URL query component: {v=<Int,3>, cc=<String;2>} 3) User Agent: {<Hex;32>} 4) Other headers: {(Host;13), (Accept-Encoding;8)} 5) Dst nets: {172.16.8.0/24, 10.10.4.0/24, 192.168.1.0/24}

URL regex: GET /.*\?(cc|v)= Background traffic profile: specificity scores used to adapt the CPT to the deployment environment Malware family: {Trojan-A, BotFamily-1}

8/23/13 ¡ 20 ¡

slide-21
SLIDE 21

Template Matching

  • Similarity ¡ ¡

– Measures ¡likeness ¡ – Components ¡ – Weighted ¡average ¡ – Match ¡threshold ¡

  • Specificity ¡ ¡

– Measures ¡uniqueness ¡ – Dynamic ¡weights ¡ – Self-­‑tuning ¡

8/23/13 ¡ 21 ¡

Input: ¡ ¡req, ¡CPT ¡ ¡ Similarity: ¡ ¡s(reqi, ¡CPTi), ¡ ¡ ¡ ¡ for ¡each ¡component ¡i ¡ ¡ Specificity: ¡ ¡δ(reqi, ¡CPTi), ¡ for ¡each ¡component ¡i ¡ ¡ Match-­‑Score: ¡ ¡f(sim, ¡spec) ¡ ¡ If ¡Match-­‑Score ¡> ¡Θ: ¡ ¡ ¡ ¡ ¡return ¡C&C ¡Request ¡

slide-22
SLIDE 22

Similarity & Specificity Examples

  • Example ¡A ¡(High ¡Similarity, ¡Low ¡Specificity): ¡

– /index.html ¡-­‑ ¡Request ¡ – /index.html ¡-­‑ ¡CPT ¡

  • Example ¡B ¡(Low ¡Similarity, ¡High ¡Specificity): ¡

– /downloads/9908-­‑7623-­‑0098/images ¡-­‑ ¡Request ¡ ¡ – /VGVycnkgTmVsbXMK ¡(<Base64, ¡16>) ¡-­‑ ¡CPT ¡

  • Example ¡C ¡(High ¡Similarity, ¡High ¡Specificity) ¡

– /Ui4gUGVyZGlzY2kK ¡(<Base64, ¡16>)-­‑ ¡Request ¡ – /VGVycnkgTmVsbXMK ¡(<Base64, ¡16>)-­‑ ¡CPT ¡

8/23/13 ¡ 22 ¡

slide-23
SLIDE 23

Evaluation Deployment Networks

8/23/13 ¡ 23 ¡

UNetA UNetB FNet Distinct Src IPs 7, 893 27, 340 7, 091 HTTP Requests 34, 871, 003 66, 298, 395 58, 019, 718 Distinct Domains 149, 481 238, 014 113, 778

  • Evalua?on ¡ran ¡for ¡two ¡weeks. ¡

¡

  • CPTs ¡updated ¡daily ¡beginning ¡two ¡weeks ¡

prior ¡to ¡evalua?on. ¡

slide-24
SLIDE 24

Ground Truth

  • Commercial ¡C&C ¡blacklist. ¡
  • Pruned ¡Alexa ¡top ¡1 ¡million. ¡
  • Professional ¡threat ¡analysts. ¡

8/23/13 ¡ 24 ¡

slide-25
SLIDE 25

Finding C&C Domains

8/23/13 ¡ 25 ¡

0 ¡ 10 ¡ 20 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡ 70 ¡ 80 ¡ 0.62 ¡ 0.65 ¡ 0.73 ¡ 0.84 ¡ C&C ¡Domains ¡ Match ¡Threshold ¡ UNetA ¡ UNetB ¡ Fnet ¡

FP ¡≈ ¡.01% ¡ FP ¡= ¡0.0% ¡ FP ¡≈ ¡.02% ¡ FP ¡≈ ¡.015% ¡

slide-26
SLIDE 26

New vs. Blacklist Domains

8/23/13 ¡ 26 ¡

0% ¡ 10% ¡ 20% ¡ 30% ¡ 40% ¡ 50% ¡ 60% ¡ 70% ¡ 80% ¡ 90% ¡ 100% ¡ UNetA ¡ UNetB ¡ Fnet ¡ Blacklist ¡C&C ¡ New ¡C&C ¡

slide-27
SLIDE 27

New vs. Blacklist Infected Hosts

8/23/13 ¡ 27 ¡

0% ¡ 10% ¡ 20% ¡ 30% ¡ 40% ¡ 50% ¡ 60% ¡ 70% ¡ 80% ¡ 90% ¡ 100% ¡ UNetA ¡ UNetB ¡ Fnet ¡ Blacklist ¡Infec?ons ¡ New ¡Infec?ons ¡

slide-28
SLIDE 28

ISP Deployment

  • Deployed ¡the ¡65 ¡newly ¡discovered ¡C&C ¡

domains ¡on ¡6 ¡ISP ¡networks ¡for ¡one ¡week. ¡

  • Counted ¡the ¡number ¡of ¡dis?nct ¡source ¡IP ¡

addresses ¡contac?ng ¡the ¡domains ¡daily. ¡

  • Iden?fied ¡25,584 ¡new ¡poten?al ¡malware ¡

infec?ons. ¡

8/23/13 ¡ 28 ¡

slide-29
SLIDE 29

Model Comparison - True Positives

8/23/13 ¡ 29 ¡

slide-30
SLIDE 30

Model Comparison – False Positives

8/23/13 ¡ 30 ¡

slide-31
SLIDE 31

Limitations

  • Dependence ¡on ¡malware ¡traces ¡and ¡labeled ¡
  • domains. ¡ ¡
  • Implement ¡a ¡new ¡protocol ¡when ¡the ¡C&C ¡domain ¡
  • r ¡IP ¡address ¡changes. ¡
  • Blend ¡into ¡background ¡traffic. ¡
  • Inject ¡noise ¡into ¡the ¡protocol. ¡

8/23/13 ¡ 31 ¡

slide-32
SLIDE 32

Conclusion

  • Majority ¡of ¡C&C ¡domains ¡and ¡infec?ons ¡

discovered ¡were ¡not ¡on ¡a ¡blacklist. ¡

  • C&C ¡domains ¡and ¡IP ¡addresses ¡change ¡more ¡

frequently ¡than ¡the ¡protocol ¡structure. ¡

  • Adap?ve ¡templates ¡yield ¡a ¡beWer ¡trade-­‑off ¡

between ¡true ¡and ¡false ¡posi?ves. ¡

  • ExecScent ¡is ¡currently ¡deployed. ¡

8/23/13 ¡ 32 ¡

slide-33
SLIDE 33

Questions?

8/23/13 ¡ 33 ¡