Introduc:on protocol ? Iden:fica:on based on payload - - PowerPoint PPT Presentation

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Probabilis:c ¡Iden:fica:on ¡for ¡Hard ¡to ¡classify ¡Protocol ¡

¡Elie ¡Bursztein ¡

PhD ¡Student ¡ ¡LSV ¡ENS-­‑CACHAN ¡CNRS ¡INRIA ¡DGA ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Outline ¡

• What ¡is ¡a ¡hard ¡to ¡classify ¡

protocol ¡? ¡

Introduc:on ¡

• Iden:fica:on ¡based ¡on ¡payload ¡

analysis ¡

Payload ¡

• Iden:fica:on ¡based ¡on ¡

discriminator ¡

Classifier ¡

• Combining ¡techniques ¡for ¡a ¡beOer ¡

classifica:on ¡

Combining ¡ Techniques ¡

• What ¡is ¡next ¡? ¡

Conclusion ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

2 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

The ¡Internet ¡Galaxy ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

3 ¡

Opte ¡project ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Knowing ¡what ¡is ¡going ¡on ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

4 ¡

Internet ¡ Users ¡ Monitoring ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡ The ¡impact ¡of ¡fur:ve ¡protocols ¡on ¡a ¡large ¡university ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

5 ¡

University ¡of ¡Calgary ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

The ¡IANA ¡ ¡ Internet ¡Assigned ¡Numbers ¡ Authority ¡(IANA) ¡ Founded ¡in ¡1970 ¡ Manage ¡DNS ¡root ¡ Coordinate ¡IP ¡and ¡AS ¡ ¡ Assign ¡a ¡standard ¡port ¡to ¡ protocol ¡ Jon ¡Postel ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

6 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Some ¡well ¡known ¡ports ¡

Protocol ¡ Port ¡ HTTP ¡ 80 ¡ POP ¡ 110 ¡ FTP ¡ 21 ¡ SMTP ¡ 25 ¡ SMB/CISF ¡ 139 ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

7 ¡

But ¡what ¡is ¡the ¡default ¡port ¡for ¡Emule ¡??? ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Protocols ¡Examples ¡ Easy ¡to ¡classify ¡ Use ¡fixed ¡port ¡ Have ¡an ¡open ¡specifica:on ¡ Well ¡know ¡message ¡type ¡and ¡ size ¡ ¡ Hard ¡to ¡classify ¡ Use ¡dynamic ¡port ¡ Hijhack ¡well ¡known ¡port ¡ Introduce ¡randomness ¡in ¡ message ¡ Use ¡cryptography ¡to ¡avoid ¡ payload ¡analysis ¡ ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

8 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Mo:va:on ¡for ¡fur:ve ¡protocol ¡

Figh:ng ¡coercion ¡ Preserving ¡freedom ¡of ¡speech ¡ Bypass ¡connec:vity ¡restric:on ¡ Exchange ¡illegal ¡data ¡ “This ¡helps ¡against ¡situa5ons ¡were ¡the ¡eMule ¡ Protocol ¡is ¡unjustly ¡discriminated ¡or ¡even ¡ completely ¡blocked ¡from ¡a ¡network ¡by ¡iden5fying ¡ its ¡packets.” ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

9 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Traffic ¡in ¡Germany ¡(2007) ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

10 ¡

Ipoque ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

P2P ¡repar::on ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

11 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

P2P ¡usage ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

12 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Use ¡of ¡cryptography ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

13 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Payload ¡Classifica:on ¡

Inspect ¡the ¡packet ¡payload ¡ Known ¡to ¡be ¡the ¡most ¡accurate ¡method ¡ Payload ¡not ¡always ¡available ¡

Juridical ¡reason ¡ Encryp:on ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

14 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Example ¡of ¡Signature ¡

¡Nice ¡signature ¡ pcmatch ¡ssh ¡m/^SSH-­‑([.\d]+)-­‑/ ¡i/protocol ¡$1/ ¡p|ssh| ¡ A ¡not ¡so ¡nice ¡signature ¡

pcmatch ¡edonkey ¡m`^[\xc5\xd4\xe3-­‑\xe5].?.?.?.?([\x01\x02\x05\x14\x15\x16\x18\x19 ¡ \x1a\x1b\x1c\x20\x21\x32\x33\x34\x35\x36\x38\x40\x41\x42\x43\x46\x47\x48\x49\x4a ¡ \x4b\x4c\x4d\x4e\x4f\x50\x51\x52\x53\x54\x55\x56\x57\x58[\x60\x81\x82\x90\x91\x9 ¡ 3\x96\x97\x98\x99\x9a\x9b\x9c\x9e\xa0\xa1\xa2\xa3\xa4]|\x59................?[ ¡-­‑~ ¡ ]|\x96....$)` ¡ ¡f/p2p/ ¡ ¡i/eDonkey2000 ¡or ¡emule ¡P2P ¡filesharing ¡generic ¡signature/ ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

15 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Combining ¡Payload ¡Score ¡

Payload ¡score ¡use ¡a ¡weighted ¡moving ¡average ¡ formula: ¡ This ¡formula ¡take ¡into ¡account ¡signature ¡ confidence ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

16 ¡

Confidence ¡in ¡signature ¡ ¡ Number ¡of ¡payload ¡ Posi:on ¡of ¡the ¡match ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

HTTP ¡Tunnel ¡

CONNECT ¡irc.********.org:6667 ¡HTTP/1.0 ¡ HTTP/1.0 ¡200 ¡Connec:on ¡established ¡ USER ¡0 ¡0 ¡0 ¡:: ¡ ¡ NICK ¡**** ¡ ¡ :irc.********.org ¡001 ¡**** ¡:Welcome ¡to ¡the ¡ ****!0@xxx ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

17 ¡

HTTP ¡ IRC ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Classifier ¡

Analyze ¡the ¡shape ¡of ¡the ¡session ¡ Use ¡discriminators ¡ ¡

Packet ¡size ¡ Packet ¡delay ¡ Packet ¡Entropy ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

18 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

HTTP ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

19 ¡

0 ¡ 200 ¡ 400 ¡ 600 ¡ 800 ¡ 1000 ¡ 1200 ¡ 1400 ¡ 1600 ¡ 1 ¡ 4 ¡ 7 ¡ 10 ¡ 13 ¡ 16 ¡ 19 ¡ 22 ¡ 25 ¡ 28 ¡ 31 ¡ 34 ¡ 37 ¡ 40 ¡ 43 ¡ 46 ¡ 49 ¡ 52 ¡ 55 ¡ 58 ¡ 61 ¡ 64 ¡ 67 ¡ 70 ¡ 73 ¡ 76 ¡ 79 ¡ 82 ¡ 85 ¡ 88 ¡ 91 ¡ 94 ¡ 97 ¡ 100 ¡ packet ¡size ¡ packet ¡number ¡

HTTP ¡server ¡stream ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

IRC ¡server ¡Packet ¡Size ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

20 ¡

0 ¡ 200 ¡ 400 ¡ 600 ¡ 800 ¡ 1000 ¡ 1200 ¡ 1 ¡ 5 ¡ 9 ¡ 13 ¡ 17 ¡ 21 ¡ 25 ¡ 29 ¡ 33 ¡ 37 ¡ 41 ¡ 45 ¡ 49 ¡ 53 ¡ 57 ¡ 61 ¡ 65 ¡ 69 ¡ 73 ¡ 77 ¡ 81 ¡ 85 ¡ 89 ¡ 93 ¡ 97 ¡ packet ¡size ¡ packet ¡number ¡

IRC ¡server ¡stream ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Building ¡Profile ¡

¡Using ¡22 ¡different ¡set ¡of ¡profiles ¡by ¡protocol ¡

A ¡set ¡for ¡each ¡packet ¡from ¡1 ¡to ¡10 ¡for ¡each ¡stream ¡ Clustering ¡is ¡done ¡with ¡the ¡K-­‑means ¡algorithm ¡ Lower ¡and ¡upper ¡bound ¡of ¡each ¡discriminator ¡

ICMP ¡Ping ¡profile ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

21 ¡

Packet ¡size ¡ Interval ¡between ¡ packets ¡ Packet ¡Entropy ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Regular ¡ICMP ¡Ping ¡Reply ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

22 ¡

0 ¡ 10 ¡ 20 ¡ 30 ¡ 40 ¡ 50 ¡ 60 ¡ 70 ¡ 1 ¡ 5 ¡ 9 ¡ 13 ¡ 17 ¡ 21 ¡ 25 ¡ 29 ¡ 33 ¡ 37 ¡ 41 ¡ 45 ¡ 49 ¡ 53 ¡ 57 ¡ 61 ¡ 65 ¡ 69 ¡ 73 ¡ 77 ¡ 81 ¡ 85 ¡ 89 ¡ 93 ¡ 97 ¡ packet ¡size ¡ packet ¡number ¡

ICMP ¡Ping ¡server ¡stream ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Ptunnel ¡Server ¡Stream ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

23 ¡

0 ¡ 200 ¡ 400 ¡ 600 ¡ 800 ¡ 1000 ¡ 1200 ¡ 1 ¡ 5 ¡ 9 ¡ 13 ¡ 17 ¡ 21 ¡ 25 ¡ 29 ¡ 33 ¡ 37 ¡ 41 ¡ 45 ¡ 49 ¡ 53 ¡ 57 ¡ 61 ¡ 65 ¡ 69 ¡ 73 ¡ 77 ¡ 81 ¡ 85 ¡ 89 ¡ 93 ¡ 97 ¡ packet ¡size ¡ packet ¡number ¡

ICMP ¡tunnel ¡sever ¡stream ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Ping ¡reply ¡delay ¡between ¡packet ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

24 ¡

997.5 ¡ 998 ¡ 998.5 ¡ 999 ¡ 999.5 ¡ 1000 ¡ 1000.5 ¡ 1001 ¡ 1001.5 ¡ 1002 ¡ 1002.5 ¡ 1 ¡ 5 ¡ 9 ¡ 13 ¡ 17 ¡ 21 ¡ 25 ¡ 29 ¡ 33 ¡ 37 ¡ 41 ¡ 45 ¡ 49 ¡ 53 ¡ 57 ¡ 61 ¡ 65 ¡ 69 ¡ 73 ¡ 77 ¡ 81 ¡ 85 ¡ 89 ¡ 93 ¡ 97 ¡ interval ¡in ¡ms ¡ packet ¡number ¡

ICMP ¡ping ¡server ¡stream ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Delay ¡between ¡packet ¡in ¡Ptunnel ¡session ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

25 ¡

0 ¡ 200 ¡ 400 ¡ 600 ¡ 800 ¡ 1000 ¡ 1200 ¡ 1 ¡ 5 ¡ 9 ¡ 13 ¡ 17 ¡ 21 ¡ 25 ¡ 29 ¡ 33 ¡ 37 ¡ 41 ¡ 45 ¡ 49 ¡ 53 ¡ 57 ¡ 61 ¡ 65 ¡ 69 ¡ 73 ¡ 77 ¡ 81 ¡ 85 ¡ 89 ¡ 93 ¡ 97 ¡ Interval ¡in ¡ms ¡ packet ¡number ¡

ICMP ¡tunnel ¡server ¡stream ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Combining ¡techniques ¡

Combining ¡techniques ¡to ¡obtain ¡a ¡beOer ¡ iden:fica:on ¡ Implementa:on ¡use ¡the ¡following ¡confidence ¡ value: ¡ ¡1 ¡5 ¡10 ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

26 ¡

Port ¡heuris:c ¡ score ¡ Classifier ¡score ¡ Payload ¡score ¡ port ¡heuris:c ¡ confidence ¡ Classsifier ¡ confidence ¡ Payload ¡ confidence ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Example ¡of ¡iden:fica:on ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

27 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Evalua:on ¡against ¡Residen:al ¡Traffic ¡without ¡ advanced ¡inspec:on ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

28 ¡

HTTP ¡ 28% ¡ BitTorrent ¡ 0% ¡ Edonkey ¡ 6% ¡ Unknown ¡ 54% ¡ Others ¡ 12% ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Residen:al ¡traffic ¡with ¡advanced ¡inspec:on ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

29 ¡

HTTP ¡ 31% ¡ BitTorrent ¡ 5% ¡ Edonkey ¡ 37% ¡ Unknown ¡ 25% ¡ Others ¡ 2% ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Future ¡

More ¡iden:fica:on ¡method ¡

Number ¡of ¡connec:ons ¡ra:on ¡(in/out) ¡ Connec:on ¡sequences ¡

When ¡Random ¡is ¡too ¡random ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

30 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Conclusion ¡

Accurate ¡classifica:on ¡is ¡an ¡increasing ¡issue ¡ A ¡lot ¡need ¡to ¡be ¡done ¡to ¡pace ¡with ¡evasion ¡ techniques ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

31 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

Ques:ons ¡

Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

32 ¡

05/15/2008 ¡

Elie ¡ ¡Bursztein ¡ ¡

eb@lsv.ens-­‑cachan.fr ¡

Protocol ¡Iden:fica:on ¡ WISTP ¡2008 ¡

05/15/2008 ¡ Outline: ¡Introduc:on ¡> ¡Payload ¡> ¡Classifier ¡> ¡Combining ¡> ¡Conclusion ¡

33 ¡

Host ¡ Client ¡ Serveur ¡ P2P ¡node ¡