Arnaud Becart ip-label 11/9/11 RUM Synthe2c Tests You - - PowerPoint PPT Presentation

11/9/11

Arnaud ¡Becart ¡ ip-­‑label ¡

RUM ¡ Synthe2c ¡Tests ¡

How ¡

• Synthe2c ¡/ ¡Real ¡browsers ¡

(Renderstart ¡+ ¡onload ¡+ ¡Full ¡page) ¡

• RUM ¡(onload ¡only) ¡
• Advanced ¡diagnos2cs ¡(video, ¡HTTP ¡

logs, ¡headers, ¡code…) ¡

• Code ¡OpBmizaBon ¡
• Build ¡SLA ¡with ¡3rd ¡Party ¡

You ¡should ¡measure ¡

• HTML ¡and ¡RIA ¡(Flash…) ¡
• Page ¡Rendering ¡
• Onload ¡+ ¡Full ¡Page ¡Load ¡
• InteracBons ¡in ¡your ¡page ¡
• Third ¡Party ¡content ¡

Web ¡is ¡complex… ¡

But ¡not ¡so ¡much ¡from ¡a ¡User ¡Perspec2ve ¡

Before ¡ AGer ¡

Client GET /psp/CRPRD/?cmd=login&languageCd=ENG HTTP/1.1 Accept: image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x- shockwave-flash, application/x-ms-application, application/x-ms-xbap, application/ vnd.ms-xpsdocument, application/xaml+xml, */* Accept-Language: fr User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729) Accept-Encoding: gzip, deflate Host: dsxeco.3ds.com Connection: Keep-Alive Server

HTTP/1.0 302 Moved Temporarily

Date: Wed, 20 Apr 2011 13:04:24 GMT Location: https://xxxxxxx.com/psp/CRPRD/?cmd=login&languageCd=ENG& Content-Type: text/html Expires: Thu, 01 Dec 1994 16:00:00 GMT Set-Cookie: CRPRDWEB1-PORTAL- PSJSESSIONID=2l97NnhDJhNnllrwQLsM1LJHq9QXqY58!786913731; path=/

Connection: close

Client GET /psp/CRPRD/?cmd=login&languageCd=ENG HTTP/1.1 Host: dsxeco.3ds.com User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.9.2.16) Gecko/20110319 Firefox/3.6.16 (.NET CLR 3.5.30729) Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: EN Accept-Encoding: gzip,deflate Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7 Keep-Alive: 115 Connection: keep-alive Server

HTTP/1.1 302 Moved Temporarily

Date: Wed, 20 Apr 2011 13:11:13 GMT Location: https://xxxxxxxx.com/psp/CRPRD/?cmd=login&languageCd=ENG& Content-Type: text/html Cache-Control: no-cache Set-Cookie: CRPRDWEB1-PORTAL- PSJSESSIONID=y4RYNnbRTV44lR6gzSYQv902TRXfW1kq!786913731; path=/ Transfer-Encoding: chunked

+ Keepalive

Before ¡ AGer ¡

Before ¡ AGer ¡

+30% ¡

Web ¡Server ¡ Conf ¡Change ¡

Page ¡+ ¡ ¡ CDN ¡op2miza2on ¡

18% ¡to ¡41% ¡perf ¡gain ¡

… ¡they’re ¡moving... ¡ They’re ¡everywhere… ¡

…they ¡expect ¡different ¡response ¡2mes ¡

How ¡

• SyntheBc ¡: ¡where ¡your ¡users ¡are ¡
• RUM, ¡qualifying ¡: ¡ ¡
• Actual ¡user’s ¡bandwidth ¡
• Actual ¡processing ¡capaci2es ¡
• Isolate ¡Mobiles/Tablets ¡
• Isolate ¡Synthe2c ¡tests ¡

Measuring ¡Loca2on ¡

Good ¡when ¡you ¡know ¡the ¡ User ¡CONTEXT ¡

• Last ¡Mile ¡≠ ¡Backbone ¡
• 20 ¡Mb ¡≠ ¡100 ¡Mb ¡≠ ¡actual ¡Mb ¡
• 2GHz, ¡4GB ¡RAM ¡≠ ¡actual ¡resource ¡
• Telefonica ¡≠ ¡Vodafone ¡≠ ¡DTAG ¡
• Fixed ¡user ¡≠ ¡Mobile ¡user ¡
• MAC ¡≠ ¡PC ¡≠ ¡Tablet ¡≠ ¡Smartphone ¡
• IE ¡≠ ¡Firefox ¡≠ ¡Chrome ¡≠ ¡safari ¡

• ¡34 ¡browsers ¡
• 6.5 ¡M ¡monthly ¡visitors ¡
• Driving ¡75% ¡of ¡its ¡revenue ¡
• n ¡the ¡web ¡

Exhaus2ve ¡Browser ¡ monitoring ¡

How ¡

• SyntheBc ¡: ¡up-­‑to-­‑date ¡(real) ¡

browsers, ¡benchmark ¡

• ¡RUM ¡: ¡
• Truly ¡exhaus2ve ¡
• Fast ¡changing ¡market ¡shares ¡
• Real-­‑Time ¡(release ¡valida2on) ¡
• Correla2on ¡with ¡analy2cs ¡ ¡

You ¡should ¡measure ¡

• Compa2bility ¡across ¡releases ¡
• First ¡Bme ¡/ ¡repeated ¡view ¡
• Cross-­‑browsers ¡tesBng ¡
• Real ¡ browsers ¡ observing ¡ (in ¡ a ¡

known ¡context) ¡

• Mobile ¡browsers ¡

Mobile ¡App ¡ ¡+ ¡Data ¡App ¡+ ¡Voice ¡App… ¡

A ¡True ¡Mobile ¡Monitoring ¡story ¡

Many ¡devices… ¡ Many ¡OS… ¡

iOS5 ¡ ¡vs ¡iOS ¡3.1 ¡ ¡

+ ¡60% ¡performance ¡ ¡gain ¡ ¡

measured ¡with ¡ip-­‑label ¡Cloud ¡Observer ¡

How ¡to ¡make ¡it ¡simple ¡? ¡

• SyntheBc ¡: ¡Real-­‑device ¡& ¡

technology ¡independent ¡monitoring ¡

• ¡RUM ¡: ¡
• Quite ¡exhaus2ve ¡
• For ¡a ¡limited ¡cost ¡
• Automa2c ¡update ¡of ¡devices ¡

(js ¡compliant) ¡& ¡new ¡OS ¡

Why ¡is ¡mobile ¡ monitoring ¡complex ¡? ¡

• TesBng ¡a ¡site ¡or ¡an ¡app ¡
• Many ¡devices ¡& ¡OS ¡
• 3G ¡/ ¡4G ¡/ ¡WIFI ¡
• Emulator ¡ Vs ¡ Real ¡ Device ¡

monitoring ¡? ¡

• Yet ¡it’s ¡criBcal ¡ ¡

Users ¡ expect ¡ an ¡ equal ¡ response ¡ <me ¡than ¡from ¡desktop ¡

More ¡& ¡More ¡ Web-­‑Based ¡internal ¡Apps ¡ Web ¡Services ¡ based ¡communica2ons ¡ What ¡about ¡my ¡employees ¡? ¡

How ¡? ¡

• Internal ¡Synthe2c ¡

DIY ¡(license) ¡or ¡SaaS ¡ ¡

• Internal ¡RUM ¡: ¡
• Exhaus2ve ¡
• Very ¡limited ¡cost ¡
• Internal ¡SLA ¡

You ¡should ¡measure ¡

• Employees’ ¡produc2vity ¡ ¡

¡(can ¡they ¡use ¡their ¡applicaBons ¡?) ¡

• Measuring ¡real ¡usages ¡: ¡ ¡
• Browser ¡/ ¡Same ¡se`ngs ¡
• WorkstaBon ¡/ ¡Virtual ¡session ¡
• Environment ¡ (internal ¡ network) ¡

Web ¡+ ¡External ¡App ¡usages ¡

Internal ¡RUM ¡

Website ¡: ¡1 ¡million ¡ visitors/day ¡ + ¡82 ¡physical ¡shops ¡ ¡ ¡6000 ¡worksta2ons ¡ Results ¡: ¡

• Hardware ¡upgrade ¡
• Browser ¡updates ¡
• Release ¡valida2on ¡

¡ ¡13s ¡ ¡6s ¡per ¡page ¡

Origin ¡Hos2ng ¡ New ¡Hos2ng ¡

+ ¡40% ¡

CDN ¡

+66% ¡ 2/ ¡How ¡to ¡jus2fy ¡the ¡ cost ¡and ¡calculate ¡ROI ¡? ¡ 3/ ¡Benchmarking ¡to ¡choose ¡the ¡ good ¡CDN ¡at ¡the ¡good ¡place ¡ ¡

1/ ¡ ¡Do ¡I ¡need ¡a ¡CDN ¡? ¡

How ¡

• Synthe2c ¡: ¡worldwide, ¡mulB-­‑carrier ¡
• Tracking ¡only ¡CDN ¡performance ¡
• Benchmarking ¡
• RUM ¡where ¡Robots ¡are ¡too ¡

expensive ¡or ¡complex ¡to ¡deploy ¡ … ¡don’t ¡forget ¡Video ¡Content! ¡

You ¡should ¡measure ¡

• CDN ¡ effecBveness ¡ on ¡ a ¡

locaBon/area ¡

• ROI ¡CalculaBon ¡
• SLA ¡based ¡on ¡actual ¡users ¡

Real-­‑2me ¡or ¡ Catch-­‑Up ¡TV ¡

40 ¡sec ¡before ¡ playing ¡a ¡live ¡ content ¡

Streaming Servers Robot Robot

Stream Provider

Mobile Network

Video ¡on ¡ mobile ¡ Is ¡video ¡cri2cal ¡to ¡your ¡business ¡? ¡

You ¡should ¡measure ¡

• Buffering ¡Bme ¡
• Frame-­‑rate ¡& ¡image ¡quality ¡
• Breakdowns ¡during ¡playing ¡
• Real-­‑2me ¡/ ¡Live ¡Channels ¡
• VOD ¡/ ¡Progressive ¡Download ¡
• Mobile ¡video ¡/ ¡adapBve ¡

streaming ¡

How ¡

• Synthe2c ¡: ¡video/audio ¡streams, ¡live ¡

TV, ¡VOD ¡Portals ¡

• Image ¡quality ¡(MOS) ¡with ¡or ¡w/o ¡

reference ¡

• RUM ¡: ¡stream ¡quality ¡delivered ¡to ¡anyone ¡

MOS PESQ

ITU P.862.1

VOIP PSTN ISDN Mobile

Speech ¡Quality ¡

Call ¡Center ¡App ¡& ¡IVR ¡availability ¡

Is ¡voice ¡cri2cal ¡to ¡your ¡business ¡? ¡

How ¡

• TesBng ¡real ¡phone ¡calls ¡
• Monitoring ¡IP ¡& ¡PSTN ¡lines ¡
• Universal ¡& ¡objecBve ¡quality ¡

evaluaBon ¡(MOS ¡PESQ) ¡

• Monitoring ¡InteracBve ¡Voice ¡

Responder ¡(IVR) ¡and ¡call ¡centers ¡

• Mixing ¡Data ¡& ¡Voice ¡monitoring ¡

You ¡should ¡measure ¡

• Voice ¡
• f ¡

the ¡ Customer ¡ (VOC) ¡: ¡can ¡they ¡reach ¡you ¡? ¡

• Click-­‑2-­‑call ¡
• Inbound/oubound ¡calls ¡
• Speech ¡quality ¡
• Call ¡ center ¡ produc2vity ¡ if ¡

phone ¡ system ¡ or ¡ CRM ¡ are ¡ down ¡

How ¡

• SyntheBc ¡transacBon ¡in ¡a ¡virtual ¡

environment ¡

• External ¡SyntheBc ¡transacBon ¡on ¡a ¡

cloud ¡plalorm ¡

• Load ¡tesBng ¡ ¡: ¡2VCPU ¡= ¡1.2 ¡CPU ¡
• RUM|script ¡based|CloudObserver ¡ ¡
• Third ¡Party ¡SLA ¡calculaBon ¡

You ¡should ¡measure ¡

• A ¡ user ¡ accessing ¡ to ¡ a ¡

virtual ¡or ¡cloud ¡plagorm ¡

• External/Internal ¡

depending ¡on ¡usages ¡

• Physical ¡
• vs. ¡

Virtual ¡ performance ¡& ¡load ¡impact ¡

• SLA ¡achievement? ¡

< 99.9 uptime for end-users

Cloud ¡Monitoring ¡ ¡

Too ¡many ¡KPIs ¡! ¡

A ¡minimum ¡to ¡make ¡decisions ¡

• Sa2sfac2on ¡(EUEM) ¡/ ¡

Apdex ¡

• ¡Sa2sfac2on ¡(actual) ¡
• ¡Conversion ¡
• ¡Revenue ¡

… ¡and ¡be ¡customizable ¡

An ¡simple ¡Dashboard ¡

IP-­‑LABEL ¡ ¡

• Synthe2c ¡
• RUM ¡
• Load ¡Tes2ng ¡
• BAM ¡

OFFICES ¡& ¡PARTNERS ¡ ¡in ¡15 ¡countries ¡

N

• ¡

1 ¡ I n ¡ E u r

• p

e ¡

TRUSTED ¡THIRD-­‑PARTY ¡

Join ¡us ¡ at ¡booth ¡16 ¡