Arnaud Becart ip-label 11/9/11 RUM Synthe2c Tests You - PowerPoint PPT Presentation

Arnaud ¡Becart ¡ ip-­‑label ¡ 11/9/11

RUM ¡ Synthe2c ¡Tests ¡

You ¡should ¡measure ¡ How ¡ • HTML ¡and ¡RIA ¡(Flash…) ¡ • Synthe2c ¡ / ¡Real ¡browsers ¡ (Renderstart ¡+ ¡onload ¡+ ¡Full ¡page) ¡ • Page ¡Rendering ¡ • RUM ¡(onload ¡only) ¡ • Onload ¡+ ¡Full ¡Page ¡Load ¡ • Advanced ¡ diagnos2cs ¡ (video, ¡HTTP ¡ logs, ¡headers, ¡code…) ¡ • InteracBons ¡in ¡your ¡page ¡ • Code ¡OpBmizaBon ¡ • Third ¡Party ¡content ¡ • Build ¡ SLA ¡with ¡3 rd ¡Party ¡ Web ¡is ¡complex… ¡ But ¡not ¡so ¡much ¡from ¡a ¡ User ¡Perspec2ve ¡

Before ¡ AGer ¡ GET /psp/CRPRD/?cmd=login&languageCd=ENG HTTP/1.1 GET /psp/CRPRD/?cmd=login&languageCd=ENG HTTP/1.1 Host: dsxeco.3ds.com Accept: image/gif, image/jpeg, image/pjpeg, image/pjpeg, application/x- shockwave-flash, application/x-ms-application, application/x-ms-xbap, application/ User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.9.2.16) Gecko/20110319 vnd.ms-xpsdocument, application/xaml+xml, */* Firefox/3.6.16 (.NET CLR 3.5.30729) Accept-Language: fr Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: EN Client User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET Client CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729) Accept-Encoding: gzip,deflate Accept-Encoding: gzip, deflate Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7 Host: dsxeco.3ds.com Keep-Alive: 115 Connection: Keep-Alive Connection: keep-alive HTTP/1.0 302 Moved Temporarily HTTP/1.1 302 Moved Temporarily Date: Wed, 20 Apr 2011 13:04:24 GMT Date: Wed, 20 Apr 2011 13:11:13 GMT Location: https://xxxxxxxx.com/psp/CRPRD/?cmd=login&languageCd=ENG& Location: https://xxxxxxx.com/psp/CRPRD/?cmd=login&languageCd=ENG& Content-Type: text/html Content-Type: text/html Server Server Cache-Control: no-cache Expires: Thu, 01 Dec 1994 16:00:00 GMT Set-Cookie: CRPRDWEB1-PORTAL- Set-Cookie: CRPRDWEB1-PORTAL- PSJSESSIONID=y4RYNnbRTV44lR6gzSYQv902TRXfW1kq!786913731; path=/ PSJSESSIONID=2l97NnhDJhNnllrwQLsM1LJHq9QXqY58!786913731; path=/ Connection: close Transfer-Encoding: chunked + Keepalive

Before ¡ AGer ¡

Before ¡ AGer ¡ +30% ¡ Web ¡Server ¡ Conf ¡Change ¡

Page ¡+ ¡ ¡ CDN ¡op2miza2on ¡ 18% ¡to ¡41% ¡perf ¡gain ¡

They’re ¡everywhere… ¡ … ¡they’re ¡moving... ¡

…they ¡expect ¡different ¡response ¡2mes ¡

How ¡ Measuring ¡Loca2on ¡ • SyntheBc ¡ : ¡ where ¡your ¡users ¡are ¡ Good ¡when ¡you ¡know ¡the ¡ User ¡CONTEXT ¡ • RUM , ¡qualifying ¡: ¡ ¡  Actual ¡user’s ¡bandwidth ¡  Last ¡Mile ¡≠ ¡Backbone ¡  Actual ¡processing ¡capaci2es ¡  20 ¡Mb ¡≠ ¡100 ¡Mb ¡≠ ¡actual ¡Mb ¡  Isolate ¡Mobiles/Tablets ¡  2GHz, ¡4GB ¡RAM ¡≠ ¡actual ¡resource ¡  Isolate ¡Synthe2c ¡tests ¡  Telefonica ¡≠ ¡Vodafone ¡≠ ¡DTAG ¡  Fixed ¡user ¡≠ ¡Mobile ¡user ¡  MAC ¡≠ ¡PC ¡≠ ¡Tablet ¡≠ ¡Smartphone ¡  IE ¡≠ ¡Firefox ¡≠ ¡Chrome ¡≠ ¡safari ¡

 ¡34 ¡browsers ¡  6.5 ¡M ¡monthly ¡visitors ¡  Driving ¡75% ¡of ¡its ¡revenue ¡ on ¡the ¡web ¡ Exhaus2ve ¡Browser ¡ monitoring ¡

How ¡ You ¡should ¡measure ¡ • SyntheBc ¡: ¡ up-­‑to-­‑date ¡(real) ¡ • Compa2bility ¡across ¡releases ¡ browsers, ¡benchmark ¡ • First ¡Bme ¡/ ¡ repeated ¡view ¡ • ¡ RUM ¡: ¡ • Cross-­‑browsers ¡tesBng ¡  Truly ¡exhaus2ve ¡  Fast ¡changing ¡market ¡shares ¡ • Real ¡ browsers ¡ observing ¡ (in ¡ a ¡  Real-­‑Time ¡(release ¡valida2on) ¡ known ¡context) ¡  Correla2on ¡with ¡analy2cs ¡ ¡ • Mobile ¡browsers ¡

Mobile ¡App ¡ ¡+ ¡Data ¡App ¡+ ¡Voice ¡App… ¡ A ¡True ¡Mobile ¡Monitoring ¡story ¡

iOS5 ¡ ¡vs ¡iOS ¡3.1 ¡ ¡ + ¡60% ¡ performance ¡ ¡gain ¡ ¡ measured ¡with ¡ip-­‑label ¡Cloud ¡Observer ¡ Many ¡devices… ¡ Many ¡OS… ¡

Why ¡is ¡mobile ¡ How ¡to ¡make ¡it ¡simple ¡? ¡ monitoring ¡complex ¡? ¡ • SyntheBc ¡: ¡ Real-­‑device ¡& ¡ • TesBng ¡a ¡ site ¡or ¡an ¡ app ¡ technology ¡ independent ¡monitoring ¡ • Many ¡devices ¡& ¡OS ¡ • ¡ RUM ¡: ¡ • 3G ¡/ ¡4G ¡/ ¡WIFI ¡  Quite ¡ exhaus2ve ¡ • Emulator ¡ Vs ¡ Real ¡ Device ¡  For ¡a ¡ limited ¡cost ¡ monitoring ¡? ¡  Automa2c ¡update ¡of ¡devices ¡ • Yet ¡it’s ¡criBcal ¡ ¡ (js ¡compliant) ¡& ¡new ¡OS ¡ Users ¡ expect ¡ an ¡ equal ¡ response ¡ <me ¡than ¡from ¡desktop ¡

Web ¡Services ¡ More ¡& ¡More ¡ based ¡communica2ons ¡ Web-­‑Based ¡internal ¡Apps ¡ What ¡about ¡my ¡employees ¡? ¡

How ¡? ¡ You ¡should ¡measure ¡ • Internal ¡ Synthe2c ¡ • Employees’ ¡ produc2vity ¡ ¡ DIY ¡(license) ¡or ¡SaaS ¡ ¡ ¡(can ¡they ¡use ¡their ¡applicaBons ¡?) ¡ • Internal ¡ RUM ¡: ¡ • Measuring ¡ real ¡usages ¡ : ¡ ¡  Browser ¡/ ¡Same ¡se`ngs ¡  Exhaus2ve ¡  WorkstaBon ¡/ ¡Virtual ¡session ¡  Very ¡limited ¡cost ¡  Environment ¡ (internal ¡ network) ¡ • Internal ¡SLA ¡ Web ¡+ ¡External ¡App ¡usages ¡

Website ¡: ¡1 ¡million ¡ visitors/day ¡ + ¡82 ¡physical ¡shops ¡ ¡ ¡6000 ¡worksta2ons ¡ Results ¡: ¡  Hardware ¡upgrade ¡  Browser ¡updates ¡  Release ¡valida2on ¡ ¡ ¡13s ¡  ¡6s ¡per ¡page ¡ Internal ¡RUM ¡

Origin ¡Hos2ng ¡ New ¡Hos2ng ¡ + ¡40% ¡ CDN ¡ +66% ¡ 3/ ¡Benchmarking ¡to ¡choose ¡the ¡ 2/ ¡How ¡to ¡jus2fy ¡the ¡ cost ¡and ¡calculate ¡ROI ¡? ¡ good ¡CDN ¡at ¡the ¡good ¡place ¡ ¡ 1/ ¡ ¡Do ¡I ¡need ¡a ¡CDN ¡? ¡

You ¡should ¡measure ¡ How ¡ • CDN ¡ effecBveness ¡ on ¡ a ¡ • Synthe2c ¡: ¡ worldwide, ¡mulB-­‑carrier ¡ locaBon/area ¡ • Tracking ¡only ¡CDN ¡performance ¡ • ROI ¡CalculaBon ¡ • Benchmarking ¡ • SLA ¡based ¡on ¡ actual ¡users ¡ • RUM ¡where ¡Robots ¡are ¡too ¡ expensive ¡or ¡complex ¡to ¡deploy ¡ … ¡don’t ¡forget ¡ Video ¡Content ! ¡

Streaming Servers Stream Provider 40 ¡sec ¡before ¡ playing ¡a ¡live ¡ content ¡ Robot Robot Mobile Network Video ¡on ¡ mobile ¡ Real-­‑2me ¡or ¡ Catch-­‑Up ¡TV ¡ Is ¡video ¡cri2cal ¡to ¡your ¡business ¡? ¡

You ¡should ¡measure ¡ How ¡ • Synthe2c ¡ : ¡video/audio ¡streams, ¡live ¡ • Buffering ¡Bme ¡ TV, ¡VOD ¡Portals ¡ • Frame-­‑rate ¡& ¡ image ¡quality ¡ • Image ¡quality ¡ (MOS) ¡with ¡or ¡w/o ¡ reference ¡ • Breakdowns ¡during ¡playing ¡ • Real-­‑2me ¡/ ¡Live ¡Channels ¡ • VOD ¡/ ¡Progressive ¡Download ¡ • RUM ¡ : ¡ stream ¡quality ¡delivered ¡to ¡ anyone ¡ • Mobile ¡video ¡ / ¡adapBve ¡ streaming ¡

MOS PESQ VOIP PSTN ITU P.862.1 ISDN Mobile Call ¡Center ¡App ¡& ¡IVR ¡availability ¡ Speech ¡Quality ¡ Is ¡voice ¡cri2cal ¡to ¡your ¡business ¡? ¡

How ¡ You ¡should ¡measure ¡ • TesBng ¡ real ¡phone ¡calls ¡ • Voice ¡ of ¡ the ¡ Customer ¡ • Monitoring ¡IP ¡& ¡PSTN ¡lines ¡ (VOC) ¡: ¡can ¡they ¡reach ¡you ¡? ¡ • Universal ¡& ¡objecBve ¡quality ¡ • Click-­‑2-­‑call ¡ evaluaBon ¡( MOS ¡PESQ ) ¡ • Inbound/oubound ¡calls ¡ • Monitoring ¡InteracBve ¡Voice ¡ • Speech ¡quality ¡ Responder ¡( IVR ) ¡and ¡call ¡centers ¡ • Call ¡ center ¡ produc2vity ¡ if ¡ • Mixing ¡ Data ¡& ¡Voice ¡ monitoring ¡ phone ¡ system ¡ or ¡ CRM ¡ are ¡ down ¡

You ¡should ¡measure ¡ How ¡ • A ¡ user ¡ accessing ¡ to ¡ a ¡ • SyntheBc ¡transacBon ¡in ¡a ¡ virtual ¡ virtual ¡or ¡ cloud ¡plagorm ¡ environment ¡ • External/Internal ¡ • External ¡SyntheBc ¡transacBon ¡on ¡a ¡ depending ¡on ¡usages ¡ cloud ¡plalorm ¡ • Physical ¡ vs. ¡ Virtual ¡ • Load ¡tesBng ¡ ¡: ¡2VCPU ¡= ¡1.2 ¡CPU ¡ performance ¡& ¡load ¡impact ¡ • RUM|script ¡based|CloudObserver ¡ ¡ • SLA ¡achievement? ¡ < 99.9 uptime • Third ¡Party ¡SLA ¡ calculaBon ¡ for end-users Cloud ¡Monitoring ¡ ¡