Measuring QoS in Web-Based Virtual Worlds: an Evaluation of - - PowerPoint PPT Presentation

▶
measuring qos in web based virtual worlds an evaluation
SMART_READER_LITE
LIVE PREVIEW

Measuring QoS in Web-Based Virtual Worlds: an Evaluation of - - PowerPoint PPT Presentation

Apr 15, 2023 162 likes •411 views

Measuring QoS in Web-Based Virtual Worlds: an Evaluation of Unity 3D Web Builds Hussein Bakri and Colin Allison University of St Andrews openvirtualworlds.org QoS in

slide-1
SLIDE 1

Measuring ¡QoS ¡in ¡Web-­‑Based ¡Virtual ¡Worlds: an ¡Evaluation ¡of ¡Unity ¡3D ¡Web ¡Builds

QoS ¡in ¡WBVW

1

Hussein ¡Bakri and ¡Colin ¡Allison

University ¡of ¡St ¡Andrews

  • penvirtualworlds.org
slide-2
SLIDE 2

multi-­‑user ¡and ¡web-­‑based ¡virtual ¡worlds

QoS ¡in ¡WBVW

2

  • traditional ¡multi-­‑user ¡virtual ¡worlds ¡e.g. ¡Second ¡Life, ¡OpenSim, ¡Open ¡

Wonderland, ¡have ¡enabled ¡engaging ¡interactive ¡environments

– immersive ¡learning ¡and ¡cultural ¡heritage

  • but: ¡a ¡dedicated ¡stand-­‑alone ¡client/viewer ¡needed, ¡which ¡can ¡be ¡a ¡

barrier ¡to ¡accessibility, ¡adoption ¡or ¡use

  • regular ¡(2D) ¡web ¡is ¡becoming ¡more ¡suitable ¡for ¡hosting ¡interactive ¡3D ¡

content ¡-­‑> ¡the ¡emerging ¡3D ¡web?

  • can ¡browsers ¡replace ¡MUVW ¡viewers?
  • we ¡compare ¡two ¡web-­‑oriented ¡virtual ¡world ¡3D ¡builds

– Unity ¡Web ¡Player – Unity ¡WebGL

slide-3
SLIDE 3

Multi-­‑User ¡Virtual ¡Worlds ¡and ¡the ¡3D ¡Web

QoS ¡in ¡WBVW 3

slide-4
SLIDE 4

Timespan ¡Longhouse ¡

(openvirtualworlds.org)

  • OpenSim

– GRID ¡URI http://apollo.cs.st-­‑andrews.ac.uk:8002/ – Login ¡page http://openvirtualworlds.org/splash

  • WebGL

– http://openvirtualworlds.org/unity-­‑static/webgl-­‑timespan-­‑longhouse1/

  • Unity ¡Web ¡Player

– http://openvirtualworlds.org/unity-­‑static/Timespan-­‑Longhouse2-­‑ web/Timespan-­‑Longhouse2-­‑web.html

QoS ¡in ¡WBVW 4

  • penvirtualworlds.org
slide-5
SLIDE 5

Timespan ¡Longhouse, ¡Unity ¡Web ¡Player ¡(Firefox ¡plug-­‑in)

QoS ¡in ¡WBVW 5

slide-6
SLIDE 6

Timespan ¡Longhouse, ¡Unity ¡Web ¡Player ¡(Firefox ¡plug-­‑in)

QoS ¡in ¡WBVW 6

slide-7
SLIDE 7

Unity ¡WebGL (Firefox, ¡no ¡plug-­‑in)

QoS ¡in ¡WBVW 7

slide-8
SLIDE 8

Unity ¡WebGL (Firefox, ¡no ¡plug-­‑in

QoS ¡in ¡WBVW 8

slide-9
SLIDE 9

Longhouse ¡ ¡Inside

QoS ¡in ¡WBVW 9

slide-10
SLIDE 10

A ¡Still ¡Inside ¡a ¡Croft

QoS ¡in ¡WBVW 10

slide-11
SLIDE 11

QoS ¡and ¡QoE metrics

Quality ¡of ¡Experience

– Frames ¡per ¡Second ¡(FPS) ¡and ¡Frame ¡Time ¡(FT)

  • In ¡an ¡OpenSim viewer ¡each ¡frame ¡should ¡complete ¡in ¡approximately ¡18.18ms ¡

(55 ¡frames ¡per ¡second). ¡“If ¡total ¡frame ¡time ¡is ¡greater ¡than ¡this ¡then ¡simulator ¡ performance ¡will ¡be ¡degraded” ¡

  • Similarly, ¡in ¡Unity3D ¡web ¡applications, ¡60 ¡frames ¡per ¡second ¡is ¡recommended ¡ ¡

– Initial ¡Download ¡Time ¡(IDT) ¡

  • Virtual ¡World ¡equivalent ¡of ¡(2D) ¡Web ¡Page ¡Load ¡Time ¡(PLT)

Browser ¡performance ¡in ¡terms ¡of ¡CPU ¡and ¡Graphics ¡processors

– CPU ¡Load ¡and ¡physical ¡memory ¡usage – GPU ¡Load ¡and ¡GPU ¡memory ¡usage

QoS ¡in ¡WBVW 11

slide-12
SLIDE 12

Methodology

  • Compare ¡two ¡builds ¡for ¡the ¡same ¡virtual ¡world

– Unity ¡Web ¡Player ¡(UWP) ¡– requires ¡plug-­‑in – Unity ¡WebGL – no ¡plug-­‑in ¡needed ¡for ¡most ¡up-­‑to-­‑date ¡versions ¡of ¡popular ¡ browsers

  • Avatar ¡mobility ¡models

– Standing: ¡Avatar ¡remains ¡standing ¡still ¡with ¡continuous ¡ yawing ¡for ¡2 ¡ minutes ¡(Yaw ¡is ¡the ¡change ¡in ¡avatar ¡orientation ¡ or ¡the ¡change ¡in ¡the ¡ “look ¡at” ¡view). – Random ¡Walking: ¡Avatar ¡randomly ¡walks ¡for ¡3 ¡minutes ¡in ¡different ¡ directions ¡(from ¡non-­‑dense ¡to ¡dense ¡areas) ¡and ¡with ¡a ¡constant ¡speed

  • Client ¡side ¡measurements

– Client ¡connected ¡to ¡server ¡on ¡campus ¡where ¡minimum ¡bandwidth ¡ is ¡100 ¡ Mb/s.

QoS ¡in ¡WBVW 12

slide-13
SLIDE 13

Testbed

  • Virtual ¡World: ¡Timespan ¡Longhouse
  • Unity ¡3D ¡engine ¡version ¡5.2.0f3
  • Client ¡specification

– Intel ¡Core ¡i5-­‑440-­‑ 3.10 ¡GHz ¡with ¡16GB ¡1067 ¡MHz ¡DDR3 ¡RAM – NVIDIA ¡GeForce ¡GTX ¡970, ¡4GB ¡Video ¡RAM – Fresh ¡installation ¡of ¡Windows ¡7 ¡Enterprise ¡64 ¡Bit ¡Operating ¡System ¡with ¡a ¡ minimal ¡set ¡of ¡background ¡processes ¡running ¡ to ¡avoid ¡interference. ¡ – Builds ¡generated ¡by ¡Unity ¡3D ¡engine ¡version ¡5.2.0f3 ¡

  • Software ¡tools

– Chrome, ¡Firefox, ¡FRAPS, ¡HWiNFO64, ¡TechPowerUp GPU-­‑Z, ¡Powershell (for ¡ automation), ¡ Opera, ¡Ccleaner,….

QoS ¡in ¡WBVW 13

slide-14
SLIDE 14

Experiments

  • Experiment ¡1

– Google ¡Chrome ¡version ¡44.0.2403.125 ¡and ¡Fraps ¡used ¡to ¡measure ¡FPS ¡& ¡FT

  • Experiment ¡2

– HWiNFO64 ¡and ¡TechPowerUp GPU-­‑Z ¡used ¡to ¡measure:

  • Physical ¡Memory ¡used ¡(MB), ¡
  • Physical ¡Memory ¡load ¡(%), ¡
  • Total ¡CPU ¡usage ¡(%), ¡
  • GPU ¡core ¡load ¡(%), ¡
  • GPU ¡Memory ¡usage ¡(%)
  • GPU ¡D3D ¡Memory ¡usage ¡(%). ¡
  • Experiment ¡3

– Initial ¡Download ¡Time measured ¡using ¡a ¡range ¡of ¡browsers, ¡ ¡cache ¡cleaning ¡ techniques ¡and ¡network ¡monitoring ¡ tools ¡ – results ¡from ¡different ¡sources ¡were ¡in ¡complete ¡agreement

QoS ¡in ¡WBVW 14

slide-15
SLIDE 15

frames ¡per ¡second

QoS ¡in ¡WBVW 15

slide-16
SLIDE 16

physical ¡memory ¡usage

QoS ¡in ¡WBVW 16

slide-17
SLIDE 17

CPU ¡Usage

QoS ¡in ¡WBVW 17

slide-18
SLIDE 18

GPU ¡D3D ¡Usage

QoS ¡in ¡WBVW 18

slide-19
SLIDE 19

GPU ¡Memory ¡Usage

QoS ¡in ¡WBVW 19

slide-20
SLIDE 20

Initial ¡Download ¡Time ¡(IDT)

QoS ¡in ¡WBVW 20

Average ¡RTT ¡ to ¡Server sizes ¡of ¡raw ¡Files ¡when ¡ downloaded ¡(ftp, ¡http) Average ¡downlink ¡ throughput 0.271 ¡ms 40 ¡MB ¡(UWP ¡file) 11.2 ¡MB/s 129MB ¡ (U-­‑WebGL ¡.data ¡file) 10.4 ¡MB/s Average ¡IDT Standard ¡Deviation UWP 3934.33 ¡ms 91.258 U-­‑WebGL 20191.67 ¡ms 581.461

slide-21
SLIDE 21

Limitations ¡of ¡study

  • Only ¡one ¡virtual ¡world ¡used ¡(Timespan ¡Longhouse)
  • Other ¡worlds ¡may ¡have ¡different ¡characteristics
  • TL ¡translated ¡from ¡OpenSim, ¡so ¡may ¡be ¡less ¡than ¡optimal
  • WebGL not ¡analyzed ¡in ¡detail ¡for ¡possibility ¡of ¡optimization

QoS ¡in ¡WBVW 21

slide-22
SLIDE 22

Postscript: ¡ ¡RIP ¡Unity ¡Web ¡Player ¡(!)

  • Although ¡Unity ¡Web ¡Player ¡format ¡significantly ¡outperformed ¡the ¡WebGL

builds ¡on ¡almost ¡very ¡metric ¡it ¡is ¡no ¡longer ¡supported ¡in ¡Unity ¡5.4 ¡(March ¡ 2016)

  • Why?

– Chrome ¡has ¡dropped ¡ support ¡for ¡NPAPI ¡plug-­‑ins ¡(v.45, ¡Oct. ¡2015) – Edge ¡(IE ¡ ¡replacement ¡in ¡Windows ¡10) ¡does ¡not ¡support ¡UWP – Mozilla ¡will ¡also ¡phase ¡out ¡support ¡for ¡plug-­‑ins – General ¡trend ¡towards ¡plugin-­‑less ¡browsers?

  • Will ¡the ¡new ¡versions ¡of ¡Unity ¡generate ¡higher ¡quality ¡WebGL?

– “it ¡is ¡important ¡to ¡understand ¡that ¡WebGL is ¡a ¡different ¡ platform ¡from ¡the ¡ Web ¡Player ¡and ¡does ¡not ¡match ¡the ¡feature ¡set ¡or ¡performance ¡of ¡the ¡Web ¡

  • Player. ¡We ¡are ¡working ¡closely ¡with ¡browser ¡vendors ¡to ¡make ¡sure ¡this ¡gap ¡

becomes ¡as ¡narrow ¡as ¡possible, ¡but….” ¡Unity, ¡October ¡2015

QoS ¡in ¡WBVW 22

slide-23
SLIDE 23

QoS ¡in ¡Web-­‑based ¡virtual ¡worlds: ¡Summary

  • Signs ¡of ¡convergence ¡between ¡traditional ¡MUVWs ¡and ¡the ¡3D ¡Web
  • Desirable ¡to ¡deliver ¡MUVW ¡via ¡standard ¡browsers

– With ¡plug-­‑in, ¡or… ¡ – Even ¡better, ¡without ¡plug-­‑in ¡(direct ¡support ¡for ¡WebGL)

  • Compared ¡performance ¡of ¡two ¡mobility ¡models ¡in ¡two ¡different ¡Unity ¡

builds ¡for ¡browsers:

– Web ¡Player – WebGL

  • Web ¡Player ¡build ¡significantly ¡outperformed ¡WebGLbuild
  • Unity ¡has ¡recently ¡dropped ¡UWP ¡– will ¡their ¡WebGLbuilds ¡improve? ¡ ¡

– We ¡can ¡check ¡using ¡the ¡data ¡sets ¡and ¡testbed!

QoS ¡in ¡WBVW 23

slide-24
SLIDE 24

QoS ¡in ¡WBVW

24

Questions?

Measuring ¡QoS ¡in ¡Web-­‑Based ¡Virtual ¡Worlds: an ¡Evaluation ¡of ¡Unity ¡3D ¡Web ¡Builds

  • penvirtualworlds.org