Play Tes)ng CS 4730 Computer Game Design Credit: - - PowerPoint PPT Presentation

play tes ng
SMART_READER_LITE
LIVE PREVIEW

Play Tes)ng CS 4730 Computer Game Design Credit: - - PowerPoint PPT Presentation

Play Tes)ng CS 4730 Computer Game Design Credit: Several slides from Walker White (Cornell) CS 4730 Why Does Play Tes?ng MaBer? Have


slide-1
SLIDE 1

CS ¡4730 ¡

Play ¡Tes)ng ¡

CS ¡4730 ¡– ¡Computer ¡Game ¡Design ¡ ¡ ¡ Credit: ¡Several ¡slides ¡from ¡Walker ¡White ¡(Cornell) ¡

slide-2
SLIDE 2

CS ¡4730 ¡

Why ¡Does ¡Play ¡Tes?ng ¡MaBer? ¡

  • Have ¡you ¡ever ¡had ¡someone ¡else ¡read ¡a ¡paper ¡

you ¡wrote? ¡

  • Why? ¡

2

slide-3
SLIDE 3

CS ¡4730 ¡

Why ¡Does ¡Play ¡Tes?ng ¡MaBer? ¡

  • What ¡are ¡you ¡actually ¡trying ¡to ¡find ¡out ¡when ¡

you ¡have ¡other ¡people ¡play ¡your ¡game? ¡

  • What ¡“maBers” ¡in ¡a ¡game? ¡
  • How ¡do ¡you ¡measure ¡it? ¡
  • Goal ¡/ ¡Ques?on ¡/ ¡Metric ¡methodology ¡

3

slide-4
SLIDE 4

CS ¡4730 ¡

Some ¡Thoughts ¡

  • Time ¡to ¡learn ¡to ¡use ¡a ¡game ¡verb ¡/ ¡ac?on ¡
  • Time ¡(ability) ¡to ¡complete ¡a ¡specific ¡task/quest ¡
  • Usage ¡(or ¡lack ¡of ¡usage) ¡of ¡gameplay ¡features ¡
  • Errors ¡(how ¡many, ¡where) ¡
  • Player ¡sa?sfac?on ¡(Likert ¡scale) ¡
  • Where ¡did ¡they ¡have ¡the ¡most/least ¡fun? ¡
  • What ¡was ¡the ¡user’s ¡first ¡reac?on? ¡
  • How ¡would ¡the ¡user ¡describe ¡the ¡game ¡to ¡others? ¡ ¡ ¡
  • Would ¡they ¡play ¡it ¡again? ¡

4

slide-5
SLIDE 5

CS ¡4730 ¡

Why ¡Does ¡Play ¡Tes?ng ¡MaBer? ¡

  • What ¡are ¡you ¡going ¡to ¡do ¡with ¡the ¡results ¡of ¡

your ¡play ¡tes?ng? ¡

  • How ¡will ¡that ¡affect ¡this ¡game? ¡
  • The ¡next ¡game? ¡

5

slide-6
SLIDE 6

CS ¡4730 ¡

HCI ¡comes ¡to ¡Game ¡Design ¡

  • Have ¡you ¡had ¡HCI ¡yet? ¡
  • User ¡studies ¡are ¡a ¡THING! ¡
  • There ¡are ¡right ¡ways ¡and ¡wrong ¡ways ¡to ¡do ¡

them! ¡

6

slide-7
SLIDE 7

CS ¡4730 ¡

Ques?ons ¡to ¡Consider ¡

  • Who ¡should ¡play ¡test ¡your ¡game? ¡ ¡Why? ¡

– Remember ¡that ¡people’s ¡?me ¡is ¡valuable! ¡ – They ¡are ¡doing ¡YOU ¡a ¡favor! ¡

  • What ¡is ¡your ¡role ¡when ¡they ¡are ¡playing ¡the ¡

game? ¡

– You ¡are ¡not ¡their ¡personal ¡game ¡coach! ¡

  • How ¡can ¡you ¡ensure ¡that ¡the ¡test ¡is ¡the ¡same ¡

for ¡everyone? ¡

– Scripts ¡are ¡not ¡a ¡bad ¡thing ¡at ¡all! ¡

7

slide-8
SLIDE 8

CS ¡4730 ¡

Step ¡1: ¡Find ¡your ¡play ¡testers ¡

  • We ¡have ¡s?pulated ¡three ¡groups ¡you ¡must ¡hit: ¡

– The ¡“expert” ¡/ ¡“confidant” ¡(in ¡CS ¡4730) ¡ – The ¡“advanced ¡consumer” ¡(compu?ng ¡student) ¡ – The ¡“general ¡consumer” ¡(non-­‑compu?ng ¡student) ¡

  • Ask ¡around! ¡ ¡Ask ¡friends ¡of ¡friends! ¡

– (surely ¡you ¡have ¡friends ¡not ¡in ¡the ¡E-­‑school… ¡ right?) ¡

  • Schedule ¡the ¡test ¡for ¡a ¡?me ¡that’s ¡NOT ¡

RUSHED! ¡

8

slide-9
SLIDE 9

CS ¡4730 ¡

Step ¡2: ¡Prepare ¡the ¡Loca?on ¡

  • The ¡loca?on ¡should ¡be: ¡

– Convenient ¡ – Away ¡from ¡distrac?ons ¡ – Comfortable ¡

  • You ¡should ¡have: ¡

– Your ¡computer ¡READY ¡TO ¡GO! ¡ – Your ¡script ¡of ¡what ¡you’ll ¡tell ¡them ¡ – Your ¡data ¡collec?on ¡instruments ¡

9

slide-10
SLIDE 10

CS ¡4730 ¡

Step ¡3: ¡Prepare ¡your ¡Script ¡

  • You ¡are ¡no ¡longer ¡a ¡game ¡designer ¡for ¡this ¡
  • exercise. ¡ ¡You ¡are ¡an ¡objec?ve ¡observer. ¡
  • DO ¡NOT ¡TALK ¡ABOUT: ¡

– How ¡awesome ¡your ¡game ¡is! ¡ – What ¡you ¡want ¡to ¡do ¡with ¡the ¡game ¡in ¡the ¡future! ¡ – What ¡is ¡currently ¡broken! ¡

  • DO ¡TALK ¡ABOUT: ¡

– The ¡bare ¡minimum ¡of ¡how ¡to ¡play! ¡ ¡WRITE ¡THIS ¡ OUT! ¡

10

slide-11
SLIDE 11

CS ¡4730 ¡

Step ¡4: ¡Prepare ¡the ¡Data ¡Collec?on ¡

  • What ¡are ¡you ¡going ¡to ¡record? ¡

– Audio? ¡ – Screen ¡capture? ¡ – Just ¡use ¡pen ¡and ¡paper? ¡

  • Have ¡SOMETHING ¡ready ¡to ¡take ¡notes ¡during ¡

the ¡session! ¡

  • If ¡there ¡are ¡par?cular ¡things ¡you ¡want ¡to ¡look ¡

for, ¡have ¡that ¡wriBen ¡out! ¡

11

slide-12
SLIDE 12

CS ¡4730 ¡

Step ¡5: ¡Prepare ¡the ¡Survey ¡

  • Post ¡test ¡surveys ¡are ¡good ¡as ¡well ¡
  • Ask ¡ques?ons ¡that ¡have ¡answers ¡that ¡are ¡

rela?vely ¡easy ¡to ¡process ¡

– Likert ¡scales ¡(1-­‑7, ¡for ¡instance) ¡ – True ¡/ ¡False ¡ – Mul?ple ¡choice ¡

  • Have ¡some ¡open ¡ended ¡ques?ons ¡

12

slide-13
SLIDE 13

CS ¡4730 ¡

Step ¡6: ¡The ¡Session ¡Schedule ¡

  • Introduc?on ¡of ¡the ¡game ¡
  • Get ¡background ¡info ¡on ¡the ¡tester ¡
  • Play ¡the ¡game ¡

– Give ¡specific ¡task ¡/ ¡goal ¡(even ¡if ¡that’s ¡just ¡“go ¡ explore”) ¡ – DO ¡ask ¡them ¡to ¡“think ¡out ¡loud” ¡as ¡they ¡are ¡ playing! ¡

  • Wrap ¡up ¡discussion ¡and ¡survey ¡

– Some ¡GREAT ¡ques?ons ¡on ¡page ¡263 ¡

13

slide-14
SLIDE 14

CS ¡4730 ¡

Do ¡Not ¡Get ¡Frustrated! ¡

  • Remember: ¡

14

slide-15
SLIDE 15

CS ¡4730 ¡

Now ¡that ¡you ¡have ¡data… ¡

  • What ¡do ¡you ¡do ¡with ¡it? ¡
  • How ¡do ¡you ¡act ¡on ¡the ¡data ¡you’ve ¡gathered? ¡
  • Tips: ¡

– Don’t ¡wait ¡too ¡long! ¡ ¡You’ll ¡forget ¡the ¡context ¡of ¡ some ¡of ¡your ¡notes. ¡ – Talk ¡(like ¡out ¡loud) ¡with ¡the ¡en?re ¡team ¡discussing ¡ how ¡the ¡session ¡went ¡– ¡and ¡then ¡take ¡notes ¡on ¡ that ¡too! ¡ – Compare ¡notes ¡with ¡other ¡teams! ¡

15

slide-16
SLIDE 16

CS ¡4730 ¡

Advanced ¡Play ¡Tes?ng ¡

  • In ¡modern ¡games, ¡we ¡omen ¡put ¡in ¡hooks ¡and ¡

let ¡beta ¡testers ¡do ¡a ¡lot ¡of ¡the ¡work ¡without ¡ actually ¡“doing ¡the ¡work!” ¡

  • Here ¡are ¡some ¡fascina?ng ¡examples ¡courtesy ¡
  • f ¡Prof. ¡White ¡at ¡Cornell ¡

16

slide-17
SLIDE 17

CS ¡4730 ¡

Heatmaps ¡

17

slide-18
SLIDE 18

CS ¡4730 ¡

SWTOR ¡

18

slide-19
SLIDE 19

CS ¡4730 ¡

SWTOR ¡

19

slide-20
SLIDE 20

CS ¡4730 ¡

SWTOR ¡

20

slide-21
SLIDE 21

CS ¡4730 ¡

SWTOR ¡

21