Why "Why...?" Can Be the Most Important Question - - PDF document
T18 Test Process Thursday, October 4th, 2018 1:30 PM Why "Why...?" Can Be the Most Important Question for QA to Ask
Test ¡Process ¡ Thursday, ¡October ¡4th, ¡2018 ¡1:30 ¡PM ¡ ¡ ¡ ¡ ¡
Presented ¡by: ¡ ¡ ¡
¡ Riot ¡Games ¡ ¡
Brought ¡to ¡you ¡by: ¡ ¡ ¡ ¡
¡
¡
¡ ¡
350 ¡Corporate ¡Way, ¡Suite ¡400, ¡Orange ¡Park, ¡FL ¡32073 ¡ ¡ 888-‑-‑-‑268-‑-‑-‑8770 ¡·√·√ ¡904-‑-‑-‑278-‑-‑-‑0524 ¡-‑ ¡info@techwell.com ¡-‑ ¡http://www.starwest.techwell.com/ ¡ ¡ ¡
¡
¡ ¡
¡
¡ A ¡QA ¡architect ¡on ¡League ¡of ¡Legends ¡at ¡Riot ¡Games, ¡Jane ¡Jeffers ¡has ¡more ¡than ¡seven ¡ years ¡in ¡the ¡games ¡industry. ¡Before ¡moving ¡into ¡the ¡MOBA ¡(Multiplayer ¡Online ¡ Battle ¡Arena), ¡she ¡worked ¡on ¡multi-‑platform ¡AAA ¡RTS ¡titles ¡such ¡as ¡the ¡Battle ¡for ¡ Middle ¡Earth ¡II ¡and ¡Command ¡& ¡Conquer ¡3. ¡As ¡a ¡content ¡specialist ¡on ¡League ¡of ¡ Legends, ¡Jane ¡has ¡built ¡much ¡of ¡the ¡QA ¡process ¡around ¡features ¡that ¡allow ¡players ¡to ¡ personalize ¡their ¡experience, ¡fusing ¡her ¡previous ¡black ¡box ¡testing ¡background ¡with ¡ a ¡qualitative ¡approach ¡in ¡the ¡agile ¡arena. ¡ ¡
9/25/18 ¡ 1 ¡
Insert Coin
Jane ¡Jeffers ¡
jjeffers@riotgames.com ¡ www.riotgames.com ¡
Summoner ¡Name: ¡Wilwariniel ¡
Introduc0on ¡
9/25/18 ¡ 2 ¡
Introduc0on ¡
¡ ¡
Introduc0on ¡
9/25/18 ¡ 3 ¡
Introduc0on ¡
9/25/18 ¡ 4 ¡ ¡ ¡ ¡ ¡AGENDA ¡ Introduction
1
Product Whys
2
Process Whys
3
People Whys
4
Final Thoughts
5
9/25/18 ¡ 5 ¡
¡ ¡Product ¡Whys ¡
9/25/18 ¡ 6 ¡
Product Whys Product Whys
9/25/18 ¡ 7 ¡
¡ ¡Product ¡Whys ¡ ¡ ¡Product ¡Whys ¡
9/25/18 ¡ 8 ¡
Are we making the right thing?
¡ ¡Product ¡Whys ¡
Are our requirements in line with what we’re trying to accomplish?
¡ ¡Product ¡Whys ¡
9/25/18 ¡ 9 ¡
Where do we focus our testing? What test cases do we prioritize?
¡ ¡Product ¡Whys ¡
Where should we set the bar? What defects can we ship with? What must we fix now vs. later?
¡ ¡Product ¡Whys ¡
9/25/18 ¡ 10 ¡
What risks should we prioritize? How should we handle failures?
¡ ¡Product ¡Whys ¡
¡ ¡Product ¡Whys ¡
9/25/18 ¡ 11 ¡
¡ ¡Product ¡Whys ¡
9/25/18 ¡ 12 ¡
¡ ¡Process ¡Whys ¡
Originally developed by Sakichi Toyoda, 5 Whys is a technique used to determine the root cause of a problem or defect by repeating the question:
Problem: The game crashes
The game failed to load a character animation Why? ¡ 1 The game cannot find the animation file Why? ¡ 2 The file is incorrectly named Why? ¡ 3 The animator failed to use standard naming conventions Why? ¡ 4 The animator doesn’t know the naming conventions The tool did not block non-standard names Why? ¡ 5
¡ ¡Process ¡Whys ¡
9/25/18 ¡ 13 ¡
The game failed to load a character animation Why? ¡ 1 The game cannot find the animation file Why? ¡ 2 The file is incorrectly named Why? ¡ 3 The animator failed to use standard naming conventions Why? ¡ 4 The animator doesn’t know the naming conventions The tool did not block non-standard names Why? ¡ 5
Problem: The game crashes
¡ ¡Process ¡Whys ¡ ¡ ¡Process ¡Whys ¡
9/25/18 ¡ 14 ¡
¡ ¡Process ¡Whys ¡
Enemy ¡ Blackfrost ¡Anivia ¡ Wall ¡
Mwahaha! ¡
¡ ¡Process ¡Whys ¡
9/25/18 ¡ 15 ¡
Why ¡didn’t ¡QA ¡catch ¡it?! ¡ WHY ¡DIDN’T ¡ANYBODY ¡ TELL ¡ME ¡IT ¡USES ¡ DIFFERENT ¡TECH?!!1? ¡ …you ¡didn’t ¡know? ¡
¡ ¡Process ¡Whys ¡
9/25/18 ¡ 16 ¡
Standardized Design Documents Explanatory notes in changelists Comments in bug tickets
¡ ¡Process ¡Whys ¡
Definition of Done changed to include testing Information Checklist (who to inform when) Public Beta Environment Release Readiness standards
¡ ¡Process ¡Whys ¡
9/25/18 ¡ 17 ¡
Taught team about QA work Learned about what tools and systems were failing artists Introduced artists to the concept of unit testing
¡ ¡Process ¡Whys ¡
9/25/18 ¡ 18 ¡
¡ ¡People ¡Whys ¡
Every Rioter is accountable for the
sustainable creation and delivery of world class player value.
9/25/18 ¡ 19 ¡
¡ ¡People ¡Whys ¡
Why not? What tools are slowing you down and need to change? F e w e r b u g s t
i x = m
e t i m e t
r t W e d
’ t p a y y
t
a k e b u g s : D
L e t ’ s t a l k a b
t h
m u c h d e f e c t s c
t u s a t d i f f e r e n t s t a g e s
d e v e l
m e n t
¡ ¡People ¡Whys ¡
9/25/18 ¡ 20 ¡
Details the most common issues for the sub-discipline Instructions for quick tests to check for said issues
Back ¡ Front ¡
¡ ¡People ¡Whys ¡
Common Issues over time
S u p e r d a t a a c c u r a t e c h a r t
¡ ¡People ¡Whys ¡
9/25/18 ¡ 21 ¡ When issues stop occurring, they are pulled from the cards and the next most common issues replace them.
¡ ¡People ¡Whys ¡
9/25/18 ¡ 22 ¡
Final ¡Thoughts ¡
Jane ¡Jeffers ¡
jjeffers@riotgames.com ¡ www.riotgames.com ¡
Summoner ¡Name: ¡Wilwariniel ¡