AD47 - Building the Blocks of Trust in Automation - - PDF document

▶
ad47 building the blocks of trust in automation
SMART_READER_LITE
LIVE PREVIEW

AD47 - Building the Blocks of Trust in Automation - - PDF document

Feb 26, 2024 27 likes •728 views

AD47 DevOps Engineering 3:15 PM AD47 - Building the Blocks of Trust in Automation Presented by: Sneha Viswalingam

slide-1
SLIDE 1

¡ ¡ ¡ ¡ AD47 ¡

DevOps ¡Engineering ¡ 3:15 ¡PM ¡ ¡ ¡ ¡ ¡ ¡

AD47 ¡-­‑ ¡Building ¡the ¡Blocks ¡of ¡Trust ¡in ¡ Automation ¡ ¡

Presented ¡by: ¡ ¡ ¡ ¡

Sneha ¡Viswalingam ¡

¡ ¡Zoll ¡Lifevest ¡ ¡

Brought ¡to ¡you ¡by: ¡ ¡ ¡ ¡

¡

¡

¡ ¡

888-­‑-­‑-­‑268-­‑-­‑-­‑8770 ¡·√·√ ¡904-­‑-­‑-­‑278-­‑-­‑-­‑0524 ¡-­‑ ¡info@techwell.com ¡-­‑ ¡https://agiledevopswest.techwell.com/ ¡

¡

slide-2
SLIDE 2

¡

Sneha ¡Viswalingam ¡

¡ Sneha ¡Viswalingam's ¡passion ¡for ¡‰Û÷All ¡things ¡Automation' ¡began ¡when ¡he ¡started ¡his ¡ career ¡right ¡after ¡graduate ¡school ¡in ¡the ¡fancy ¡field ¡of ¡automation ¡in ¡the ¡bay ¡area. ¡Her ¡ experience ¡revolves ¡around ¡developing ¡end-­‑to-­‑end ¡automation ¡testing ¡frameworks ¡for ¡ web-­‑based ¡and ¡Mobile ¡applications. ¡She ¡enjoys ¡focusing ¡on ¡making ¡automation ¡famous ¡ wherever ¡she ¡goes! ¡Currently, ¡she ¡resides ¡in ¡Pittsburgh, ¡PA. ¡When ¡not ¡coding, ¡she's ¡a ¡ foodie ¡travelling ¡around ¡the ¡world ¡to ¡learn ¡the ¡art ¡of ¡cooking ¡and ¡an ¡artist ¡who ¡loves ¡to ¡ create ¡acrylic ¡paintings. ¡

slide-3
SLIDE 3

@sviswalingam #AgileDevCon

slide-4
SLIDE 4

@sviswalingam

slide-5
SLIDE 5

@sviswalingam

slide-6
SLIDE 6

@sviswalingam

slide-7
SLIDE 7

@sviswalingam

slide-8
SLIDE 8

@sviswalingam

slide-9
SLIDE 9

@sviswalingam

slide-10
SLIDE 10

@sviswalingam

slide-11
SLIDE 11

@sviswalingam

slide-12
SLIDE 12

@sviswalingam #AgileDevCon

slide-13
SLIDE 13

@sviswalingam

Sneha Viswalingam

Test Automation Engineer Zoll Lifevest

slide-14
SLIDE 14

@sviswalingam

slide-15
SLIDE 15

@sviswalingam

slide-16
SLIDE 16

@sviswalingam

slide-17
SLIDE 17

@sviswalingam

slide-18
SLIDE 18

@sviswalingam

slide-19
SLIDE 19
slide-20
SLIDE 20

@sviswalingam

slide-21
SLIDE 21

@sviswalingam

Identify

  • Look for a pattern
  • Spot the flaky test
  • Note them down
slide-22
SLIDE 22

@sviswalingam

slide-23
SLIDE 23

@sviswalingam

Isolate

  • Tag the flaky tests
  • Run main test suite and

flaky test suite separately

slide-24
SLIDE 24

@sviswalingam

slide-25
SLIDE 25

@sviswalingam

Investigate

  • Post mortem analysis
  • Look for the root cause
slide-26
SLIDE 26

@sviswalingam

slide-27
SLIDE 27

The Flaky Branch lives till the tests are no longer flaky for a long time !

@sviswalingam

slide-28
SLIDE 28

@sviswalingam

slide-29
SLIDE 29

@sviswalingam

slide-30
SLIDE 30

Why Should Automation Code be treated any less than Production code?

@sviswalingam

slide-31
SLIDE 31

@sviswalingam

slide-32
SLIDE 32

@sviswalingam

Code committed to Repository Pull request created for commit Pull Request URL documented in JIRA ticket Push changes to master branch Automation Engineer makes required changes More than one Automation Team members review One Automation team member reviews

Approved Framework Updates?

NO YES NO YES

Code Review Process

slide-33
SLIDE 33

@sviswalingam

slide-34
SLIDE 34

@sviswalingam

slide-35
SLIDE 35

@sviswalingam

slide-36
SLIDE 36

@sviswalingam

slide-37
SLIDE 37

@sviswalingam

Quality Assurance Leaders

  • Advocates for Success
slide-38
SLIDE 38

@sviswalingam

slide-39
SLIDE 39

@sviswalingam

Software Developers

  • Design for Testability
  • Knowledge Sharing
slide-40
SLIDE 40

@sviswalingam

slide-41
SLIDE 41

@sviswalingam

Test Engineers

  • Subject Matter Experts
slide-42
SLIDE 42

@sviswalingam

Tidy Gherkin

  • Chrome App, easy to install
  • No need to install an IDE
  • Ease of use
  • Free and Lightweight
slide-43
SLIDE 43

@sviswalingam

High Level Architecture

Feature File Page Objects File Step definition File Test Scripts Automation Core Specflow Selenium C#

slide-44
SLIDE 44

@sviswalingam

slide-45
SLIDE 45

@sviswalingam

Writing Feature Files

  • Behavior Driven
  • Phrasing Steps
  • Title
  • Style
slide-46
SLIDE 46

@sviswalingam

slide-47
SLIDE 47

@sviswalingam

slide-48
SLIDE 48

@sviswalingam

slide-49
SLIDE 49

@sviswalingam

slide-50
SLIDE 50

@sviswalingam

slide-51
SLIDE 51

@sviswalingam

Dashboard

A one page report that tells the story clean and clear with charts and gauges

slide-52
SLIDE 52

@sviswalingam

slide-53
SLIDE 53

@sviswalingam

slide-54
SLIDE 54

@sviswalingam

slide-55
SLIDE 55

@sviswalingam

slide-56
SLIDE 56

@sviswalingam

Identifying Useful Metrics

  • Create a prototype
  • Send a survey with the

prototype to ask what they want and why

slide-57
SLIDE 57

@sviswalingam

  • Organizational objectives
  • Percentage of broken builds
  • Percentage of Test coverage
  • Performance Trend

Manager Specific Dashboard

slide-58
SLIDE 58

@sviswalingam

QA Specific Dashboard

  • Stack Trace
  • Total test Time
  • Test Environment metrics
  • Overall test results
slide-59
SLIDE 59

@sviswalingam

Developer Specific Dashboard

  • CI results
  • Check-in that led to Test failure
  • Where/What is broken
  • Test failure error
slide-60
SLIDE 60

@sviswalingam

Build your own Dashboard

slide-61
SLIDE 61

@sviswalingam

slide-62
SLIDE 62

@sviswalingam

Building a simple Dashboard using Power BI

slide-63
SLIDE 63

@sviswalingam

slide-64
SLIDE 64

@sviswalingam

slide-65
SLIDE 65

@sviswalingam

slide-66
SLIDE 66

@sviswalingam

slide-67
SLIDE 67

@sviswalingam

slide-68
SLIDE 68

@sviswalingam

slide-69
SLIDE 69

@sviswalingam

slide-70
SLIDE 70

Thank You!