T * est Tanja E. J. Vos So#ware Tes+ng and Quality Group - - PowerPoint PPT Presentation
Test Automa+on at the useR interface level T * est Tanja E. J. Vos So#ware Tes+ng and Quality Group Research center for So#ware Produc+on Methods
Tanja ¡E. ¡J. ¡Vos ¡
So#ware ¡Tes+ng ¡and ¡Quality ¡Group ¡ Research ¡center ¡for ¡So#ware ¡Produc+on ¡Methods ¡(PROS) ¡ Universidad ¡Politecnica ¡de ¡Valencia ¡ Spain ¡ ¡ SATToSE ¡2014, ¡L’Aquila ¡2014 ¡ ¡
¡ Test ¡Automa+on ¡at ¡the ¡useR ¡interface ¡level ¡
2 ¡
– Universidad ¡Politecnica ¡de ¡Valencia ¡(Spain) ¡ – University ¡College ¡London ¡(United ¡Kingdom) ¡ – Berner ¡& ¡MaTner ¡(Germany) ¡ – IBM ¡(Israel) ¡ – Fondazione ¡Bruno ¡Kessler ¡(Italy) ¡ – Universiteit ¡Utrecht ¡(The ¡Netherlands) ¡ – So#team ¡(France) ¡ ¡
– Characterized by an extreme high level of dynamism – Adaptation to usage context (context awareness) – Dynamic discovery and composition of services – Limited observability (3rd party black-box components) – Etc..
– Testwares are fixed
– Testwares that automatically adapt to the dynamic behavior of the Future Internet application – This is the objective of FITTEST
ORACLES
RUN SUT GENERATE TEST CASES AUTOMATE TEST CASES SUT INSTRUMENT COLLECT & PREPROCESS LOGS LOGGING TEST-WARE GENERATION ANALYSE & INFER MODELS ANALYSE & INFER ORACLES EXECUTE TEST CASES TEST EVALUATION EVALUATE TEST CASES
MODEL BASED ORACLES HUMAN ORACLES
TEST RESULTS TEST EXECUTION
FREE ORACLES Model based
PROPERTIES BASED ORACLES Log based
End-users
PATTERN BASED ORACLES
MANUALLY
Domain experts
Domain Input Specifications
OPTIONAL MANUAL EXTENSIONS
FITTEST ¡con+nuous ¡tes+ng ¡system ¡
LOGGING ¡ 1. Run ¡the ¡target ¡System ¡that ¡is ¡Under ¡Test ¡(SUT) ¡ 2. Collect ¡the ¡logs ¡it ¡generates ¡ ¡ This ¡can ¡be ¡done ¡by: ¡ ¡
the ¡produc+on ¡environment ¡
¡ ¡
How ¡does ¡it ¡work? ¡ ¡
ORACLES
RUN SUT GENERATE TEST CASES AUTOMATE TEST CASES COLLECT & PREPROCESS LOGS LOGGING TEST-WARE GENERATION ANALYSE & INFER MODELS ANALYSE & INFER ORACLES EXECUTE TEST CASES TEST EVALUATION EVALUATE TEST CASES
MODEL BASED ORACLES HUMAN ORACLES
TEST RESULTS TEST EXECUTION
FREE ORACLES Model based
PROPERTIES BASED ORACLES Log based
PATTERN BASED ORACLES
MANUALLY
Domain Input Specifications
OPTIONAL MANUAL EXTENSIONS
GENERATION ¡ 1. Analyse ¡the ¡logs ¡ ¡ 2. Generate ¡different ¡testwares: ¡ ¡
¡ 3. Use ¡these ¡to ¡generate ¡and ¡ automate ¡a ¡test ¡suite ¡consis+ng ¡
¡ ¡
How ¡does ¡it ¡work? ¡ ¡
ORACLES
RUN SUT GENERATE TEST CASES AUTOMATE TEST CASES SUT INSTRUMENT COLLECT & PREPROCESS LOGS LOGGING TEST-WARE GENERATION ANALYSE & INFER MODELS ANALYSE & INFER ORACLES EXECUTE TEST CASES TEST EVALUATION EVALUATE TEST CASES
MODEL BASED ORACLES HUMAN ORACLES
TEST RESULTS TEST EXECUTION
FREE ORACLES Model based
PROPERTIES BASED ORACLES Log based
End-users
PATTERN BASED ORACLES
MANUALLY
Domain experts
Domain Input Specifications
OPTIONAL MANUAL EXTENSIONS
Execute the test cases and start a new test cycle for continuous testing and adaptation of the test wares!
model/oracle ¡ ¡
¡
9 ¡
Internet ¡TesCng, ¡LNCS ¡8432, ¡2014 ¡
hTps://www.youtube.com/watch?v=TnuiEGS6iyc ¡
¡ E.J. ¡Vos, ¡and ¡Nelly ¡Condori-‑Fernandez. ¡EvaluaCng ¡the ¡fiNest ¡ automated ¡tesCng ¡tools: ¡An ¡industrial ¡case ¡study. ¡In ¡Proceedings ¡ ESEM ¡2013, ¡pp ¡332–339. ¡
10 ¡
– Integra+on ¡/ ¡System ¡Tes+ng ¡
– Computers, ¡tables, ¡smartphones…. ¡
– These ¡are ¡what ¡your ¡client ¡finds ¡-‑> ¡test ¡from ¡their ¡perspec+ve! ¡
– But ¡if ¡we ¡have ¡it ¡even ¡beTer ¡;-‑) ¡
– The ¡tool ¡captures ¡user ¡interac+on ¡with ¡the ¡UI ¡and ¡records ¡a ¡script ¡that ¡ can ¡be ¡automa+cally ¡replayed ¡during ¡regression ¡tes+ng ¡ – UI ¡change ¡(at ¡development ¡+me ¡& ¡at ¡run ¡+me) ¡ – Automated ¡regression ¡tests ¡break ¡ – Huge ¡maintenance ¡problem ¡ ¡
¡
– Based ¡on ¡image ¡recogni+on ¡ – Easy ¡to ¡understand, ¡no ¡programming ¡skills ¡needed ¡ – Solves ¡most ¡of ¡maintenance ¡problem ¡ – Introduces ¡addi+onal ¡problems: ¡
– the ¡ambiguity ¡associated ¡with ¡image ¡locators ¡ ¡ – imprecision ¡of ¡image ¡recogni+on ¡feeds ¡into ¡oracles ¡
¡
¡
– Based ¡on ¡automa+cally ¡inferred ¡tree ¡model ¡of ¡the ¡UI ¡ – Tests ¡sequences ¡are ¡derived ¡automa+cally ¡from ¡the ¡model ¡ – Executed ¡sequences ¡can ¡be ¡replayed ¡ – If ¡UI ¡changes ¡so ¡does ¡the ¡model/tests ¡-‑> ¡no ¡maintenance ¡of ¡the ¡tests ¡ – Programming ¡skills ¡are ¡needed ¡to ¡define ¡powerful ¡oracles ¡
type: TButton
...
rect: [15, 25, 65, 55] hasFocus: true enabled: false title: "Button"
Window
Button
Text
Slider Menu MI MI MI MI
type: TMenuItem
... title: "File"
ABC
16 ¡
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
est
*
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
Run ¡executable ¡/ ¡command ¡
Bring ¡SUT ¡into ¡dedicated ¡start ¡state ¡ (delete ¡or ¡restore ¡configura+on ¡files) ¡
Wait ¡un+l ¡SUT ¡fully ¡loaded ¡
est
*
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
Obtain ¡state ¡(Widget ¡Tree) ¡ through ¡Accessibility ¡API ¡
est
*
¡
type: TButton
...
rect: [15, 25, 65, 55] hasFocus: true enabled: false title: "Button"
Window
Button
Text
Slider Menu MI MI MI MI
type: TMenuItem
... title: "File"
ABC
20 20
!"#$%&' ()*%% +,&--*. +/0$/#"1* +//%,&. 2//%,&. 2//%31*0 2//%31*0 2//%,&. 2//%,&. 2//%31*0 2//%,&. 2//%,&. +//%31*0 +//%31*0 +/0$/#"1* +//%,&. +/0$/#"1* 2//%,&. 2//%31*0 2//%31*0 +//%31*0 (1&14#5"-* +5&6*% 2//%,&. 2//%31*0 +/0$/#"1* 7./8.*##3-9":&1/. 7./8.*##;*8"/-<= +&->&# +/0$/#"1* +/0$/#"1* +/0$/#"1* 2//%,&. 2//%31*0 2//%31*0 2//%31*0 2//%31*0 +/0$/#"1* +/0$/#"1* 7&8*,//? 2.** 2.**+/%40- 2.**+/%40- +/0$/#"1* +/0$/#"1* 7&8*,//? +/0$/#"1* 5&6*% +/0$/#"1* +2&6@/%9*. 2//%,&. 2//%31*0 A"*B@/.0 +2&6@/%9*. A"*B@/.0 +2&631*0 +2&6@/%9*. 2//%,&. 2//%31*0 A"*B@/.0 +2&631*0 (&#) (&#) 2."0+/00/-C3D&-9%* +//%,&. +/0$/#"1* +//%31*0 E*-4 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0@/.0
E&"-FE*-4
G9"#&6%*9H (*&.:)
Active Widget Tree
21 21
!"#$%&' ()*%% +,&--*. +/0$/#"1* +//%,&. 2//%,&. 2//%31*0 2//%31*0 2//%,&. 2//%,&. 2//%31*0 2//%,&. 2//%,&. +//%31*0 +//%31*0 +/0$/#"1* +//%,&. +/0$/#"1* 2//%,&. 2//%31*0 2//%31*0 +//%31*0 (1&14#5"-* +5&6*% 2//%,&. 2//%31*0 +/0$/#"1* 7./8.*##3-9":&1/. 7./8.*##;*8"/-<= +&->&# +/0$/#"1* +/0$/#"1* +/0$/#"1* 2//%,&. 2//%31*0 2//%31*0 2//%31*0 2//%31*0 +/0$/#"1* +/0$/#"1* 7&8*,//? 2.** 2.**+/%40- 2.**+/%40- +/0$/#"1* +/0$/#"1* 7&8*,//? +/0$/#"1* 5&6*% +/0$/#"1* +2&6@/%9*. 2//%,&. 2//%31*0 A"*B@/.0 +2&6@/%9*. A"*B@/.0 +2&631*0 +2&6@/%9*. 2//%,&. 2//%31*0 A"*B@/.0 +2&631*0 (&#) (&#) 2."0+/00/-C3D&-9%* +//%,&. +/0$/#"1* +//%31*0 E*-4 E*-431*0 E*-4 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0!./$!/B- E*-4
Active Widget Tree
22 22
!"#$%&' ()*%% +,&--*. +/0$/#"1* +//%,&. 2//%,&. 2//%31*0 2//%31*0 2//%,&. 2//%,&. 2//%31*0 2//%,&. 2//%,&. +//%31*0 +//%31*0 +/0$/#"1* +//%,&. +/0$/#"1* 2//%,&. 2//%31*0 2//%31*0 +//%31*0 (1&14#5"-* +5&6*% 2//%,&. 2//%31*0 +/0$/#"1* 7./8.*##3-9":&1/. 7./8.*##;*8"/-<= +&->&# +/0$/#"1* +/0$/#"1* +/0$/#"1* 2//%,&. 2//%31*0 2//%31*0 2//%31*0 2//%31*0 +/0$/#"1* +/0$/#"1* 7&8*,//? 2.** 2.**+/%40- 2.**+/%40- +/0$/#"1* +/0$/#"1* 7&8*,//? +/0$/#"1* 5&6*% +/0$/#"1* +2&6@/%9*. 2//%,&. 2//%31*0 A"*B@/.0 +2&6@/%9*. A"*B@/.0 +2&631*0 +2&6@/%9*. 2//%,&. 2//%31*0 A"*B@/.0 +2&631*0 (&#) (&#) 2."0+/00/-C3D&-9%* +//%,&. +/0$/#"1* +//%31*0 E*-4 E*-431*0 E*-431*0 E*-431*0 E*-431*0 E*-431*0 ()*%% +/0$/#"1* +/0$/#"1* +/0$/#"1* 5&6*% +/0$/#"1* +/0$/#"1* 5&6*% 2*F1 ,411/- 5&6*% +/0$/#"1* +/0$/#"1* ,411/- ,411/- 5&6*% 5&6*% 2*F1!"&%/8
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
Use ¡informa+on ¡in ¡Widget ¡Tree ¡to ¡ derive ¡a ¡set ¡of ¡“sensible” ¡ac+ons ¡
Click ¡on ¡enabled ¡BuTons, ¡Type ¡into ¡ Text ¡Boxes… ¡
est
*
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
Select ¡one ¡of ¡the ¡ac+ons ¡from ¡the ¡ ac+on ¡set ¡
Various ¡possible ¡strategies: ¡ ¡
Random, ¡ ¡
Coverage ¡Metrics, ¡ ¡
Search-‑based… ¡
est
*
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
Execute ¡and ¡record ¡ selected ¡ac+on ¡
est
*
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
Oracle ¡-‑> ¡Check ¡whether ¡ state ¡is ¡erroneous ¡
est
*
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
Stopping ¡Criteria: ¡
A#er ¡X ¡ac+ons ¡
A#er ¡Y ¡hours ¡
A#er ¡some ¡state ¡
etc ¡…. ¡ Did ¡we ¡find ¡a ¡fault? ¡
est
*
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
Save ¡sequence ¡if ¡it ¡ contained ¡errors ¡
est
*
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
Various ¡stopping ¡criteria: ¡
X ¡sequences ¡
Y ¡hours ¡
… ¡
est
*
30 ¡
Set ¡path ¡the ¡SUT ¡
31 ¡
Filter: ¡ ¡ 1) ¡undesirable ¡ac+ons, ¡ ¡ i.e. ¡closing ¡the ¡applica+on ¡ ¡ al ¡the ¡+me ¡ ¡ ¡ 2) ¡Undesirable ¡processes, ¡for ¡ example ¡help ¡panes ¡in ¡ acrobat, ¡etc……. ¡
32 ¡
See ¡video ¡at ¡hTps://www.youtube.com/watch?v=PBs9jF_pLCs ¡
¡ ¡ ¡ ¡ ¡
34 ¡
¡
¡.*NullPointerExcep+on ¡ ¡ ¡ ¡ ¡ ¡ ¡.*|[Ee]rror|[Pp]roblem ¡
– Ac+on ¡detec+on ¡ – Ac+on ¡selec+on ¡ – Some+mes ¡a ¡trial/error ¡process ¡
38 ¡
40 ¡
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
est
*
protected SUT startSystem() throws SystemStartException
41 ¡
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
est
*
protected State getState(SUT system) throws StateBuildException
42 ¡
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
est
*
protected Set<Action> deriveActions(SUT system, State state) throws ActionBuildException
43 ¡
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
est
*
protected Action selectAction(State state, Set<Action> actions);
// per defaults this is random selection from actions
44 ¡
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
est
*
State state, Action action);
45 ¡
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
est
*
protected Verdict getVerdict(State state);
protected ¡Verdict ¡getVerdict(State ¡state){ ¡ ¡ ¡Assert.notNull(state); ¡ ¡ ¡//-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑ ¡ ¡// ¡ORACLES ¡FOR ¡FREE ¡ ¡//-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑ ¡ ¡ ¡// ¡if ¡the ¡SUT ¡is ¡not ¡running, ¡we ¡assume ¡it ¡crashed ¡ ¡ ¡if(!state.get(IsRunning, ¡false)) ¡ ¡ ¡return ¡new ¡Verdict(1.0, ¡"System ¡is ¡offline! ¡I ¡assume ¡it ¡crashed!"); ¡ ¡ ¡// ¡if ¡the ¡SUT ¡does ¡not ¡respond ¡within ¡a ¡given ¡amount ¡of ¡+me, ¡we ¡assume ¡it ¡crashed ¡ ¡ ¡if(state.get(NotResponding, ¡false)) ¡ ¡ ¡return ¡new ¡Verdict(0.8, ¡"System ¡is ¡unresponsive! ¡I ¡assume ¡something ¡is ¡wrong!"); ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ public ¡final ¡class ¡Verdict ¡{ ¡ ¡…. ¡ ¡private ¡final ¡String ¡info; ¡ ¡private ¡final ¡double ¡severity; ¡ ¡private ¡final ¡Visualizer ¡visualizer; ¡ ¡ public ¡Verdict ¡(double ¡severity, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡String ¡info) ¡ public ¡Verdict(double ¡severity, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡String ¡info, ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡Visualizer ¡v) ¡
//-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑ ¡ // ¡ORACLES ¡ALMOST ¡FOR ¡FREE ¡ //-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑ ¡ ¡ String ¡+tleRegEx ¡= ¡se}ngs().get(SuspiciousTitles); ¡ ¡ ¡ ¡ // ¡search ¡all ¡widgets ¡for ¡suspicious ¡+tles ¡ for(Widget ¡w ¡: ¡state){ ¡ ¡String ¡+tle ¡= ¡w.get(Title, ¡""); ¡ ¡if(+tle.matches(+tleRegEx)){ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡ ¡// ¡visualize ¡the ¡problema+c ¡widget, ¡by ¡marking ¡it ¡with ¡a ¡red ¡box ¡ ¡ ¡Visualizer ¡visualizer ¡= ¡U+l.NullVisualizer; ¡ ¡ ¡if(w.get(Tags.Shape, ¡null) ¡!= ¡null){ ¡ ¡ ¡ ¡Pen ¡redPen ¡= ¡Pen.newPen().setColor(Color.Red).(…).build(); ¡ ¡ ¡ ¡visualizer ¡= ¡new ¡ShapeVisualizer(redPen, ¡….., ¡"Suspicious ¡Title", ¡0.5, ¡0.5); ¡ ¡ ¡} ¡ ¡ ¡return ¡new ¡Verdict(1.0, ¡"Discovered ¡suspicious ¡widget ¡+tle: ¡'" ¡+ ¡+tle ¡+ ¡"'.", ¡visualizer); ¡ ¡} ¡ } ¡ ¡ ¡ ¡
¡ ¡ ¡ //-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑ ¡ // ¡MORE ¡SOPHISTICATED ¡ORACLES ¡CAN ¡BE ¡PROGRAMMED ¡HERE ¡ ¡ //-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑-‑ ¡ ¡ The ¡sky ¡is ¡the ¡limit ¡;-‑) ¡ ¡ ¡ ¡ ¡ // ¡if ¡everything ¡was ¡ok... ¡ return ¡new ¡Verdict(0.0, ¡"No ¡problem ¡detected.", ¡U+l.NullVisualizer);; ¡ ¡ } ¡ ¡
49 ¡
START SUT SCAN GUI + OBTAIN WIDGET TREE more actions? Domain Experts DERIVE SET OF USER ACTIONS EXECUTE ACTION calculate fitness of test sequence
No Yes
Action Definitions Oracle Definition STOP SUT SUT
instrumentation Replayable Erroneous Sequences ORACLE FAULT?
Yes No
more sequences? SELECT ACTION
est
*
protected boolean moreActions(State state); protected void finishSequence(File recordedSequence) protected boolean moreSequences();
50 ¡
– System ¡setup ¡(loca+on, ¡configura+on ¡files) ¡ – Augment ¡Ac+on ¡Set ¡(Drag ¡Sources, ¡Drop ¡Targets, ¡Clicks, ¡Double ¡Clicks, ¡ Right ¡Clicks, ¡Text ¡to ¡type, ¡…) ¡ – Configure ¡cheap ¡oracle ¡(crashes, ¡+meouts, ¡evident ¡error ¡messages) ¡
Standard ¡Widget ¡Toolkit ¡(SWT) ¡
52 ¡
53 ¡
è One that generates lots of Maximum Call Stacks (MCS)
generates, the more aspects of the SUT are tested (McMaster et al.)
instrumentation (no source code needed)
!"#$%& !'%& !(%&
!)%&
!*%& !*%& !'%& !*%& +,#$-.$%&
/ / /
that generate large amounts of “Maximum Call Stacks” within the system under test (SUT)
– Ant Colony Optimization
54 ¡
55
pheromone value pci
according to pheromone values pi
their pheromones pi (Upon construction of subsequent trails, prefer components with high pheromone values)
ci ∈C
ACO Run
20000 40000 60000 80000 100000 120000 140000 160000 1000 2000 3000 4000 5000 6000 #MCS Sequence 20000 40000 60000 80000 100000 120000 140000 160000 1000 2000 3000 4000 5000 6000 #MCS Sequence
Random Run
57
– Better than random – Solutions improve over time – Letting it run unti
– Sequence generation is expensive è parallelization – Frequent restarts of the SUT è might not be suitable for large applications with a significant startup time, e.g. Eclipse – ACO good choice?
Resource ¡Planning ¡(ERP) ¡systems ¡for ¡SMEs. ¡ ¡
accoun+ng ¡and ¡financing ¡control ¡
+me. ¡
– Clave ¡had ¡no ¡budget ¡to ¡apply ¡the ¡tool ¡themselves ¡ – So ¡we, ¡the ¡tool ¡developing ¡researchers ¡did ¡that ¡
59 ¡
2008 ¡ ¡database ¡ ¡
controlling ¡inventory ¡management, ¡shipping ¡and ¡payment ¡as ¡well ¡ as ¡marke+ng ¡and ¡sales. ¡
¡1) ¡Planning ¡Phase: ¡
a) Implementa+on ¡of ¡Test ¡Environment ¡ b) Error ¡Defini+on: ¡An+cipate ¡and ¡iden+fy ¡poten+al ¡fault ¡paTerns. ¡
2) ¡Implementa+on ¡Phase: ¡
a) Oracle ¡Implementa+on: ¡Implement ¡the ¡detec+on ¡of ¡the ¡errors ¡defined ¡in ¡ the ¡previous ¡step. ¡ b) Ac+on ¡Defini+on ¡Implementa+on ¡ c) Implementa+on ¡of ¡stopping ¡criteria ¡
3) ¡Tes+ng ¡Phase: ¡run ¡the ¡test ¡ 4) ¡Evalua+on ¡Phase: ¡
a) Iden+fy ¡the ¡most ¡severe ¡problems ¡encountered ¡during ¡the ¡run. ¡ ¡ b) The ¡collected ¡informa+on ¡will ¡be ¡used ¡for ¡the ¡refinement ¡of ¡the ¡setup ¡ during ¡the ¡next ¡itera+on. ¡
61 ¡
– the ¡development ¡or ¡ac+ons, ¡oracles ¡and ¡stopping ¡criteria ¡to ¡setup ¡TESAR ¡ ¡
takes ¡some ¡ini+al ¡effort ¡(in ¡our ¡case ¡approximately ¡26 ¡hours) ¡but ¡will ¡ pay ¡off ¡the ¡more ¡o#en ¡the ¡test ¡is ¡run. ¡ ¡
– inspec+on ¡of ¡log ¡files, ¡ ¡ – reproduc+on ¡and ¡comprehension ¡of ¡errors ¡ ¡
Are ¡only ¡a ¡+ny ¡frac+on ¡of ¡the ¡overall ¡tes+ng ¡+me ¡(we ¡spent ¡1,5 ¡hour ¡of ¡ manual ¡interven+on ¡during ¡and ¡a#er ¡tests, ¡compared ¡to ¡over ¡91 ¡hours ¡
surprisingly ¡posi+ve ¡result ¡towards ¡believing ¡that ¡TESTAR ¡can ¡be ¡a ¡ valuable ¡and ¡resource-‑efficient ¡supplement ¡for ¡manual ¡tes+ng. ¡ ¡
62 ¡
63 ¡
See ¡a ¡video ¡here: ¡ hTp://www.pros.upv.es/index.php/es/videos/item/1398-‑testar-‑rogue-‑user ¡
¡ ¡ ¡ ¡ ¡TESTAR: ¡Modelio ¡SaaS ¡
!
– PHP ¡web ¡applica+on ¡ – For ¡the ¡transparent ¡configura+on ¡of ¡distributed ¡environments ¡that ¡run ¡ projects ¡created ¡with ¡SOFTEAM’s ¡Modelio ¡Modeling ¡tool ¡ – Administrators ¡use ¡this ¡applica+on ¡to ¡manage ¡servers ¡and ¡projects ¡that ¡ run ¡in ¡virtual ¡environments ¡on ¡different ¡cloud ¡pla‚orms ¡
65 ¡
INTRODUCTORY COURSE CONSOLIDATE FINAL PROTOCOL RUN THE PROTOCOL Level 2: HANDS ON LEARNING TRAINING PHASE Level 3: PERFORMANCE EXAMS
SUCCESS? YESSETTING-UP A WORKING TEST ENVIRONMENT
Example SUTSSOFTEAM
USER MANUALINSTALLING TOOL
Example SUTSTESTING PHASE EVALUATE TEST RESULTS
NOTRAINER
PROTOCOL SUFFICIENT QUALITY? YES NO WORKING DIARIES PROTOCOL PROTOCOL PROTOCOL EVOLUTIONS LEARNABILITY- QUESTIONNAIRE (A) LEARNABILITY- QUESTIONNAIRE (B) SATISFACTION- INTERVIEWLevel 1: REACTION EVALUATE
COURSE QUALITY QUESTIONNAIREWe ¡measured: ¡
– 17 ¡faults ¡were ¡re-‑injected ¡to ¡evaluate ¡ – Code ¡coverage ¡
– Time ¡for ¡set-‑up, ¡designing ¡and ¡develop ¡ – Time ¡for ¡running ¡tests ¡
Description Test Suite TSSoft TST estar Faults discovered 14 + 1 10 + 1 Did not find IDs 1, 9, 12 1,4,8,12,14,15,16 Code coverage 86.63% 70.02% Time spent on development 40h 36h Run time manual automated 1h 10m 77h 26m Faults diagnosis and report 2h 3h 30m Faults reproducible 100% 91.76% Number of test cases 51 dynamic
Would you recommend Could you pursuade the tool to your colleagues? your management to invest?
misunderstanding ¡during ¡the ¡ learning ¡of ¡programming ¡for ¡ powerful ¡oracles ¡
increased ¡in ¡quality ¡
– Red ¡= ¡Oracle ¡ – Green ¡= ¡Ac+on ¡Set ¡ – Blue ¡= ¡Stopping ¡Criteria ¡
exercise ¡on ¡a ¡calculator: ¡50 ¡minutes ¡
techniques ¡(model-‑based, ¡combinatorial-‑based) ¡for ¡ac+on ¡ selec+on ¡
ac+ons ¡and ¡oracles ¡without ¡programming ¡Java ¡
during ¡regression ¡tes+ng ¡with ¡our ¡tool ¡and ¡capture/replay ¡or ¡ visual ¡tes+ng ¡tools ¡
and ¡Windows ¡plug-‑ins) ¡to ¡mobile ¡pla‚orms ¡
68 ¡
¡