by Be tt er  Sa f Than Sorry -   T e s t in g   C h a lle n g e s   U s in g   S A F e ® Me t t e  B r u h n - P e d e r se n SQA  Da ys #23 2 6 - 05 - 2 01 8 R e n a i s s a n c e   M i n s k   Ho te l ,   M i n s k ,   B e l a r u s 1 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Y e Ano ther  M e thod ?!?   2 2 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Wher e Does S AF e Fit In ?   3 Scru m XP Kanban S p o t if y LE S S SA F e S c a la b ilit y P r e s c r ip t iv e n e s s 3 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 P opularity  o f   A gile M e thods in Gener al   4 0% 7,5% 15% 22,5% 3 0% 2 01 6 2 01 7 SA F e Scru m Hy b r i d   M o d e l s F e a tu r e   D r i v e n   D e v e l o p m e n ( F D D ) A c c o r d in g   t o   W o r ld   Q u a lit y   R e p o r t   20 17- 18,   mo s t   o r g a n is a t io n s   h a v e   a d o p t e d   a n   A g ile   me t h o d o lo g y   f o r   a t   le a s t   s o me   o f   t h e ir   p r o j e c t s 4
Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Gr o wing P opularity  o f  S AF e   5 0% 15% 3 0% 45% 6 0% 2 01 5 2 01 6 2 01 7 SA F e No   S p e c i c   A p p r o a c h A c c o r d in g   t o   W o r ld   Q u a lit y   R e p o r t   20 17- 18,   S A F e   h a s   g r o w n   in   p o p u la r it y   a s   a n   a p p r o a c h   t o   t e s t in g   in   A g ile 5 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Wha t I s Scaled  A gile F r ame w ork   6 SA F e ®   is   a   f r e e ly   r e v e a le d   k n o w le d g e   b a s e   o f   in t e g r a t e d ,   p r o v e n   p a t t e r n s     f o r   e n t e r p r is e   Le a n - A g ile   d e v e lo p me n t 6 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 T oda y’ s F ocus I s the E ssen tial  Con gur a tion   7 A g ile   R e le a s e   T r a in   ( A R T )   T y p ic a lly   50 - 125  p e o p le   C r o s s - f u n c t io n a l 7 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 A r c h i te c tu r a l   r u n w a y   a n d   te c h n i c a l   e x c e l l e n c e D e n e ,   b u i l d ,   te s   a n d   i m p l e m e n s o l u ti o n s AR T   W a y s   of  W or k i ng Te a m   W a y s   o f   W o r k i n g A R T   B a c k l o g   o f   F e a tu r e s Te a m   B a c k l o g   o f   u s e r   s t o r i e s Similar  R oles   8 Pr o d u ct Own er S c r u M a s t e r De v T eam P r o d u c t   M g mt R e le a s e   T r a in   E n g in e e r S y s t e A r c h it e c t A g ile   T e a m A g ile   R e le a s e   T r a in 8
Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 I n s p e c &   A d a p t R e tr o Re view S y s te m   D e m o Scru m o f  Scru ms & A R T Syn c S ta n d u p I te r a ti o n   P l a n n i n g P r o g r a m   I n c r e m e n P l a n n i n g 2- w e e k s Similar   W ork M e thods   9 A g ile   T e a m A g ile   R e le a s e   T r a in 8- 12  w e e k s W e e k ly D a ily U s e r   s t o r ie s   -   e n d   o f   s p r in t F e a t u r e s   -   e n d   o f   p r o g r a in c r e me n t M o r e   s t r a t e g ic M o r e   t a c t ic a l 9 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Pr ec onditions f or   A gile  T esting in S AF e   10 T e s t - F ir s t   A p p r o a c h   T e s t a b le   a c c e p t a n c e   c r it e r ia   o n   u s e r   s t o r ie s   R e v ie w   a n d   e a r ly   f e e d b a c k   o n   e v e r y t h in g A u t o ma t e d   d e liv e r y   a n d   d e p lo y me n t   D e c e n t   c o v e r a g e   b y   a u t o ma t e d   t e s t s   o n   a ll  le v e ls ,   n o t   j u s t   u n it /c o mp o n e n t T e s t in g   in   t h e   s a me   it e r a t io n   E x p lo r a t o r y   t e s t in g A g ile   t e s t in g   in   a g ile   t e a ms   in c lu d in g   g o o d   p r a c t ic e s   s u c h   a s : 10 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Similar   T esting Challenges T e st  p l a n n i n g   T e st  p r e p a r a t i o n   T e st  e x e c u t i o n   C o o r d i n a t i o n  o f  d e p e n d e n c i e s   11 11 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Pr ogr am Incr emen t Planning   12 P R OD UC T   O WNE R SCRUM MA STER DEV   TEA M P R OD UC T   MGMT. RELEA SE TRA I ENGI NEER SYSTEM A RCHITECT A ll  p e o p le   o n   t h e   A R T   a n d   r e le v a n t   s t a k e h o ld e r s   me e t   f a c e - t o - f a c e   f o r   d a y s   t o   p la n   t h e   n e x t   P r o g r a I n c r e me n t   ( P I )   Fa c e - t o - f a c e   e v e n t 12
Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Pr ogr am Boar d in PI Planning   13 T h e   p la n   is   d o c u me n t e d   in   t h e   P r o g r a B o a r d 13 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Change t o the Pr ogr am Boar d   14 D e d ic a t e d   s w im  la n e   f o r   la r g e r   o r   mo r e   c o mp le x   t e s t in g   a c t iv it ie s ,   e . g . ,   R e le a s e   T e s t in g 14 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 R elease  T esting S wim Lane  Sc enario 1   15 O n e   f e a t u r e   c o mp le t e d   b y   o n e   t e a m 15 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 R elease  T esting S wim Lane  Sc enario 2   16 F e a t u r e   c o mp le t e d   b y   t h r e e   t e a ms   T w o   t e a ms   c o mp le t e   t h e ir   p a r t   in   t h e   r s t   it e r a t io n   T h ir d   t e a c o mp le t e   t h e ir   p a r t   in   t h e   s e c o n d   it e r a t io n 16
Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 R elease  T esting S wim Lane  Sc enario 3   17 F e a t u r e s   a r e   t e s t e d   a n d   d e p lo y e d   in   r s t   a n d   s e c o n d   it e r a t io n   a n d   t h e n   ma d e   a v a ila b le   t o   e n d - u s e r s   in   t h e   t h ir d   it e r a t io n 17 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 R elease  T esting S wim Lane  Sc enario 4   18 N o t   a ll  f e a t u r e s   h a v e   t o   b e   r e le a s e d   t e s t e d   A   t e a c a n   d e n e ,   b u ild ,   t e s t   imp le me n t   a   f e a t u r e   in   o n e   it e r a t io n 18 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 R elease  T esting S wim Lane  N ormal  Sc enario   19 E x a mp le   o f   h o w   a   P r o g r a B o a r d   c o u ld   lo o k   C h e c k   if   d e p e n d e n c ie s   a r e   o k 19 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Bene ts o f  a Dedica t ed S wim Lane f or   T esting   20 E v e r y o n e  b e c o m e s a w a r e  o f  t h e   n e e d e d  t e st i n g  a c t i v i t i e E a sy  t o  c h e c k  i f  f e a t u r e s c a n  b e   i n c l u d e d  i n  c e r t a i n  m i l e st o n e D i sc u ssi o n  a r o u n d  h o w  t o   c h a n g e  t h e  p l a n  t o  m e e t   b u si n e ss m i l e st o n e s w i t h  a l l   t e a m U se f u l  w h e n  d i sc u ssi n g   c h a n g e s d u r i n g  PI  e x e c u t i o n 20
Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 T eam  T est Pr epar a tion and Ex ecution in S AF e   21 W e e k l y  C o m m u n i t y  o f   Pr a c t i c e  ( C o P)  m e e t i n g   S o r t  o u t  t e st i n g - r e l a t e d   d e p e n d e n c i e R e q u e st  h e l p  f r o m  o r   o f f e r  h e l p  t o  o t h e r  t e a m A l i g n  t e st i n g  p r a c t i c e s We e k   1 We e k   2 T e s t  E x e c u t i o n T e s t  P r e p a r a t i o n 21 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Bene ts o f  Q A  &  T esting Co P   22 T e st  p r e p a r a t i o n  a n d   e x e c u t i o n  o n  c a d e n c e   D e d i c a t e d  t i m e  f o r  Q A  &   T e st i n g  t o p i c   ( su p p l e m e n t i n g  S c r u m  o f   S c r u m s a n d  A R T  S y n c )   C o n t i n u o u s Q A  &  T e st i n g   im pro v em ent s 22 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 B u g  Hu n t i n g P r e p a r e  T e s t   Char ters AR T   T est Pr epar a tion and Ex ecution in S AF e   23 B u g  H u n t i n g ,  a n  e x p l o r a t o r y   t e st i n g  se ssi o n ,  i n  t h e  l a st   e x e c u t i o n  i t e r a t i o n  o f  t h e  PI   A l l  t e a m s p r e p a r e  t e st  c h a r t e r A l l  r o l e s i n v i t e d  ( PO ,  S M,  D e v . ,   T e st . ,  S y st e m  A r c h i t e c t ,  e t c . )   T e a m  u p  w i t h  p e o p l e  f r o m   o t h e r  t e a m R u n  o t h e r  t e a m s’  t e st  c h a r t e r I t e r a t io n   3 I t e r a t io n   4 23 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 B u g  Hu n t i n g P r e p a r e  T e s t   Char ters Bene ts o f   AR T  Bug Hun ting   24 S y st e m  t e st i n g  a n d   sy st e m  i n t e g r a t i o n  t e st i n g   S h a r e d  e q u i p m e n t ,  e . g . ,   p h y si c a l  d e v i c e  t e st i n g   K n o w l e d g e  sh a r i n g  a c r o ss  r o l e s a n d  a g i l e  t e a m I n c r e a se d  sy st e m  a n d   b u si n e ss u n d e r st a n d i n g I t e r a t io n   3 I t e r a t io n   4 24
Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 Summary SAF e ®  i s u se d  i n  m o r e  a n d  m o r e  c o m p a n i e s i n  m a n y   c o u n t r i e G o o d  a g i l e  t e st i n g  p r a c t i c e s o n  t e a m  l e v e l  i s a  p r e - c o n d i t i o n  f o r  su c c e ssf u l  sc a l i n g   T h r e e  c o n c r e t e  t i p s t o  h a n d l e  t e st i n g  c h a l l e n g e s i n  S A F e ®:   D e d ic a t e d   s w im  la n e   o n   P r o g r a B o a r d   C o P   f a c ilit a t in g   t e a t e s t   p r e p a r a t io n   a n d   e x e c u t io n   o n   c a d e n c e   B u g   H u n t in g   e a c h   P I   f o r   e v e r y o n e   o n   t h e   A R T   25 25 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23 W an t t o Kno w  M or e ?   26 e B o o k   p u b lis h e d   b y   E u r o S T A R   in   A p r il  20 18:   T e s t in g   a n d   Q u a lit y   in   S c a le d   A g ile   F r a me w o r k   f o r   Le a n   E n t e r p r is e s h ttps:/ /.saf ejourne y . dk/ 2018/ 04/ 27 /ebook-t esting-and-quality-in-the-sc al ed-agil e-fr ame w ork-saf e/ 26 Be tt er  Sa f Than Sorry  -  T esting Challenges using S AF e ®   S Q A   D a y s   #23   27 Con tact In f orma tion Me t t e   Br uhn- P e de r s e n A gil T r ansf ormation Coach and Partner E: me tt e@sa f ejourne y .dk W : sa f ejourne y .dk  27