T r a c e a b i l i t y   M a t r i x ,   T e s t   P y r a m i d   a n d   s i m p l e   R O I - c a l c u l a t o r   a s   a   c o m m u n i c a t i o n   t o o l A n t o n   S e m e n c h e n k o
A n t o n   S e m e n c h e n k o Q A   c o m m u n i t y   C O M A Q A f o u n d e r C + +   c o m m u n i t y   C o r e H a r d c o - f o u n d e r I n t e r n a t i o n a l   I T   c o m m u n i t y   I n t e r I T f o u n d e r 5 0 +   i n t e r n a t i o n a l   c o n f e r e n c e s   o r g a n i z e r I T   e v a n g e l i s t   ( 3 0 0 +   s p e e c h e s   o n   m e e t u p s   a n d   c o n f e r e n c e s ) F i e l d   o f   s c i e n t i f i c   i n t e r e s t :   u s i n g   m a t h   f o r   d i f f e r e n t i a l   d i a g n o s t i c   i n   c a r d i o l o g y ,   p s y c h i a t r y ,   v i r o l o g y   a n d   i m m u n o l o g y B S U S e n i o r   L e c t u r e r C + +   b o o k s   e d i t o r Q A   A u t o m a t i o n ,   M a n a g e m e n t I C A g i l e C e r t i f i e d   P r o f e s s i o n a l
A g e n d a ,   p a r t   1 1 . G e n e r a l   p r o b l e m s t a t e m e n t a ) F r o m   M a n u a l   Q A   s t a n d p o i n t b ) F r o m   A Q A s t a n d p o i n t c ) F r o m   B u s i n e s s s t a n d p o i n t 2 . G e n e r a l   s o l u t i o n   s t a t e m e n t 3 . Y o u r   s o l u t i o n s   o p t i o n ? 4 . O p t i o n   o f   c o m b i n i n g T r a c e a b i l i t y   M a t r i x ,   T e s t   P y r a m i d   a n d   S i m p l e   R O I   C a l c u l a t o r   s o l u t i o n 5 . D e f i n i t i o n s : a ) T r a c e a b i l i t y   M a t r i x b ) T e s t   P y r a m i d c ) R O I   C a l c u l a t o r
A g e n d a ,   p a r t   2 6 . W h a t   f o r m a t s   o f   T C   w o u l d   y o u   l i k e   t o   s e e   i n   e x a m p l e s ? 7 . U s a g e   e x a m p l e   o f   i t e r a t i o n   p l a n n i n g   w i t h   3   t o o l s a ) T e s t   C a s e b ) C h e c k   l i s t c ) G h e r k i n 8 . A d d i t i o n a l   f a c t o r s   w h i c h   c a n   a f f e c t   p l a n n i n g ? 9 . E x a m p l e   w i t h   M a n u a l   Q A   a n d   B u s i n e s s   V a l u e ,   R i s k   M a n a g e m e n t 1 0 . W h a t   t o o l s   w o u l d   y o u   l i k e   t o   s e e   i n   e x a m p l e s ? 1 1 . E x a m p l e s o f   i m p l e m e n t a t i o n   T r a c e a b i l i t y   M a t r i x   i n   c o n t e x t   o f   T e s t   M a n a g e m e n t   P y r a m i d   a n d   R O I   C a l c u l a t o r . a ) B a s e d   o n   G o o g l e   S h e e t b ) B a s e d   o n   T M S   Z e p h y r
A g e n d a ,   p a r t   3 1 2 . C o n c l u s i o n s 1 3 . W h a t   n e x t ? 1 4 . A p p e n d i x A :   T e s t   P y r a m i d   h i g h   l e v e l   i n f o   1 5 . A p p e n d i x B :   s i m p l e   R O I   C a l c u l a t o r   h i g h   l e v e l   i n f o   1 6 . A p p e n d i x C :   h o w   t o   c o m b i n e   T e s t   P y r a m i d   a n d   R O I   C a l c u l a t o r  
G e n e r a l   p r o b l e m s t a t e m e n t
S t a k e h o l d e r s   \ p o i n t s   o f   v i e w ?
F r o m   M a n u a l Q A   s t a n d p o i n t
F r o m   A Q A s t a n d p o i n t
F r o m   B u s i n e s s s t a n d p o i n t
G e n e r a l   s o l u t i o n   s t a t e m e n t
Y o u r   s o l u t i o n s   o p t i o n ?
O p t i o n T r a c e a b i l i t y   M a t r i x ,   T e s t   P y r a m i d   a n d   S i m p l e   R O I   C a l c u l a t o r   c o m b i n i n g
T r a c e a b i l i t y   M a t r i x A   T r a c e a b i l i t y   M a t r i x   i s   a   d o c u m e n t   t h a t   c o - r e l a t e s   a n y   t w o - b a s e l i n e d o c u m e n t s   t h a t   r e q u i r e   a   m a n y - t o - m a n y   r e l a t i o n s h i p   t o   c h e c k   t h e   c o m p l e t e n e s s   o f   t h e   r e l a t i o n s h i p .   I t   i s   u s e d   t o   t r a c k   t h e   r e q u i r e m e n t s   a n d   t o   c h e c k   t h e   c u r r e n t   p r o j e c t   r e q u i r e m e n t s   a r e   m e t .
R e q u i r e m e n t   T r a c e a b i l i t y   M a t r i x R e q u i r e m e n t T r a c e a b i l i t y   M a t r i x   i s   a   d o c u m e n t   t h a t   m a p s   a n d   t r a c e s   u s e r   r e q u i r e m e n t   w i t h   t e s t   c a s e s .   I t   c a p t u r e s   a l l   r e q u i r e m e n t s   p r o p o s e d   b y   t h e   c l i e n t   a n d   r e q u i r e m e n t   t r a c e a b i l i t y   i n   a   s i n g l e   d o c u m e n t ,   d e l i v e r e d   a t   t h e   c o n c l u s i o n   o f   t h e   S o f t w a r e   d e v e l o p m e n t   l i f e   c y c l e .   T h e   m a i n   p u r p o s e   o f   R e q u i r e m e n t   T r a c e a b i l i t y   M a t r i x   i s   t o   v a l i d a t e   t h a t   a l l   r e q u i r e m e n t s   a r e   c h e c k e d   v i a   t e s t   c a s e s   s u c h   t h a t   n o   f u n c t i o n a l i t y   i s   u n c h e c k e d   d u r i n g   S o f t w a r e   t e s t i n g .
R e q u i r e m e n t   T r a c e a b i l i t y   M a t r i x M M F F e a t u r e B a c k l o g   I t e m A c c e p t a n c e   T e s t P r o j e c t M o d u l e A u t o m a t i o n   L e v e l D e p e n d e n c y S t a t u s
R e q u i r e m e n t   T r a c e a b i l i t y   M a t r i x M M F F e a t u r e B a c k l o g   I t e m A c c e p t a n c e   T e s t P r o j e c t M o d u l e A u t o m a t i o n   L e v e l D e p e n d e n c y S t a t u s M M F F e a t u r e B a c k l o g   I t e m A c c e p t a n c e   T e s t A Q A   T C # P r o j e c t M o d u l e A u t o m a t i o n   L e v e l D e p e n d e n c y S t a t u s
U s a g e   e x a m p l e A Q A   p l a n n i n g : W h e n   p l a n n i n g   P I ,   w e   n e e d   t o   f o r m u l a t e   5   o r   m o r e   A c c e p t a n c e   T e s t s   f o r   e a c h   M M F .   T h e r e f o r e ,   w e   w i l l   g e t   a n   e x t r a   h i g h - l e v e l   T r a c e a b i l i t y   M a t r i x   o f   t h e   f o l l o w i n g   w a y : A l s o ,   i t   w i l l   h e l p   t o   b u i l d   s i m p l i f i e d G a n t t   C h a r t .
U s a g e   e x a m p l e T h o s e   2   a r t i f a c t s   w i l l   a l l o w   u s   t o : 1 . S e e   t h e   t a s k s w h i c h   a r e   o n   t h e   c r i t i c a l   p a t h ; 2 . P r i o r i t i z e t h e   e f f o r t   o f   e a c h   t e a m   i n   t h e   s c o p e   o f   e v e r y   s p r i n t   i n   t h e   c o n t e x t   o f   A Q A   a n d   d e v e l o p m e n t   ( 1   o r   m o r e   c r i t i c a l   t a s k s   w i l l   b e   m a r k e d   a s   p r i o r i t y   t a s k s   o u t s i d e   t h e   g e n e r a l   f l o w ) ; 3 . R e c e i v e   g e n e r a l   h i g h - l e v e l   s t a t u s ; A s   r e s u l t   w e   w i l l g u a r a n t e e   f u l l   a u t o m a t e d   P I   D e m o ,   a s   t h e   t o p   o f   A u t o m a t e d   t e s t i n g   p y r a m i d .
U s a g e   e x a m p l e A d d i t i o n a l   p r o s   o f   f u l l   a u t o m a t i o n   o f   M M F   A c c e p t a n c e   T e s t s : 1 . W e   w i l l   b e   a b l e   t o   s h o w   d e m o   t o   t h e   c u s t o m e r   a t   a n y   m o m e n t   w i t h o u t   a t t r a c t i n g   t e c h n i c a l   s p e c i a l i s t s ; 2 . W e   w i l l   b e   e a s i l y   a b l e   t o   o r g a n i z e   D e m o   b y   o u r   c u s t o m e r   t o   t h e   s t a k e h o l d e r s   w i t h o u t   o u r   p a r t i c i p a t i o n ( d e p l o y e d   b y   o n e - c l i c k   A m a z o n   U I   A u t o   T e s t s   w i t h   r e q u i r e d   e n v i r o n m e n t ,   r u n   t h o s e   t e s t s   w i t h   a d d i t i o n a l   p a r a m e t e r   a s   l o n g e r   t i m e o u t s   t o   m a k e   t h e   c l i c k s   p e r f o r m   s l o w l y   i n   o r d e r   t o   s e e   t h e m ) ; 3 . W e   w i l l   b e   a b l e   t o   s h o w   t h a t   e v e r y t h i n g   w o r k s   o n   t h e   c u s t o m e r s   e n v i r o n m e n t ( U n i t   t e s t s   a n d   o t h e r   v e r y   i m p o r t a n t   t o o l s   w h i c h   g u a r a n t e e s   s t a b l e   w o r k   a r e   n o t   r e p r e s e n t a t i v e   f o r   t h e   b u s i n e s s   o w n e r s ) ;
U s a g e   e x a m p l e A Q A   p l a n n i n g : W h e n   p l a n n i n g   P I ,   w e   n e e d   t o   f o r m u l a t e   5   o r   m o r e   A c c e p t a n c e   T e s t s   f o r   e a c h   M M F .   T h e r e f o r e ,   w e   w i l l   g e t   a n   e x t r a   h i g h - l e v e l   T r a c e a b i l i t y   M a t r i x   o f   t h e   f o l l o w i n g   w a y : A l s o ,   i t   w i l l   h e l p   t o   b u i l d   s i m p l i f i e d G a n t t   C h a r t .
A Q A   M V P ?
M i n i m u m   V a l u a b l e   P r o d u c t Q A   A u t o m a t i o n   M V P   f o r   p r o j e c t : 1 . C I   \ C D   P i p e l i n e ; 2 . 3   A u t o   T e s t s   ( U I ,   A P I ,   U n i t   l e v e l ) ; 3 . R e p o r t i n g :   h i g h   l e v e l   f o r   b u s i n e s s   a n d   l o w   l e v e l   w i t h   t e c h   i n f o ; 4 . R u n   o n   e v e n t   ( n i g h t l y ,   o n   d e m a n d ,   a s   a   p o s t   b u i l d   \ s e t t i n g   u p   e n v ) ; 5 . B . E .   R e p o r t i n g :   A u t o   c a l c u l a t i o n   p r o g r e s s   a n d   s o m e   o t h e r   m e t r i c s   b a s e d   o v e r   a   p e r i o d   o f   t i m e ; Q A   A u t o m a t i o n   M V P   f o r   p r o d u c t : 1 . C I   \ C D   P i p e l i n e ; 2 . 1   s u c c e s s f u l   p a s s   u s e r   f l o w ; 3 . R e p o r t i n g   f o c u s i n g   o n   B u s i n e s s ; 4 . R u n   o n   e v e n t   ( o n   d e m a n d ,   a s   a   p o s t   b u i l d   \ s e t t i n g   u p   e n v ) ;
U s e r   S t o r y ,   T e s t   C a s e ,   C h e c k   L i s t ,   G h e r k i n ?
U s e r   S t o r y ,   T e s t   C a s e ,   C h e c k   L i s t ,   G h e r k i n   e x a m p l e s
A d d i t i o n a l   f a c t o r s ?
M a n u a l   Q A   v a l u e ,   B u s i n e s s   v a l u e ,   R i s k   M a n a g e m e n t   e x a m p l e s
Y o u r   T M S ?
T M S   Z e p h y r   e x a m p l e
G o o g l e   S h e e t   e x a m p l e
G o o g l e   S h e e t   e x a m p l e
Q u e s t i o n s ?
Q u e s t i o n s * 1 )   B D D - o n e   o f   t h e   p o p u l a r   d e v e l o p m e n t   a n d   s o f t w a r e   t e s t i n g   m e t h o d o l o g i e s .   D o n ' t   B D D   c o n t r a d i c t   w i t h   a d d i t i o n a l   a r t i f a c t   s u c h   a s   T r a c e a b i l i t y   M a t r i x ? 2 )   I n   e v e r y   e n g i n e e r i n g   d i s c i p l i n e   i n c l u d i n g   s o f t w a r e   d e v e l o p m e n t   f o l l o w i n g   t h e   D R Y ( D o n ' t   r e p e a t   y o u r s e l f )   a n d   S S O T ( S i n g l e   S o u r c e   o f   T r u t h )   c o n c e p t s .   D o e s   T r a c e a b i l i t y   M a t r i x   c o n t r a d i c t   w i t h   b a s i c   e n g i n e e r i n g   c o n c e p t s . 3 )   C a n   w e   i m p l e m e n t   a u t o m a t e d   u p d a t e s   o f   T r a c e a b i l i t y   M a t r i x   i n   a n y   T e s t   M a n a g e m e n t   S y s t e m ?   O r   h o w   t o   e f f e c t i v e l y   s u p p o r t   a c t u a l i t y   o f   T r a c e a b i l i t y   M a t r i x ? 4 )   M e t h o d o l o g i c a l   q u e s t i o n s !
C o n c l u s i o n s 1 . D e v e l o p e d   o b v i o u s   c o m m u n i c a t i o n   i n f r a s t r u c t u r e ! 2 . A p p e n d i x   A ,   B   a n d   C   : )
A p p e n d i x A T e s t   P y r a m i d   h i g h   l e v e l   i n f o  
A p p e n d i x B s i m p l e   R O I   C a l c u l a t o r   h i g h   l e v e l   i n f o  
A p p e n d i x С h o w   t o   c o m b i n e   T e s t   P y r a m i d   a n d   R O I   C a l c u l a t o r  
C o n t a c t   I n f o r m a t i o n A n t o n   S e m e n c h e n k o E m a i l :   a s e m e n c h e n k o @ a c c e s s s o f t e k . c o m S k y p e :   l i v e : . c i d . c f 6 9 c a c d c f b f 0 7 f c T e l e g r a m :   + 3 7 5   3 3   3 3   4 6   1 2 0 P h o n e s :   + 3 7 5   3 3   3 3   4 6   1 2 0 4   0 0   h t t p s : / / w w w . f a c e b o o k . c o m / s e m e n c h e n k o . a n t o n . v h t t p s : / / w w w . l i n k e d i n . c o m / i n / a n t o n - s e m e n c h e n k o - 6 1 2 a 9 2 6 b /
T h a n k   y o u   f o r   y o u   a t t e n t i o n ! B i d   y o u   f a r e w e l l ! h t t p : / / c o n f e r e n c e . c o m a q a . b y / h t t p s : / / c o m a q a . b y / h t t p s : / / w w w . y o u t u b e . c o m / c h a n n e l / U C z A h X R 5 3 e I v H h t 9 q m F P B V x g