D o   n o t   p u t   c o n t e n t   o n   t h e   b r a n d   S u r v i v i n g   t h e   T e s t i n g   C h a l l e n g e s   o f   T o d a y   a n d   T o m o r r o w E r i k   v a n   V e e n e n d a a l w w w . e r i k v a n v e e n e n d a a l . n l T e s t   S t r a t e g i e s A n a l y t i c a l   T e s t i n g   a n d   M o r e
E r i k   v a n   V e e n e n d a a l I n   I T   &   t e s t i n g   s i n c e   1 9 8 5   w o r k i n g   f o r   m a n y   d i f f e r e n t   c l i e n t s   a n d   i n   m a n y   d i f f e r e n t   r o l e s A u t h o r   T M a p ,   I S T Q B   F o u n d a t i o n   a n d   T M M i   a n d   m a n y   o t h e r   b o o k s   a n d   p a p e r s F o r m e r   V i c e - P r e s i d e n t   I n t e r n a t i o n a l   S o f t w a r e   T e s t i n g   Q u a l i f i c a t i o n s   B o a r d   ( I S T Q B )   S u p p o r t i n g   m e m b e r   I R E B   b o a r d C E O   T M M i   F o u n d a t i o n W i n n e r   E u r o p e a n   &   I S T Q B   I n t e r n a t i o n a l   T e s t i n g   E x c e l l e n c e   A w a r d I m p r o v e   I T   S e r v i c e s   B V 2 w w w .   e r i k v a n v e e n e n d a a l . n l
T h e   o t h e r s i d e   o f   m e   I m p r o v e   I T   S e r v i c e s   B V 3
4 I m p r o v e   I T   S e r v i c e s   B V
C o m m o n   T e s t i n g   C h a l l e n g e s I n c r e a s i n g   b u s i n e s s   i m p o r t a n c e I n c r e a s i n g   c o d e   s i z e   a n d   c o m p l e x i t y T e c h n o l o g y   a d v a n c e m e n t S y s t e m s - o f - s y s t e m s V a r i e t y   o f   d e v i c e s   a n d   O S s S e c u r i t y   v u l n e r a b i l i t i e s O u t s o u r c i n g T i m e - t o - m a r k e t   c r i t i c a l N u m b e r   o f   d e f e c t s   h a r d l y   d e c r e a s e s I m p r o v e   I T   S e r v i c e s   B V 5
I m p r o v e I T   S e r v i c e s   B V 6
A g i l e   S i l v e r B u l l i t 7 1 1 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 1 0 0 1 0 0 0 P r o j e c t   S i z e ( K L O C ) D e f e c t s d e s p i t e c o n t i n u o u s g r o w t h i n   a d o p t i o n o f   a g i l e ,   m a n y o r g a n i z a t i o n s a r e   s t i l l f a c i n g t h e   s a m e c h a l l e n g e s a s   i n   p r e v i o u s y e a r s ,   W o r l d   Q u a l i t y R e p o r t
T o p   5   A g i l e B e n e f i t s 1 . A b i l i t y t o   m a n a g e   c h a n g i n g p r i o r i t i e s 2 . I m p r o v e d p r o j e c t   v i s i b i l i t y 3 . I n c r e a s e d t e a m   m o t i v a t i o n 4 . D e l i v e r y   s p e e d / t i m e   t o   m a r k e t 5 . B e t t e r d e l i v e r y   p r e d i c t a b i l i t y I m p r o v e   I T   S e r v i c e s   B V 8 S o u r c e :   1 3 t h   A n n u a l   S t a t e   o f   A g i l e   R e p o r t
T e s t i n g   C h a l l e n g e I m p r o v e   I T   S e r v i c e s   B V 9 C o m p l e x i t y T i m e D o m a i n   T e s t   T e a m T e s t   T e c h n i q u e s T e s t   A u t o m a t i o n W h a t   w i l l   c l o s e   t h e   g a p ? 2 n E x p l o r a t o r y   T e s t i n g c o d e   s i z e d o u b l e s e v e r y t w o y e a r s n u m b e r o f   r e q s d o u b l e s   e v e r y 9   m o n t h s X   b r o w s e r s ,   Y   O S s Z   d e v i c e s ,   e t c . s a f e t y - c r i t i c a l s y s t e m s a b o u t h a l f   a s   f a s t
N o   M o r e   T e s t e r s ,   o r   . I m p r o v e   I T   S e r v i c e s   B V 1 0 T h e r e   h a s   n e v e r   b e e n   a   t i m e   w h e n   s o f t w a r e   t e s t e r s   w e r e   n e e d e d   m o r e !
T e s t   S t r a t e g i e s c o v e r e d M e t h o d i c a l - T e s t   T e c h n i q u e s ,   I S T Q B ,   T M a p ,   C h e c k l i s t s ,   T a x o n o m i e s D i r e c t i v e - D o m a i n   e x p e r t s ,   T e c h n o l o g y   e x p e r t s R e g r e s s i o n - a v e r s e - S t a n d a r d   t e s t   s u i t e ,   T e s t   a u t o m a t i o n R e a c t i v e   - E x p l o r a t o r y   T e s t i n g     (   E r r o r   G u e s s i n g ) I m p r o v e   I T   S e r v i c e s   B V 1 1
M e t h o d i c a l T e s t i n g I m p r o v e   I T   S e r v i c e s   B V 1 2 B l a c k   b o x   t e s t   t e c h n i q u e s E q u i v a l e n c e P a r t i t i o n i n g S t a t e   T r a n s i t i o n T e s t i n g D e c i s i o n T a b l e T e s t i n g P a i r w i s e T e s t i n g D e f e c t   T a x o n o m i e s D a t a   l o g i c C o m p u t a t i o n E r r o r   H a n d l i n g D a t a   d e f i n i t i o n I n t e r f a c i n g F M E A
R e g r e s s i o n - A d v e r s e M a n a g e   t h e R e g r e s s i o n R i s k S t r u c t u r a l o r   F u n c t i o n a l C o v e r a g e M a i n t e n a n c e K n o w l e d g e   a n d S k i l l s T o o l s   d o   n o t T e s t R O I I m p r o v e   I T   S e r v i c e s   B V 1 3 C u c u m b e r S p e c F l o w R s p e c J B e h a v e F i t n e s s e S e l e n i u m C o n c o r d i o n
R e a c t i v e   T e s t i n g C h a r t e r S e s s i o n s E x p l o r a t i o n D e s i g n E x e c u t i o n 1 4 S e s s i o n - B a s e d   T e s t i n g D e b r i e f i n g I m p r o v e   I T   S e r v i c e s   B V H e u r i s t i c s - B o u n d a r i e s - C R U D - c o n f i g u r a t i o n s - I n t e r r u p t i o n s - . . . .
T e s t   S t r a t e g i e s u n c o v e r e d S h i f t - L e f t - T e s t   e a r l y a n d o f t e n P r o c e s s - C o m p l i a n t - I S O   2 9 1 1 9 ,   T M M i ,   T P I - N e x t M o d e l - b a s e d - P r o c e s   m o d e l ,   s t a t e   m o d e l ,   o p e r a t i o n a l p r o f i l e s A n a l y t i c a l - R i s k - b a s e d t e s t i n g A r t i f i c i a l   I n t e l l i g e n c e   i n   T e s t i n g   I m p r o v e I T   S e r v i c e s   B V 1 5
S h i f t - L e f t M u c h m o r e   e f f i c i e n t S o m e d e f e c t s   a r e   h a r d   t o f i n d a t   l a t e   s t a g e s P r e v e n t s d e f e c t   m u l t i p l i f i c a t i o n I m p r o v e   I T   S e r v i c e s   B V 1 6 b u t   n o t o n l y !
S h i f t - L e f t P r a c t i c e s Q u a l i t y   i s   a   t e a m   e f f o r t F o c u s   o n   u n i t   &   i n t e g r a t i o n t e s t i n g C o d e   c o v e r a g e S t a t i c a n d d y n a m i c a n a l y s i s E f f e c t i v e r e v i e w s E a r l y t e s t   d e s i g n E a r l y p r o d u c t   r i s k - a n a l y s i s R e q u i r e m e n t s   e n g i n e e r i n g I m p r o v e   I T   S e r v i c e s   B V 1 7
S h i f t - L e f t M a n a g e m e n t I m p r o v e   I T   S e r v i c e s   B V 1 8 I n v e s t s k i l l s / t o o l s U p f r o n t e f f o r t U n d e r s t a n d L e a d   &   S u p p o r t T r a i n   d e v e l o p e r s o n   t e s t i n g T r a i n   t e s t e r s   o n   t e c h n i c a l t e s t i n g
I m p r o v e   I T   S e r v i c e s   B V P r o c e s s   C o m p l i a n t   - T M M i   7 0 %   i s   a t   T M M i   l e v e l   1 ( 1 )   I n i t i a l ( ( 4 )   M e a s u r e d   4 . 1   T e s t   M e a s u r e m e n t 4 . 2   P r o d u c t   Q u a l i t y   E v a l u a t i o n 4 . 3   A d v a n c e d   R e v i e w s ( 3 )   D e f i n e d 3 . 1   T e s t   O r g a n i z a t i o n 3 . 2   T e s t   T r a i n i n g   P r o g r a m 3 . 3   T e s t   L i f e c y c l e   a n d   I n t e g r a t i o n 3 . 4   N o n - F u n c t i o n a l   T e s t i n g 3 . 5   P e e r   R e v i e w s ( 5 )   O p t i m i z a t i o n 5 . 1   D e f e c t   P r e v e n t i o n 5 . 2   Q u a l i t y   C o n t r o l 5 . 3   T e s t   P r o c e s s   O p t i m i z a t i o n ( 2 )   M a n a g e d 2 . 1   T e s t   P o l i c y   a n d   S t r a t e g y 2 . 2   T e s t   P l a n n i n g 2 . 3   T e s t   M o n i t o r i n g   a n d   C o n t r o l 2 . 4   T e s t   D e s i g n   a n d   E x e c u t i o n 2 . 5   T e s t   E n v i r o n m e n t S o u r c e :   I E E E   S o f t w a r e ,   J a n / F e b 2 0 1 8
0 5 0 1 0 0 1 5 0 I m p r o v e   I T   S e r v i c e s   B V 2 0 R e s u l t s   T M M i   L e v e l   2   &   3 %   d e v i a t i o n   - s p e n t   v s .   p l a n n e d 1 9 1 5 1 2 6 5 4 , 5 4 Y 1 Y 2 Y 3 Y 4 a l p h a   /   b e t a   t e s t   l e a d   t i m e Y 1 Y 2 Y 3 d e f e c t   d e t e c t i o n   p e r c e n t a g e T M M i 1 T M M i 2 T M M i 3 t e s t e r   s a t i s f a c t i o n
I m p r o v e I T     S e r v i c e s   B V 2 1 A n a l y t i c s i s   t h e   d i s c o v e r y ,   i n t e r p r e t a t i o n ,   a n d   c o m m u n i c a t i o n   o f   m e a n i n g f u l   p a t t e r n s   i n   d a t a A n a l y t i c s , i n f o r m a t i o n   r e s u l t i n g   f r o m   t h e   s y s t e m a t i c   a n a l y s i s   o f   d a t a   o r   s t a t i s t i c s ,   t h e s e   a n a l y t i c s   c a n   h e l p   y o u   b e t t e r   d e c i s i o n s A n a l y t i c s o f t e n   i n v o l v e s   s t u d y i n g   p a s t   h i s t o r i c a l   d a t a t o   r e s e a r c h   p o t e n t i a l   t r e n d s ,   t o   i m p r o v e   t h e   b u s i n e s s   b y   g a i n i n g   k n o w l e d g e A n a l y t i c a l   T e s t i n g
A n a l y t i c a l T e s t i n g I m p r o v e   I T   S e r v i c e s   B V 2 2 T e s t   t e a m   a n a l y z e s   t h e   t e s t   b a s i s   t o   i d e n t i f y   t h e   t e s t   c o n d i t i o n s   t o   c o v e r   ( I S T Q B ,   2 0 1 8 ) A n a l y t i c a l   T e s t i n g   =   T e s t   A n a l y s i s T e s t   P l a n n i n g T e s t   A n a l y s i s T e s t   D e s i g n T e s t   I m p l e m e n t a t i o n T e s t   E x e c u t i o n T e s t   C o m p l e t i o n
A n a l y t i c a l T e s t i n g I m p r o v e   I T   S e r v i c e s   B V 2 3 T e s t i n g   b a s e d   o n   a   s y s t e m a t i c   a n a l y s i s   o f   d a t a t o   d i s c o v e r   u s e f u l   i n f o r m a t i o n ,   s u p p o r t i n g   t e s t   i m p r o v e m e n t s . E .   v a n   V e e n e n d a a l   ( 2 0 1 8 ) h i s t o r i c a l d a t a ,   s t a t i s t i c a l a n a l y s i s ,   m o d e l l i n g m e a n i n g f u l l p a t t e r n s ,   r e s e a r c h   p o t e n t i a l   t r e n d s
W h e r e a r e   w e ? E x h a u s t i v e t e s t i n g i s   n o t p o s s b i l e A n   i n t e l l i g e n t w a y   t o   c l o s e   t h e g a p I m p r o v e   I T   S e r v i c e s   B V 2 4 S c i e n t i f i c r e s e a r c h S t a t i s t i c s P o l i t i c s E n g i n e e r i n g E v i d e n c e O p i n i o n T e s t i n g I   b e l i e v e I   t h i n k I   a s s u m e
I m p r o v e   I T   S e r v i c e s   B . V . 2 5
I m p r o v e   I T   S e r v i c e s   B . V . 2 6 T h i n g s   t o   A n a l y z e D e f e c t   b a s e d - c o m p l e x i t y - s i z e - r e - u s e - t e c h n o l o g y - l i f e c y c l e - I m p a c t - u s a g e   p a t t e r n s - c o n f i g u r a t i o n s - . . T u n e ! - t e s t   t e c h n i q u e s - t e s t   a u t o m a t i o n U s i n g   A n a l y t i c s   &   M a s t e r i n g   A n a l y t i c a l   T e s t i n g   w i l l   b e   a   R e v o l u t i o n   i n   S o f t w a r e   T e s t i n g
T o m o r r o w P e r f o r m R o o t   C a u s e A n a l y s e s - S e l e c t   d e f e c t s   f o r   a n a l y s e s - I d e n t i f y r o o t   c a u s e - D e t e r m i n e c o m m o n   c a u s e - B u i l d s t a t i s t i c s a n d s t a r t   u n d e r s t a n d i n g I n v e s t i g a t e   R e a l - L i f e   U s a g e - B u i l d s t a t i s t i c s a n d s t a r t   u n d e r s t a n d i n g I m p r o v e   I T   S e r v i c e s   B V 2 7 a s   a   t e s t e r   y o u   n e v e r   a s s u m e !
R i s k - B a s e d T e s t i n g u s i n g   t h e   r e s u l t s   t o   i m p r o v e   t e s t i n g R i s k   =   L i k e l i h o o d   x   I m p a c t M u c h   b e t t e r     R i s k   =   f   ( L i k e l i h o o d ,   I m p a c t ) A n a l y s e e v e r y   t e s t   i t e m - u s e   l i k e l i h o o d   d a t a   /   k n o w l e d g e - u s e   i m p a c t   d a t a /   k n o w l e d g e - v a l i d a t e   /   d i s c u s s   w i t h   e x p e r t s ,   s t a k e h o l d e r s I m p r o v e I T   S e r v i c e s   B V 2 8 A N D
P r o d u c t   R i s k   M a t r i x M e d i u m H i g h L o w M e d i u m R i s k I m p r o v e   I T   S e r v i c e s   B V 2 9 L i k e l i h o o d I m p a c t 4 2 3 1 5
F o r   t h e T e s t i n g C o m m u n i t y S o f t w a r e   s y s t e m s   a r e   g r o w i n g R e c a l l s   d u e   t o   d e f e c t s   a r e   g r o w i n g   O u r   a n s w e r s   a r e   d r i v e n   b y   o p i n i o n   n o t   e v i d e n c e W e   n e e d   a   t h e o r y   o f   s o f t w a r e   t e s t i n g W e   n e e d   t o   s t a r t   d o i n g   r e s e a r c h - t h i s   s h a l l   c o v e r   A n a l y t i c s   i n   T e s t i n g W e   n e e d   t o   b e c o m e   a n   e n g i n e e r i n g   d i s c i p l i n e I m p r o v e I T   S e r v i c e s   B V 3 0
F o r   t h e T e s t e r I t   d e p e n d s   . . - C o n s i d e r   t h e   a v a i l a b l e   t e s t   s t r a t e g i e s T h e   e a s y   o n e s   - I t s   A N D   r a t h e r   t h a n   O R - C o n s i d e r   m o r e   a d v a n c e d   t e s t   s t r a t e g i e s   T o m o r r o w   s t a r t s   T o d a y   - I t s   n o t   o p t i o n a l ! I m p r o v e I T   S e r v i c e s   B V 3 1 a n a l y z e ,   s t u d y ,   i n v e s t i g a t e ,   k n o w   ( d o n t   j u s t   f o l l o w   s o c i a l   m e d i a )
3 2 I m p r o v e I T   S e r v i c e s   B V
3 3 w w w . e r i k v a n v e e n e n d a a l . n l e r i k @ e r i k v a n v e e n e n d a a l . n l @ E r i k v V e e n e n d a a l I m p r o v e I T   S e r v i c e s   B V