©   2 0 1 7   N o k ia 1 ©  2017  N o k i a 1 DevOps   Assessment  – with  a focus o n Testing Sz i l ard  Sz ell ,  DevOps  Evan gel i st ,  SAFe SPC, NOKIA SQ A  DAY S  - 2 5 t h  May , 2 0 1 8 ,  Mi nsk
©  2 0 1 8   N o k i a 2 In tr odu ction Szilár d  Sz él l  – De vOp s  E v angel is t,  NO KIA • R espo n si b il it ies • T es t  C oach   an d   De v Op s  E v an g elis t  in  NOKI A   w it h  1 8   y ear s  e xper ien ce • P r esid en t of  th e  Hu n g ar ia n   T es ti n g  Boar d • I S T QB  P r ocess  an d   C omp li an ce  W or k Gr ou p   C h ai r • P r ogr am  C omm it t ee  Ch ai r  an d   Member   of  – UCAA T  an d   HUS TEF • C erti fic a ti on s • De v Op s  D A S A  F ou n d a ti on ,  S A F e SPC ,  C erti fied S cr u m Mas t er • I S T QB  C TEL - I TP - Full • I REB  C P RE • L ean  Six  Sigma Gr ee n   Belt
3 ©  N o k i a  2 0 1 7 Expl osio n  of poss i bil i ti es   announ c i ng  ne w  perf or mance  l e v els of people  and  thi ngs Aug men te d sho p p i ng S mar t  c l o th es V i rtual   3 D p rese nc e Fa c to ry   auto matio n Real - ti me  remo te   c o nt ro l   Assist ed   d rivin g L o g i sti c s T ra f f i c   ste eri ng   & manag eme nt S mar t  g rid s C o nn ec te d   ho me Real  ti me c l o ud   acc ess 4 k   V i d eo V R  g amin g Real - ti me  remo te   c o nt ro l   Remo te   Diag no si s Com mun i c a t i on Mobi l e   l i vin g 3 D  p rin ti ng Au tom oti v e T o l l   c o l l ec ti o n H D  C ams  N W R E V OL UTI ONI ZED Tra f f i c   M gmt. S U P ER EF F I CI ENT Waste   mg mt. Rel i ab l e  eme rg en c y   c o mmuni c ati o n s T ra c k i ng   /   i nvent o ry sy ste ms A U GMENTED Aug men te d d ashb o ar d I N T ER CONNEC TED 8 k   V i d eo   b eamer T A C TI LE V I R TU AL   S mar t  w atc h Aug men te d g amin g S el f   d rivin g Mai nt en anc e   o p ti m i za ti o n Touch   & st e e r A U TONOM OUS Tra ve l   &  c om mut e H e a l t h Ti me   sh i f t Ut i l i ty  & E n e rgy Saf e t y  & Se c u ri t y Wo rk  &   g ame  w hi l e  trav el i ng R E D ED I CATED People   &   Thi ngs Real  ti me w o rk  i n  c l o ud I n dus try  4 .0 Ad v anc ed   mo ni to rin g P erso nal ro b o t 
4 ©  N o k i a  2 0 1 7 Agend a  f or  t od a y De vOp s  i n  a Nu t shell De vOp s  Assessm en t T es t i ng   Aspects  of  De vOp s 2 3 1 Summ ar y 4
©  2 0 1 8   N o k i a 5 De vOp s Agi le Lean Kai z e n
©  N o k i a  2017 De vOp s  – f or  high es t b usines s  agili ty Rad ic all y r educ ed  cy cle  tim e  f or  high er  v alue c ap tur e  and   f as t er  tim e  t o mark e t Faster   ti m e  t o  mark et Fe we r   f ai l ure s M icro serv ic es &  co n tain ers Co n tin u o u s  SW  d eliv ery D ig ital   d eli v ery: Co re  Ap p Sto re W H Y W H A T HOW Au to m at ed wo rkflo ws   Ope r at iona l  eff i ciency P L A N C O D E B U IL D TES T R E L E A S E O P E R A TE D E P L O Y De v Op s F e e d b ac k Cu ltu re  fo r  q u ali ty   an d   tran spa rency Bu sin ess  ag il ity Fu ll   au to m at i o n S imp li fy  o p erati o n s
7 ©  N o k i a  2 0 1 7 Agend a  f or  t od a y De vOp s  i n  a Nu t shell De vOp s  Assessm en t T es t i ng   Aspects  of  De vOp s 2 3 1 Summ ar y 4
©   2 0 1 7   N o k ia 8 Driv ing De vOp s  tr ans f orm a tion Goal  of De vOp s  Cen t er of  E x cell enc e M a tu rity   M odel
©   2 0 1 7   N o k ia 9 Con tinuou s  @e v er y thing   in  the S oftw ar e Lif ecy cle Wh a t  is  th e sc ope  of  the D e vOp s  Ma turity M odel? Plan Co d e B u ild   T es t Release Dep lo y Op era te C on t i nu ou s  I nteg r at i on C on t i nu ou s  D el i v ery C on t i nu ou s  D ep l oy m en t C on t .   M on i t orin g C ont inuous  F eedback,  R equirem ent s ,   Planning D ev Op s A g i l e De v el op m en t
©   2 0 1 7   N o k ia 10 Simi lar   t o oth er  fr ame w ork s  (e. g.  CMMI,   TMMi ) Ma turity Le v el s  of  De vOp s  Ma turity M odel 1  – Initia l  2  – Co nsi sten t  3  – Ma n a g e d   4  – Qua n titati ve ly   Ma n a g e d 5  – Con t .  Optimizi ng Prod uct iv ity  & q u a li ty Ri sk &   w a ste 100% 0%
©   2 0 1 7   N o k ia 11 Ad dr ess ing De vOp s  c apab il iti es  end t o  end  – li k e  TP I  Ne xt The 12   Asses sm en t  Ca t eg ori es  Pl anni ng  & Requ i rements Cul ture  & Or gani z ati on Continuous  Integr ation Softw ar e  Config.  Manag ement Arc hi tec ture Q A   & V erifi c ati on Upgradabi l i ty V i s i bi l i ty Sy s tem  Integr ation SW  Maintenanc e Monitoring  & Feedbac k Netw ork  Pl anni ng  and  O pti mi z ati on Netw ork  Impl ementa ti on
©   2 0 1 7   N o k ia 12 F or  c alcula ting  a w ei gh t ed  ma turity sc or e Mod el   Struc tur e and   Logic C at egory   1 Key   area  1. 1 Bes t   Prac t ic e   1. 1. 1 Key   area  1. 2 Key   area  1. N Bes t   Prac t ic e   1. 1. 2 Bes t   Prac t ic e   1. 1. N W W W W W W C ategory   12 Lev els   0 - 5 Qs Lev els   0 - 5 Qs Lev els   0 - 5 Qs . . . . . . . . . W W W :  W e ig h t Q:  Q u e stio n s
©   2 0 1 7   N o k ia 13 De vOp s  Ma turity M odel  wi ll   pr o vi de  e2e insi gh ts  and   a w ar eness   From insi gh t  … …to op timize d  flow s “T h e o ry   o f   Con stra int s” M a t u r it y   As s e s s me n t   +   VS M   w ill   r e v e a l  d e f ic ie n c ie s . * V alu e  cha in  / W o r k  f low - il lust rative   e xa m p le  - P e rf o rm a n ce P & R C I S I N P O C A R E DEV OP S Il lus trativ e   e x a mpl e s   only M o d e l  f a c t s : • 1 2   c a t e g o r ies • 6 0 +  k e y   a r e a s • 2 0 0 +  b e s t   p r a c t ic e s • 1 0 0 0 +  a s s e s s m e n t   q u e s t ion s S C M Q A & V
©   2 0 1 7   N o k ia 14 Fr om ques tions t o conclusi ons  t o ac tions E x ampl e Su r v e y  Ques tion  – Ill us tr a tiv e  e x ampl e  only C a t .  QA  & V er if ic a t ion   - D e t er min in g  c ap ab ilit y  in   T es t   au t om a t ion Lev el   0 Lev el   1 Lev el   2 Lev el   3 Lev el   4 Lev el   5 Id en t if y  k e y  issu es: Ex amp le:   • QA  h as  au t om a t ion   b u t   au t om a t ion   c od e  in   n ot   w ell  w rit t en ,  c od in g  b es t   p r act ic es  n ot   in   u se.  Au t om a t ion   t ak es  t oo   mu c h   e f f or t • T es t   R esu lt s ar e  an aly z ed   Au t om a t ic ally ,  b u t   R ep or t in g  t o  T es t   M an ag eme n t   is  s t ill  man u al,  n o  V isib ilit y Su s t ain   t h e  g ain s M on it or   t h e  imp r ov eme n t s  t o  en su r e  c ontin u ou s  imp r ov eme n t Ex amp le: • F ollo w   u p   Au t om a t ion   c od e  T ech n ic al  D eb t   measur es as  KPI M easu r e An aly z e C h oo se  c h an g es  f or   imp lem en t a t ion: Ex amp le: • In t r od u c e  St a t ic   C od e  An aly ses an d   C od e  R eview p r act ic e  f or   Au t om a t ion   C od e • Au t om a t e  T es t   R esu lt   R ep or t in g  t o  T es t   M an ag eme n t Imp r ov e C ontr ol ✓ Wh ic h  de s c ripti on   fits   be s t  the  c urren t  s itu a tio n  in  te s t  a uto m a tio n? Tes t   c a s e   s c r ipt ing S cr i p ts  a r e   u ti l i ze d   to   p e r fo r m   r e p e ti ti ve   ta sks  i n   te sti n g T e st  a u to m a tio n   fr a m e w o r k   is u se d S W   d e v.  b e st  p r a cti ce s  a r e   fo l l o w e d  i n  t e st  ca se   a u to m a ti o n T e st  Case s  a r e   d e si g n e d   to   b e  a u to m a te d T e st  Desig n   A u to m a tio n   in  p lace Tes t   r e s u lt s   a n a ly s is   &   r e p o r t ing T e st  Resu l ts  a r e   a n a l yze d  m a n u a l l y T e st  ca se  r e su l t  i s  a n a l yze d  a u to m a ti ca l l y,  b u t  r e p o r te d   m a n u a l l y A u to m a ti ca l l y,  te st  ca se   ve r d i ct  p r o d u ce d  A ND   T e st  r e su l t  r e p o r te d T e st  r e su l ts  co ve r   NF Rs  a n d  d e te r i o r a ti n g   tr e n d s  i n   th e se  t r i g g e r   e r r o r M a ch i n e  L e a r n i n g  a n d   A n a l yti cs  i s  u ti l i ze d   to   a n a l yze   te st  ca se  r e su l t ✓ ✓
15 ©  N o k i a  2 0 1 7 Agend a  f or  t od a y De vOp s  i n  a Nu t shell De vOp s  Assessm en t T es t i ng   Aspects  of  De vOp s 2 3 1 Summ ar y 4
©   2 0 1 7   N o k ia 16 V alue driv en t es ting  em bedd ed  in th e  De vOp s  pipeli ne Wh a t  is  im port an t  f or  QA & V eri fic a tion in D e vOp s? In  De vOp s  g ood t es ti ng   c an  be   achi e v ed   thr oug h  Cus t ome r  Collab or a tio n and   T e s t  Fir s t Thin kin g   wi th  the  aim t o pr o vide  Con tin u ous  Pr oduc t  lev e l  Qu al ity  Assu r ance , whi l e  being e f fic i en t  b y  Utiliz ing   the   lowes t  p os sibl e  t e s t  lev e l ,  Au t oma tio n of  T es ti ng  t as k s  as  w ell   as   b y  Sh aring  (t e s tin g)  t oo ls and  as set s  acr oss   the  V alue  Str eam .
©   2 0 1 7   N o k ia 17 Ca t eg or y  – QA & V eri fic a tion  – K e y Ar eas (1 / 5) :  T es t  Fir s t  Thinking All   typ es  of   t es t  ar e i d en tified   u p fr on t  c ol lab or a tiv ely  T es tin g  is gu ide d   b y  R isk L e v els F e a tu r e   le v e l  ac c e p t an c e   c rit e ria  ar e   d e fine d   u p fr on t 20% T es t  Fi r s t  Th ink ing 30% 40% 30% Ac c e p ta n c e   T e s ts T e s ts   to   c o v e r Ri s k s Sp e c i fi c a ti o n   b a s e d   te s ti n g Ex p l o ra to ry  T e s ts   fo r  Rai n y   Day   s c e n a ri o s Bus i n e s s   F o c u s T e c h n o l o g y  F o c u s
©   2 0 1 7   N o k ia 18 C on tin u ous  P r odu c t le v e l  Quality A ss u r an c e Ca t eg or y  – QA & V eri fic a tion  – K e y Ar eas (2 / 5) :  Con tinuou s  Pr odu ct l e v el   Quali ty  Assur anc e Non - fun c tional  QA R eg r essio n   se t  is u p d a t ed   r eg u larly C ov er ag e  an d   T r ac eab ility 20% 40% 40% 20% Fe a tu re   Sp e c i fi c   a l l   te s t  c a s e s New   Fe a tu re   Sp e c i fi c   Ac c e p ta n c e   T e s t  Cas e s Se l e c te d   O l d   Fe a tu r e   Ac c e p ta n c e   T e s ts Are a   s p e c i fi c   Reg re s s i o n Ba s i c   Sc e n a ri o s   (Sm o k e )
©   2 0 1 7   N o k ia 19 Ut ilizin g th e   low e s t  p os sible   t es t  le v el Ca t eg or y  – QA & V eri fic a tion  – K e y Ar eas (3 / 5) :  Uti li zing  the  lo w es t  possi ble t es t  le v el   (S hift Le ft) Mod u le/ Un it  t e s tin g i s in   u se T es t  P lan n ing   in  c ol lab or a tion  b e tw ee n   T es t  Le v els St a tic   C ode A n aly sis   is in   u se 30% 30% 30% 40% Pr od u ct   A sp e ct Sp ecif ic a t ion R eview St a t ic   An aly sis C om p on en t   T es t Pr od u c t   In t egr a t ion S y s t em  T es t S y s t em   of   S y s t em   In t . Fu n ct i on a l i ty F ee d b ack F ee d b ack F ee d b ack F ee d b ack F ee d b ack C er t if y P e r f or m a n ce F ee d b ack F ee d b ack F ee d b ack F ee d b ack C er t if y R e l i a b i l i ty … F ee d b ack F ee d b ack F ee d b ack F ee d b ack F ee d b ack C er t if y
©   2 0 1 7   N o k ia 20 Aut oma tion  of   T es tin g  t ask s Ca t eg or y  – QA & V eri fic a tion  – K e y Ar eas (4 / 5) :  Au t oma tion of T es ting  t ask s N o k i a  Int e r na l   Us e T es t  r esu lts  an aly sis   an d   r ep or tin g T es t  en vir onm en t  au t oma tion T e s t  c ase as Sof tw ar e 20% 30% 40% 30% Des i g n Cod e Rev i e w T e s t Su b m i t Deve lop SCM Ep ic s , Fea t ur e s , Stor ie s S ol ut i on  S t agi ng  E nvi r onme nt Depl oy T es t C o n t in u o u s S o lu t io n Inte g r at io n Art ifa ct  Sto r a g e Pr oduc t   S t agi ng  E nvi r onme nt B ui l d D ep l oy T est C ompi l e C o ntin uo us Pro d uct Inte g ra tio n Pr o d u ct   d eliv er ab les S o u r ce  co d es
©   2 0 1 7   N o k ia 21 Shar e  t oo ls an d   ass e ts  ac r os s  th e  V alu e S tr eam   Ca t eg or y  – QA & V eri fic a tion  – K e y Ar eas (5 / 5) :  Sh ar e (t es ting)  t ools   and   ass e ts  acr oss   the V alue  Str eam   St an d ar d iz ed   t oo ls u sed R e u se  of   T e s t A sse ts 10 % 50% 50%
©   2 0 1 7   N o k ia 22 Ho w  t o tr ansla t e  le v el s  in t o r eal - li f e  scenarios ? Dr eam  s t a t e sc enar io: T es t er  is  a  v al ue  dr iv en  r ole  in  the De v Op s  t eam  w h o is  c olla bo r a t ing  th r ou gh ou t   th e  v al u e  ch ai n   u p   t o the  cu s t omer ,  d ri v en b y  know ing t he r is k s ,  p r o v id in g  q u ick   f eedback  on   d e v elop men t an d   quali t y  assu r an ce  of  pr od uc t ,  u si n g  shar ed  t oo ls   an d   c omm on ly  a v ai la b le  aut oma t ion so lution s ,  b u il d in g  on   Con t inuous  e xp lor a t ion  an d   im pr ov em en t P essimi s tic   sce n ario : T es ti ng  is a  c os t d riv en ,  se par a t ed  silo a t  th e  end  of  th e  pi peli ne,   being   a  b ot tlen eck  c au sed b y  i t s  lo w  aut o ma tio n , long  f ee dba ck   cy cle,  out da t ed  pr act i ce s  an d  t ools
23 ©  N o k i a  2 0 1 7 De vOp s  i n  a Nu t shell De vOp s  Assessm en t T es t i ng   Aspects  of  De vOp s 2 3 1 Summ ar y 4 Age nd a  f or  t oda y
24 ©  N o k i a  2 0 1 6 Sum mar y Bi g   siz e trans fo rmat ion  nee d s  an  d ed icat ed   t eam  o f Exper t s o St ud y  availabl e  DevOp s  Ma t urit y  Mo d el s,   b ut   d ar e  t o  b ui ld   your  own  if  nee d ed o T esti ng   is a  nee d ed   skill   set  in   DevOp s o T esti ng   in   DevOp s  is  NO T  ON L Y  Automat ion,   b ut   r el ie s  on  it   a l ot o C onti nuous  E xp lora t ion  and  Learning   is ke y o
©   2 0 1 7   N o k ia 25 ©  2017  N o k i a 25 Спа с и бо !
Cornerstones of Testing in DevOps