С а х а р о в   В я ч е с л а в C u s t o m e r t i m e s ,   К и е в ,   У к р а и н а   С е м ь   п р и н ц и п о в   т е с т и р о в а н и я : п о ч е м у   о н и   т а к   в а ж н ы   и   к а к   и м и   п о л ь з о в а т ь с я
О б о   м н е : • М е н е д ж е р   п о   р е л и з а м   в   C u s t o m e r t i m e s   • Б о л е е   9   л е т   о п ы т а   р а б о т ы ,   п е р в ы е   ш е с т ь   и з   к о т о р ы х   —   к а к   Q A   с п е ц и а л и с т   • 5 - л е т н и й   о п ы т   п р е п о д а в а н и я ,   к о у ч и н г а   и   у ч а с т и я   в   о б щ е с т в е н н ы х   м е р о п р и я т и я х ,   т а к и х   к а к   к о н ф е р е н ц и и   и   с е м и н а р ы   • О п ы т   у п р а в л е н и я   и   п о с т а н о в к и   п р о ц е с с о в   в   б о л ь ш и х   к о р п о р а т и в н ы х   п р о е к т а х   с   р а с п р е д е л е н н ы м и   к о м а н д а м и   • С е р т и ф и ц и р о в а н н ы й   т е с т - м е н е д ж е р   I S T Q B
К р а т к а я   и с т о р и я   п о я в л е н и я   п о н я т и я  
П р и н ц и п   1   —   Т е с т и р о в а н и е   д е м о н с т р и р у е т   н а л и ч и е   д е ф е к т о в   Г р а м о т н о е   у п р а в л е н и е   о ж и д а н и я м и П р и н ц и п   2   —   И с ч е р п ы в а ю щ е е   т е с т и р о в а н и е   н е д о с т и ж и м о      
К е й с :     В л а д е л е ц   п р о д у к т о в о й   к о м п а н и и   р е г у л я р н о   о т ч и т ы в а л   к о м а н д у   т е с т и р о в а н и я   з а   “ п р о п у щ е н н ы е ”   б а г и   н а   п р о д а к ш н ,   в   д у х е :   “ к а к   в ы   э т о   у м у д р и л и с ь   п р о п у с т и т ь ? ” • В а р и а ц и и   п р о б л е м а т и к и :   
 Л ю б а я   р и т о р и к а ,   н а п р а в л е н н а   н а   т о ,   ч т о   к о м а н д а   т е с т и р о в а н и я   д о л ж н а   н а х о д и т ь   в с е   о ш и б к и .   • О т с у т с в и е   ч е т к о   с ф о р м и р о в а н н ы х   к р и т е р и е в   о ц е н к и   р е з у л ь т а т а   т е с т и р о в а н и я   ( к р и т е р и и   о ц е н к и   о ж и д а е м о г о   у р о в н я   к а ч е с т в а ) . Р е ш е н и е :     В   к а к о й - т о   м о м е н т   я   р е ш и л   ч т о   н а с т а л о   в р е м я   п о з н а к о м и т ь   е г о   с   э л е м е н т а р н ы м и   о с н о в а м и   Т е с т и р о в а н и я .   З н а к о м с т в о   с   д в у м я   п е р в ы м и   п р и н ц и п а м и   и   б е г л а я   п е р е о ц е н к а   р е с у р с о в   с р а з у   п о м о г л о   в л а д е л ь ц у   к о м п а н и и   п р и й т и   к   м ы с л и ,   ч т о   м ы   н е   м о г л и   и   б л и з к о   д о с т и г н у т ь   с о с т о я н и я   “ п р о в е р и т ь   в с е ” .  
К е й с   :     С т а р т - а п   и н т е г р и р о в а л с я   с   н о в о й   п л а т е ж н о й   с и с т е м о й ,   н е   х в а т а л о   р у к   и   и н т е г р а ц и ю   п р о в е р я л   о д и н   ч е л о в е к .   П о   и т о г у ,   ч а с т ь   к о м б и н а ц и й   в в о д н ы х   д а н н ы х   н е   б ы л а   п р о в е р е н а   и   э т о   в ы з в а л о   н е д о в о л ь с т в о   п р о е к т н о г о   м е н е д ж е р а . Р е ш е н и е :     М ы   з а с е к л и   с к о л ь к о   в р е м е н и   у х о д и т   н а   п р о в е р к у   о д н о г о   с ц е н а р и я .   З а т е м ,   о ц е н и л и   п о л н ы й   с п и с о к   и з   с ц е н а р и е в   и   п о с ч и т а л и   ч и с т о   м а т е м а т и ч е с к и   с к о л ь к о   в р е м е н и   н а   э т о   д о л ж н о   у й т и .   П р о т и в   м а т е м а т и к и   е м у   в о з р а з и т ь   б ы л о   н е ч е г о   —   с р о к и   б ы л и   о г р о м н ы е .   С о в е т :     У п р а в л е н и е   о ж и д а н и я м и   -   о ч е н ь   в а ж н ы й   э л е м е н т   р а б о т ы   с   д р у г и м и   у ч а с т н и к а м и   п р о е к т а .   
 В а ж н о   н а п о м и н а т ь ,   ч т о   п р о в е р и т ь   в с е   н е в о з м о ж н о .   В   б о л ь ш и н с т в е   с л у ч а е в   -   л у ч ш е   и м п л е м е н т и р о в а т ь   п р е в е н т и в н ы е   м е р ы   и   д о б и т ь с я   с о о т в е т с т в и я   с т а н д а р т а м   г о т о в н о с т и   ф у н к ц и о н а л а   ( d e fi n i t i o n   o f   r e a d y ) ,   ч е м   д у м а т ь   ч т о   в с е   о ш и б к и   б у д у т   н а й д е н ы   н а   с т а д и и   т е с т и р о в а н и я .  
П р и н ц и п   3   —   Р а н н е е   т е с т и р о в а н и е   О с н о в н а я   п о л ь з а   п р и н ц и п а :     о г р о м н а я   э к о н о м и я   в р е м е н и   и   с р е д с т в   0 2 5 5 0 7 5 1 0 0 A n a l i s y s D e v e l o m p e n t T e s t i n g U s r e r s
Р е ш е н и е :     Б ы л о   п р и н я т о   р е ш е н и е ,   ч т о   в с е   U s e r   s t o r y   б у д у т   п р о х о д и т ь   о б я з а т е л ь н о е   у т в е р ж д е н и е   о т   Q A .   Б ы л о   р е а л и з о в а н о   ч е р е з   с т а т у с   в   J i r a ,   к о т о р ы й   м о г л и   р е д а к т и р о в а т ь   т о л ь к о   Q A .   
 
 К а к   р е з у л ь т а т :   о ч е н ь   в ы р о с л о   к а ч е с т в о   в ы п о л н е н н о й   р а б о т ы   и   з н а ч и т е л ь н о   с о к р а т и л о с ь   в р е м я ,   п о т р а ч е н н о е   н а   п е р е д е л к у   U s e r   s t o r y   ( в   4   р а з а   м е н ь ш е   в р е м е н и   н а   д о р а б о т к у   п о с л е   п е р в о г о   т е с т и р о в а н и я ) . К е й с :     Т е с т и р о в щ и к и   у ч а с т в о в а л и   в   п р о ц е с с е   р а з р а б о т к и   т о л ь к о   н а   э т а п е   п р и е м о ч н о г о   т е с т и р о в а н и я   и   ж а л о в а л и с ь   н а   н и з к о е   к а ч е с т в о   п р о д у к т а   и   н е п о н я т н о   с ф о р м у л и р о в а н н ы е   т р е б о в а н и я ,   к о т о р ы е   н е   в с е г д а   п р а в и л ь н о   т р а к т о в а л и с ь   р а з р а б о т ч и к а м и .
К е й с :     В   о д н о й   к о м п а н и и ,   в в и д у   о с о б е н н о с т и   п р о д у к т а ,   р е л и з ы   м о г л и   п р о и с х о д и т ь   т о л ь к о   р а з   м е с я ц ,   а   U A T   б ы л   о р г а н и з о в а н   у ж е   н а   P r o d u c t i o n .   К а к   р е з у л ь т а т :   о ч е н ь   ч а с т о   з а к а з ч и к   б ы л   н е д о в о л е н   р е а л и з а ц и е й   и   т р е б о в а л   н е б о л ь ш и х   “ д о д е л о к ”   в   с л е д у щ е й   п о с т а в к е .     Р е ш е н и е :     Б ы л о   о р г а н и з о в а н о   р а н е е   “ п р и е м о ч н о е   т е с т и р о в а н и е ” ,   в   ф о р м а т е   D e m o   е щ е   д о   с т а д и и   п е р е д а ч и   н а   п о л н о ц е н н о е   ф у н к ц и о н а л ь н о е   т е с т и р о в а н и е   —   т а к и м   о б р а з о м   б ы л а   п о л н о с т ь ю   и с к л ю ч е н а   т р а т а   в р е м е н и   н а   п р о в е р к у   “ н е   с о в с е м   т о г о   ч т о   н а д о ” .   С о в е т :     Э т о т   п р и н ц и п   с а м ы й   м о щ н ы й   д л я   б и з н е с а   и з   в с е х   с е м и   —   о н   д е м о н с т р и р у е т   о г р о м н у ю   э к о н о м и ю   н а   в с е х   т и п а х   и   э т а п а х   р а з р а б о т к и   П О .   С а м   п р о ц е с с   р а н н е г о   в о в л е ч е н и я   м н о г о г р а н е н   и   д о л ж е н   п р и м е н я т ь с я   к а к   в   о б щ и х ,   т а к   и   в   ч а с т ы х   с л у ч а я х   ( н а   в с е х   у р о в н я х   и   т и п а х   т е с т и р о в а н и я ) .
П р и н ц и п   4   —   С к о п л е н и е   д е ф е к т о в   ( к л а с т е р и з а ц и я ) О с н о в н а я   п о л ь з а   п р и н ц и п а :     п р и о р и т и з а ц и я   т е с т и р о в а н и я ,   п л а н и р о в а н и е   з а т р а т ,   э ф ф е к т и в н о с т ь .
К е й с :     В   м е д и ц и н с к о м   п р и л о ж е н и и   о д и н   и з   м о д у л е й   с и с т е м ы   ( U I   и н т е р ф е й с ) ,   н а п и с а н н ы й   н а   с к о р у ю   р у к у ,   в р е м я   о т   в р е м е н и   в ы д а в а л   к а к и е - т о   о ш и б к и ,   д е л а ю щ и е   р а б о т у   в   н е м   н е в о з м о ж н о й .     Р е ш е н и е :     П о с л е   п о д с ч е т а   с   д е в - л и ц о м   с к о л ь к о   в р е м е н и   у х о д и т   н а   т о ,   ч т о б ы   ф и к с и т ь   и   т е с т и р о в а т ь   п л о х о й   м о д у л ь ,   б ы л о   п р и н я т о   р е ш е н и е   п о л н о с т ь ю   е г о   п е р е п и с а т ь   и ,   т а к и м   о б р а з о м ,   у с т р а н и т ь   к л а с т е р и з а ц и ю   д е ф е к т о в . С о в е т :     П р о в о д и т е   R C A   д л я   м е с т   с и л ь н о г о   с к о п л е н и я   д е ф е к т о в   —   и н о г д а   э т о   м о ж е т   п о м о ч ь   с п а с т и   ч а с ы   и л и   д н и   р а б о т ы .   О ш и б к и   т а к ж е   м о г у т   б ы т ь   в ы з в а н ы   и с п о р ч е н н ы м и   д а н н ы м и   о т   п р о ш л ы х   б а г о в   и л и   п р о с т о   н е с т а б и л ь н о с т ь ю   с и с т е м ы   —   в а ж н о   и с к л ю ч а т ь   т а к о е   п о   м а к с и м у м у   и   н е   т р а т и т ь   с и л ы   н а   п р о в е р к у   э т о г о .  
П р и н ц и п   5   —   П а р а д о к с   п е с т и ц и д а   О с н о в н а я   п о л ь з а   п р и н ц и п а :   д и н а м и ч н ы й   т е с т   д и з а й н   о б н а р у ж и в а е т   н а м н о г о   б о л ь ш е   о ш и б о к   и   о б е с п е ч и в а е т   б о л ь ш у ю   у в е р е н н о с т ь   в   к а ч е с т в е   п р о д у к т а
К е й с :     Т е с т и р о в а л и   п р и л о ж е н и е   н а   с к а н д и н а в с к и х   р ы н о к .   В   р а м к а х   р е г р е с с и и   п о с т о я н н о   п р о х о д и л и   р е г и с т р а ц и ю   н о в о г о   п о л ь з о в а т е л я ,   д л я   ч е г о   в с е г д а   и с п о л ь з о в а л с я   о д и н   и   т о т   ж е   т е с т .   С п у с т я   к а к о е - т о   в р е м я   у ж е   р е а л ь н ы е   п о л ь з о в а т е л и   з а м е т и л и   ч т о ,   н е в о з м о ж н о   з а р е г и с т р и р о в а т ь   п о л ь з о в а т е л я   с   у м л я у т а м и   ( ä ,   ö   и   ü ) . Р е ш е н и е :     К а к   о к а з а л о с ь ,   б о л ь ш и н с т в о   т е с т о в   в ы п о л н я л и с ь   с   и с п о л ь з о в а н и е м   о ч е н ь   с т а н д а р т н о г о   “ T e s t ”     в   т е с т о в ы х   п о л я х .   Б ы л о   с ф о р м и р о в а н о   и   п р и к р е п л е н о   к   к а ж д о м у   к е й с у   н е с к о л ь к о   в а р и а н т о в   д а н н ы х ,   к о т о р ы е   с т о и л о   и с п о л ь з о в а т ь   в   т о м   и л и   и н о м   к е й с е   п р и   п р о х о ж д е н и и   р е г р е с с и и   т а к ,   ч т о б ы   п о к р ы т и е   д а н н ы м и   з а д е в а л о   в с е   1 0 0 %   к л а с с о в   э к в и в а л е н т н о с т и .
К е й с :     А в т о м а т и з и р о в а н н о е   т е с т и р о в а н и е .   В   Е 2 Е   с ц е н а р и и   б ы л   ш а г   р е г и с т р а ц и и   к о м п а н и и   и   з а п о л н е н и я   ф о р м ы   с   р а з л и ч н ы м и   д а н н ы м и .   Ф о р м а   з а п о л н я л а с ь   с в е р х у   в н и з .   В   к а к о й - т о   м о м е н т   о д и н   и з   п о л ь з о в а т е л е й   п о ж а л о в а л с я ,   ч т о   е с л и   з а п о л н и т ь   с н а ч а л а   д а т у   р е г и с т р а ц и и   ф и р м ы ,   т о   д р у г и е   п о л я   с т а н о в я т с я   н е д о с т у п н ы   ( б ы л   б а г   в ы з в а н н ы й   j a v a s c r i p t   д л я   д а т а - с п и к е р а )       Р е ш е н и е :     Б ы л   н а п и с а н   “ р а й н д о м а й з е р ”   н е   т о л ь к о   д л я   э т о г о   б л о к а ,   н о   и   д л я   в с е х   п о д о б н ы х ,   к о т о р ы й   к а ж д ы й   р а з   м е н я л   п о с л е д о в а т е л ь н о с т ь   ш а г о в   а в т о - т е с т   к е й с о в ,   г д е   о н и   н е   д о л ж н ы   б ы л и   б ы т ь   п о с л е д о в а т е л ь н ы м и . С о в е т :     В о о б щ е   л ю б о е   и з м е н е н и е   и   р а с ш и р е н и е   п о к р ы т и я   п р и   п о м о щ и   и с п о л ь з о в а н и я   н о в ы х   в х о д я щ и х   д а н н ы х   э т о   о т л и ч н а я   и д е я ,   д а ж е   е с л и   с а м   т е с т   к е й с   о с т а л с я   н и з м е н н ы м .   К   т о м у   ж е ,   н е   с т о и т   з а б ы в а т ь   ч т о   И с с л е д о в а т е л ь с к о е   т е с т и р о в а н и е   к а к   р а з   и   б ы л о   п р и д у м а н о   д л я   б о р ь б ы   с   э т и м   п а р а д о к с о м   и   с т о и т   в с е г д а   о т в о д и т ь   н е м н о г о   в р е м е н и   к о м а н д ы   н а   н е г о .
П р и н ц и п   6   —   Т е с т и р о в а н и е   з а в и с и т   о т   к о н т е к с т а О с н о в н а я   п о л ь з а   п р и н ц и п а :   к о н т е к с т у а л ь н о е   т е с т и р о в а н и е   п о м о г а е т   п о д о б р а т ь   п о д   п р о е к т   о п т и м а л ь н ы е   т е х н и к и   и   п о д х о д ы ,   ч т о б ы   м а к с и м а л ь н о   э ф ф е к т и в н о   р а с х о д о в а т ь   р е с у р с   и   п о л у ч и т ь   н а и л у ч ш и е   в о з м о ж н ы е   р е з у л ь т а т ы .
К е й с :     И с т о р и я   п р о и з о ш л а   в   к о м п а н и и   г д е   я   р а б о т а л ,   в   “ с о с е д н е й ”   к о м а н д е .   Б ы л   н а н я т   о п ы т н ы й   Q A   l e a d   д л я   т о г о   ч т о б ы   н а л а д и т ь   п р о ц е с с ы   т е с т и р о в а н и я   н а   о д н о м   и з   п р о е к т о в   к о м п а н и и .   О н   с   з а в и д н ы м   э н т у з и а з м о м   н а ч а л   м е н я т ь   в с е   п р о ц е с с ы   н а   т о ,   к а к   б ы л о   в   п р о ш л о й   к о м п а н и и .   П о   и т о г у   п р о ц е с с   т е с т и р о в а н и я   и   к о м м у н и к а ц и й   б ы л   п о л н о с т ь ю   р а з в а л е н .   Q A   l e a d   у в о л и л с я   н е   п р о р а б о т а в   и   4 х   м е с я ц е в . Р е ш е н и е :     К а ж д ы й   п р о е к т ,   к а ж д а я   к о м а н д а   и   к а ж д ы й   ч е л о в е к   —   у н и к а л ь н ы е   п е р е м е н н ы е   т р е б у ю щ и е   о т д е л ь н о г о   а н а л и з а   и   с т р а т е г и и   в з а и м о д е й с т в и я . С о в е т :   Н и   о д н и   к у р с ы ,   н и   о д н а   к н и г а   и л и   к о н ф е р е н ц и я   н е   д а с т   в а м   1 0 0 %   р е ц е п т а   у с п е х а   в   в а ш е м   п р о е к т е   и   к о м п а н и и .   Н у ж н о   н а у ч и т ь с я   о т д е л я т ь   х о р о ш и е   и д е и   и   г р а м о т н о   и х   а д а п т и р о в а т ь   -   э т о   е д и н с т в е н н ы й   п у т ь   п р и м е н я т ь   ч у ж и е   з н а н и я .
П р и н ц и п   7   —   З а б л у ж д е н и е   о б   о т с у т с т в и и   о ш и б о к О с н о в н а я   ц е н н о с т ь   п р и н ц и п а :   п о м о г а е т   с о з д а т ь   д е й с т в и т е л ь н о   п о л е з н ы й   д л я   п о л ь з о в а т е л е й   п р о д у к т ,   а   с л е д о в а т е л ь н о   у с п е ш н ы й   с   т о ч к и   з р е н и я   б и з н е с а З а д о к у м е н т и р о в а н н а я 
   ч а с т ь   п р о е к т а   Н е з а д о к у м е н т и р о в а н н а я   
 ч а с т ь   п р о е к т а  
Р е ш е н и е :     Б ы л о   п р и н я т о   р е ш е н и е   в   д в а   р а з а   у м е н ь ш и т ь   к е й с ы ,   г е н е р и р у е м ы е   с а м и м   в л а д е л ь ц е м   ( о с т а в и т ь   т о л ь к о   к р и т и ч е с к и е ) ,   а   о с т а л ь н ы е   в в е р и т ь   с а м о й   к о м а н д е   т е с т и р о в а н и я .   В   т о ж е   в р е м я   к о м а н д е   т е с т и р о в а н и я   б ы л   д а н   с о в е т   п о д о й т и   к   п р и л о ж е н и ю   к а к   п о л ь з о в а т е л и   и   н а й т и   п о ч е м у   и м   н е у д о б н о   п о л ь з о в а т ь с я . К е й с :     В   к о м п а н и и ,   к о т о р у ю   я   к о н с у л ь т и р о в а л ,   т е с т   к е й с ы   п о   к о т о р ы м   н а д о   п р о в е р я т ь   п р о д у к т   с о з д а в а л   с а м   в л а д е л е ц   п р о д у к т а .   С а м   о н   б ы л   х о р о ш и м   м а т е м а т и к о м ,   н о   у в ы ,   п л о х и м   т е с т и р о в щ и к о м .   К а к   с л е д с т в и е :   п о с л е   в ы п у с к а   н е с к о л ь к и х   в е р с и й ,   п о л ь з о в а т е л и   ж а л о в а л и с ь   н а   н а л и ч и е   о ш и б о к   и   н е у д о б н ы й   и н т е р ф е й с   ( U X ) .     С о в е т :     Т е с т и р о в а н и е   -   с у п е р   к о м п л е к с н ы й   п р о ц е с с   и   в а ж н о   н е   з а б ы в а т ь ,   ч т о   п о   и т о г у   л ю б ы м   п р о д у к т о м   п о л ь з у ю т с я   л ю д и   и   и м е н н о   и х   у д о б с т в о   в о   м н о г о м   о п р е д е л и т   у с п е х   п р о г р а м м н о г о   о б е с п е ч е н и я .   Т у т   п р и г о д я т с я   л ю б ы е   т е х н и к и   в з а и м о д е й с т в и я   с   п о л ь з о в а т е л я м и .  
З а к л ю ч е н и е П р о с т о й   с п о с о б   о б ь я с н и т ь   с л о ж н о е У п р а в л е н и е   о ж и д а н и я м и   о т   т е с т и р о в а н и я Г р а м о т н о е   п л а н и р о в а н и е   п р о ц е с с о в О ц е н к а   т р у д о з а т р а т   и х   к о н т р о л ь Н а ш е л   п р о б л е м у   —   п о с в я т и   с в о е г о   
 м е н е д ж е р а !
В р е м я   в о п р о с о в : )
С п а с и б о   з а   В н и м а н и е !
Logo
Семь принципов тестирования. Почему они так важны и как ими пользоваться