P r i v i l e g e d   a n d   c o n fi d e n t i a l 1 А в т о м а т и з а ц и я   к о н т р о л я   к а ч е с т в а   д а н н ы х A p r i l   2 0 2 1 Л я н г у з о в   А л е к с е й Q A   A r c h i t e c t
P r i v i l e g e d   a n d   c o n fi d e n t i a l 2 А в т о м а т и з а ц и я   м о н и т о р и н г а   к а ч е с т в а   д а н н ы х A p r i l   2 0 2 1 Л я н г у з о в   А л е к с е й Q A   A r c h i t e c t
3 S Q A   D a y s   2 7
4 П л а н ● С л о ж н о с т ь   з а д а ч и   к о н т р о л я   к а ч е с т в а   д а н н ы х ● А р х и т е к т у р а   р е ш е н и я   р е г у л я р н о г о   м о н и т о р и н г а   д а н н ы х ● П л ю с ы   р е ш е н и я ● П р и м е р ы В   р е з у л ь т а т е   д о к л а д а   б у д е т   п о н я т н о ,   с л о ж н о   л и   о р г а н и з о в а т ь   а в т о м а т и з и р о в а н н ы й   п о д х о д   м о н и т о р и н г а   к а ч е с т в а   д а н н ы х   и   ч т о   д л я   э т о г о   н у ж н о .
5 С л о ж н о с т ь   з а д а ч и   к о н т р о л я   к а ч е с т в а   д а н н ы х О т   ч е г о   з а в и с и т   с л о ж н о с т ь   з а д а ч и   п р о в е р к и   д а н н ы х ?
6 С л о ж н о с т ь   з а д а ч и   к о н т р о л я   к а ч е с т в а   д а н н ы х О т   ч е г о   з а в и с и т   с л о ж н о с т ь   з а д а ч и   п р о в е р к и   д а н н ы х ? О т   с л о ж н о с т и   с а м и х   д а н н ы х 1
7 С л о ж н о с т ь   з а д а ч и   к о н т р о л я   к а ч е с т в а   д а н н ы х О т   ч е г о   з а в и с и т   с л о ж н о с т ь   з а д а ч и   п р о в е р к и   д а н н ы х ? О т   с л о ж н о с т и   с а м и х   д а н н ы х О т   г л у б и н ы   и   т о ч н о с т и   п р о в е р о к 1 2
8 С л о ж н о с т ь   з а д а ч и   к о н т р о л я   к а ч е с т в а   д а н н ы х О т   ч е г о   з а в и с и т   с л о ж н о с т ь   з а д а ч и   п р о в е р к и   д а н н ы х ? О т   с л о ж н о с т и   с а м и х   д а н н ы х О т   г л у б и н ы   и   т о ч н о с т и   п р о в е р о к О т   к о л и ч е с т в а   и   с к о р о с т и   п р о в е р о к 1 2 3
9 Ф а к т о р ы   д а н н ы х ,   у с л о ж н я ю щ и е   к о н т р о л ь   к а ч е с т в а V i s u a l i z a t i o n R e p r e s e n t a t i o n V e r a c i t y T r u t h V a l i d i t y F i t n e s s D Q
1 0 Ф а к т о р ы   д а н н ы х ,   у с л о ж н я ю щ и е   к о н т р о л ь   к а ч е с т в а V o l u m e A m o u n t V e l o c i t y S p e e d V o l a t i l i t y I n s t a b i l i t y V i s u a l i z a t i o n R e p r e s e n t a t i o n V e r a c i t y T r u t h V a l i d i t y F i t n e s s D Q
1 1 Ф а к т о р ы   д а н н ы х ,   у с л о ж н я ю щ и е   к о н т р о л ь   к а ч е с т в а V o l u m e A m o u n t V e l o c i t y S p e e d V o l a t i l i t y I n s t a b i l i t y V a r i e t y M u l t i f o r m i t y V e r s a t i l i t y D i v e r s i t y V a r i a b i l i t y M u t a b i l i t y V i s u a l i z a t i o n R e p r e s e n t a t i o n V e r a c i t y T r u t h V a l i d i t y F i t n e s s D Q
1 2 Ф а к т о р ы   д а н н ы х ,   у с л о ж н я ю щ и е   к о н т р о л ь   к а ч е с т в а V o l u m e A m o u n t V e l o c i t y S p e e d V o l a t i l i t y I n s t a b i l i t y V a r i e t y M u l t i f o r m i t y V e r s a t i l i t y D i v e r s i t y V a r i a b i l i t y M u t a b i l i t y V i s u a l i z a t i o n R e p r e s e n t a t i o n V e r a c i t y T r u t h V a l i d i t y F i t n e s s V u l n e r a b i l i t y S e n s i t i v i t y D Q
1 3 Ф а к т о р ы   д а н н ы х ,   у с л о ж н я ю щ и е   к о н т р о л ь   к а ч е с т в а V o l u m e A m o u n t V e l o c i t y S p e e d V o l a t i l i t y I n s t a b i l i t y V a r i e t y M u l t i f o r m i t y V e r s a t i l i t y D i v e r s i t y V a r i a b i l i t y M u t a b i l i t y V i s u a l i z a t i o n R e p r e s e n t a t i o n V e r a c i t y T r u t h V a l i d i t y F i t n e s s V a l u e I n f o r m a t i o n V u l n e r a b i l i t y S e n s i t i v i t y D Q
1 4 Г л у б и н а   п р о в е р о к   д а н н ы х B u s i n e s s T e c h n i c a l ○ Д у б л и к а т ы ○ О т с у т с т в у ю щ и е   з н а ч е н и я ○ Ч а с т о т а   о б н о в л е н и й ○ С о о т н о ш е н и е   м е ж д у   з н а ч е н и я м и   р а з н ы х   с т о л б ц о в   ○ Д и а п а з о н ы   д о п у с т и м ы х   з н а ч е н и й ○ У н и к а л ь н о с т ь “ T y p i c a l ”
1 5 Г л у б и н а   п р о в е р о к   д а н н ы х B u s i n e s s T e c h n i c a l D a t a   m o n i t o r i n g ○ Д у б л и к а т ы ○ О т с у т с т в у ю щ и е   з н а ч е н и я ○ Ч а с т о т а   о б н о в л е н и й ○ С о о т н о ш е н и е   м е ж д у   з н а ч е н и я м и   р а з н ы х   с т о л б ц о в   ○ Д и а п а з о н ы   д о п у с т и м ы х   з н а ч е н и й ○ У н и к а л ь н о с т ь ○ Ц е л ь   м о н и т о р и н г а   д а н н ы х   -   в о в р е м я   о п р е д е л и т ь ,   ч т о   е с т ь   п р о б л е м ы   и   н о т и ф и ц и р о в а т ь   о   н и х . ○ Т о ч н о с т ь   м о н и т о р и н г а : ● D a t a   S o u r c e ● T a b l e ● C o l u m n “ T y p i c a l ”
1 6 Г л у б и н а   п р о в е р о к   д а н н ы х B u s i n e s s T e c h n i c a l D a t a   m o n i t o r i n g D a t a   i n s p e c t i o n ○ Д у б л и к а т ы ○ О т с у т с т в у ю щ и е   з н а ч е н и я ○ Ч а с т о т а   о б н о в л е н и й ○ С о о т н о ш е н и е   м е ж д у   з н а ч е н и я м и   р а з н ы х   с т о л б ц о в   ○ Д и а п а з о н ы   д о п у с т и м ы х   з н а ч е н и й ○ У н и к а л ь н о с т ь ○ Ц е л ь   м о н и т о р и н г а   д а н н ы х   -   в о в р е м я   о п р е д е л и т ь ,   ч т о   е с т ь   п р о б л е м ы   и   н о т и ф и ц и р о в а т ь   о   н и х . ○ Т о ч н о с т ь   м о н и т о р и н г а : ● D a t a   S o u r c e ● T a b l e ● C o l u m n ○ Ц е л ь   и н с п е к т и р о в а н и я   д а н н ы х   -   о п р е д е л и т ь   к   к а к о й   к а т е г о р и и   “ х о р о ш е с т и ”   и х   м о ж н о   о т н е с т и   и   о б ъ я с н и т ь   п о ч е м у .   К а т е г о р и и : ● D u p l i c a t e d   d a t a ● I n c o r r e c t   d a t a ● D a m a g e d   d a t a ● C o r r e c t   d a t a ○ Т о ч н о с т ь   и н с п е к ц и й :   с т р о к а “ T y p i c a l ”
1 7 Г л у б и н а   п р о в е р о к   д а н н ы х B u s i n e s s T e c h n i c a l D a t a   m o n i t o r i n g D a t a   i n s p e c t i o n D a t a   c l e a n s i n g ○ Д у б л и к а т ы ○ О т с у т с т в у ю щ и е   з н а ч е н и я ○ Ч а с т о т а   о б н о в л е н и й ○ С о о т н о ш е н и е   м е ж д у   з н а ч е н и я м и   р а з н ы х   с т о л б ц о в   ○ Д и а п а з о н ы   д о п у с т и м ы х   з н а ч е н и й ○ У н и к а л ь н о с т ь ○ Ц е л ь   м о н и т о р и н г а   д а н н ы х   -   в о в р е м я   о п р е д е л и т ь ,   ч т о   е с т ь   п р о б л е м ы   и   н о т и ф и ц и р о в а т ь   о   н и х . ○ Т о ч н о с т ь   м о н и т о р и н г а : ● D a t a   S o u r c e ● T a b l e ● C o l u m n ○ Ц е л ь   и н с п е к т и р о в а н и я   д а н н ы х   -   о п р е д е л и т ь   к   к а к о й   к а т е г о р и и   “ х о р о ш е с т и ”   и х   м о ж н о   о т н е с т и   и   о б ъ я с н и т ь   п о ч е м у .   К а т е г о р и и : ● D u p l i c a t e d   d a t a ● I n c o r r e c t   d a t a ● D a m a g e d   d a t a ● C o r r e c t   d a t a ○ Т о ч н о с т ь   и н с п е к ц и й :   с т р о к а ○ Ц е л ь   о ч и с т к и   д а н н ы х   -   д а т ь   р е к о м е н д а ц и и   к а к и м   о б р а з о м   и с п р а в и т ь   д а н н ы е   и л и   с д е л а т ь   э т о   а в т о м а т и ч е с к и . ○ Т о ч н о с т ь   о ч и с т к и   с т р о к а ,   я ч е й к а “ T y p i c a l ”
1 8 Р е ш е н и я   в   о б л а с т и   м о н и т о р и н г а   д а н н ы х R u l e - b a s e d m o n i t o r i n g ● P r o fi l i n g ● A l e r t i n g ● Q u a l i t y   d i m e n s i o n s R e a l - t i m e   a n o m a l y   d e t e c t i o n ● R e a l - t i m e   a n a l y s i s ● A I   /   M L   b a s e d ● I n t e l l i g e n t   a l e r t i n g Р е г у л я р н ы й   а в т о м а т и з и р о в а н н ы й   п о д х о д   к   м о н и т о р и н г у   д а н н ы х   п о з в о л я е т : ○ В о в р е м я   в ы я в л я т ь   р а з л и ч н о г о   р о д а   о ш и б к и   и   а н о м а л и и   в   д а н н ы х   и л и   и х   п о в е д е н и и . ○ С о б и р а т ь   м е т р и к и   о   д а н н ы х . ○ В и з у а л и з и р о в а т ь   д а н н ы е . ○ О т с е и в а т ь   б и т ы е   д а н н ы е   н а   у р о в н е   д а т а с е т о в ,   т а б л и ц   и л и   п о л е й . ○ С о с т а в л я т ь   о т ч е т ы   о б   и з м е н е н и и   д а н н ы х   с о   в р е м е н е м . ○ О т в е т и т ь   н а   в о п р о с   “ К а к о й   с т а т у с   д а н н ы х   в   н а с т о я щ и й   м о м е н т ? ” С т а т ь я   в   б л о г е  
1 9 А р х и т е к т у р а   R u l e - b a s e d   р е ш е н и я B a s i c   d e p l o y m e n t S y s t e m G a t e w a y F r o n t e n d B a c k e n d S t o r a g e R e s u l t s   S t o r a g e C h a r t s C h e c k s T a s k   D i s p a t c h e r C h e k s E n g i n e s C h e c k s E n g i n e s D a t a   s o u r c e s
2 0 И н с т а л л я ц и я   W o r k s h o p   в е р с и и P r o v i s i o n   V M   o r   p r e p a r e   h a r d w a r e   m a c h i n e B u i l d   a n d   D e p l o y C o n fi g u r e C r e a t e   c h e c k s   &   r u n 1 2 3 H o u r s Д а л ь н е й ш а я   и н т е г р а ц и я   т р е б у е т   т а к и х   ш а г о в   к а к   д о б а в л е н и е   а в т о р и з а ц и и ,   и н т е г р а ц и я   с   п л а н и р о в щ и к о м   з а д а ч   ( н а п р и м е р   A i r fl o w ) ,   н а с т р о й к а   R e t e n t i o n   p o l i c y ,   с о з д а н и е   п о л ь з о в а т е л ь с к и х   к о н н е к т о р о в   к   д а н н ы м . И   к о н е ч н о   с о з д а н и е   с а м и х   п р о в е р о к .
2 1 П л ю с ы   р е ш е н и я ○ Р е ш е н и е   б а з и р у е т с я   н а   D o c k e r - е ○ C l o u d - a g n o s t i c   и л и   o n - p r e m i s e ○ t 2 . x l a r g e   i n   A W S   и л и   п р о д у к т и в н ы й   н о у т б у к ○ 3 0 ’   д л я   р а з в е р т ы в а н и я   б а з о в о й   в е р с и и ○ П о д д е р ж к а   л ю б о й   J D B C - c o m p l i a n t   б а з ы   д а н н ы х ○ П о д д е р ж к а   ф а й л о в ы х   ф о р м а т о в   C S V   a n d   p a r q u e t ○ П о д д е р ж к а   K a f k a - s t r e a m s   ○ A P I   д л я   с о з д а н и я   п о л ь з о в а т е л ь с к и х   к о н н е к т о р о в И н с т а л л я ц и я   и   к о н ф и г у р а ц и я ○ П о д д е р ж к а   л ю б о г о   s c h e d u l e r - a   ( e . g .   A i r fl o w ) ○ Ш а б л о н ы   к о д а   д л я   с о з д а н и я   з а д а ч   ( e . g .   L a m b d a ) ○ З а п у с к   з а д а ч   ч е р е з   R E S T   A P I ○ П о д д е р ж к а   S i d e c a r - п о д х о д а   к   м о н и т о р и н г у ○ В о з м о ж н о с т ь   о с т а н а в л и в а т ь   о с н о в н о й   п а й л а й н   о б р а б о т к и   д а н н ы х ○ В о з м о ж н о с т ь   и с п о л ь з о в а т ь   S p a r k   c l u s t e r ○ В о з м о ж н о с т ь   и с п о л ь з о в а т ь   E l a s t i c s e a r c h ○ В о з м о ж н о с т ь   р а б о т а т ь   с   м е т р и к а м и   д а н н ы х   б е з   д о с т у п а   к   д а н н ы м И н т е г р а ц и я   с   с и с т е м о й   о б р а б о т к и   д а н н ы х ○ М и н и м а л ь н о е   т р е б у е м о е   з н а н и е   -   S Q L ○ С о з д а н и е   п а р а м е т р и з и р у е м ы х   ш а б л о н о в   п р о в е р о к ○ П о д д е р ж к а   3 r d - p a r t y   т у л о в   п р о в е р к и   д а н н ы х ○ Т о л ь к о   r / o   д о с т у п   к   д а н н ы м ○ В о з м о ж н о с т ь   з а п у с к а   и з   и н т е р ф е й с а С о з д а н и е   п р о в е р о к ○ G r a f a n a   и с п о л ь з у е т с я   д л я   в и з у а л и з а ц и и   д а н н ы х ○ G r a f a n a   и с п о л ь з у е т с я   д л я   a l e r t i n g - а ○ G r a f a n a   и с п о л ь з у е т с я   д л я   о п о в е щ е н и й ○ G r a f a n a   г р а ф и к и   и н т е г р и р о в а н ы   в   U I ○ G r a f a n a   п а н е л и   с о з д а ю т с я   а в т о м а т и ч е с к и ○ П о д д е р ж к а   р е п о р т о в   п о   р а з н ы м   “ с р е з а м ”   с и с т е м ы ○ Л о г и   п о с л е д н е г о   з а п у с к а   д о с т у п н ы   в   U I Р е п о р т и н г
2 2 П р и м е р ы Т и п ы   д а н н ы х Т е х н и к а И с т о р и ч е с к и е   д а н н ы е П а к е т н а я   о б р а б о т к а   д а н н ы х П о т о к о в а я   о б р а б о т к а   д а н н ы х М и г р а ц и я   д а н н ы х С р а в н е н и е   с   о б р а з ц о м П р и м е н е н и е   п р а в и л   о ц е н к и С р а в н е н и е   с о   с т а т и с т и к о й П о и с к   а н о м а л и й
2 3 П р и м е р ы .   И з у ч а е м   т е м п е р а т у р у L o c a l   C l i m a t o l o g i c a l   D a t a   ( L C D )
2 4 П р и м е р ы .   И з у ч а е м   т е м п е р а т у р у
2 5 П р и м е р ы .   И з у ч а е м   т е м п е р а т у р у
2 6 D e j a   V u
2 7 П р и м е р ы .   П а к е т н а я   о б р а б о т к а   д а н н ы х
2 8 П р и м е р ы .   И з у ч а е м   в е т е р L o c a l   C l i m a t o l o g i c a l   D a t a   ( L C D )
2 9 П р и м е р ы .   И з у ч а е м   в е т е р
3 0 П р и м е р ы .   И з у ч а е м   в е т е р
3 1 П р и м е р ы .   И з у ч а е м   в е т е р
3 2 П р и м е р ы .   И з у ч а е м   в е т е р
3 3 П р и м е р ы .   И з у ч а е м   в е т е р
3 4 П р и м е р ы .   С р а в н е н и е   с   S o R D a t a b a s e J S O N S T R I N G I N T E G E R
3 5 П р и м е р ы .   С р а в н е н и е   с   S o R D a t a b a s e J S O N S T R I N G I N T E G E R T o t a l   c o u n t : P o s i t i v e s   c o u n t : N e g a t i v e s   c o u n t : Z e r o s   c o u n t : N u l l s   c o u n t : N a N s   c o u n t :   c o u n t ( * ) c o u n t ( * )   w h e n   >   0 c o u n t ( * )   w h e n   <   0 c o u n t ( * )   w h e n   =   0 c o u n t ( * )   w h e n   i s   N U L L c o u n t ( * )   w h e n   i s n a n ( )
3 6 П р и м е р ы .   С р а в н е н и е   с   S o R
3 7 П р и м е р ы .   С р а в н е н и е   с   S o R
3 8 В ы в о д ы ➢ З а ч а с т у ю ,   д а н н ы е   п р о х о д я т   п р о в е р к и ,   н о   д е л а е т с я   э т о   н е   с и с т е м а т и ч е с к и ,   р е д к о   и л и   в р у ч н у ю .   Э т о   н е э ф ф е к т и в н о . ➢ И з у ч а т ь   д а н н ы е   н е о б х о д и м о   с   р а з н ы х   с т о р о н . ➢ Д е л а т ь   э т о   н е о б х о д и м о   р е г у л я р н о   и   с   п о м о щ ь ю   а в т о м а т и з и р о в а н н ы х   п о д х о д о в . ➢ О р г а н и з о в а т ь   м о н и т о р и н г   д а н н ы х   з а д а ч а ,   к о т о р а я   п о   н а ч а л у   м о ж е т   б ы т ь   н е с л о ж н о й ,   н о   б у д е т   у с л о ж н я т ь с я   в   з а в и с и м о с т и   о т ○ С л о ж н о с т и   д а н н ы х ○ Г л у б и н ы   п р о в е р о к ○ К о л и ч е с т в а   п р о в е р о к   н а   е д и ц у   в р е м е н и
3 9 В ы в о д ы ➢ З а ч а с т у ю ,   д а н н ы е   п р о х о д я т   п р о в е р к и ,   н о   д е л а е т с я   э т о   н е   с и с т е м а т и ч е с к и ,   р е д к о   и л и   в р у ч н у ю .   Э т о   н е э ф ф е к т и в н о . ➢ И з у ч а т ь   д а н н ы е   н е о б х о д и м о   с   р а з н ы х   с т о р о н . ➢ Д е л а т ь   э т о   н е о б х о д и м о   р е г у л я р н о   и   с   п о м о щ ь ю   а в т о м а т и з и р о в а н н ы х   п о д х о д о в . ➢ О р г а н и з о в а т ь   м о н и т о р и н г   д а н н ы х   з а д а ч а ,   к о т о р а я   п о   н а ч а л у   м о ж е т   б ы т ь   н е с л о ж н о й ,   н о   б у д е т   у с л о ж н я т ь с я   в   з а в и с и м о с т и   о т ○ С л о ж н о с т и   д а н н ы х ○ Г л у б и н ы   п р о в е р о к ○ К о л и ч е с т в а   п р о в е р о к   н а   е д и ц у   в р е м е н и D Q Н е   з н а е т е   к а к   н а ч а т ь ? Д а в а й т е   п а р т н е р и т ь с я !
4 0 T h a n k   y o u ! w w w . g r i d d y n a m i c s . c o m A l e x e y   L y a n g u z o v   -   H e a d   o f   Q A   P r a c t i c e   a l y a n g u z o v @ g r i d d y n a m i c s . c o m
Logo
Автоматизация контроля качества данных