К о нт р оль  к а ч е с т в а   в   Big D at a  п р о е к т а х G r i d   D yna m i c s ,   SQ A   A r c h i t e c t Ал е к с е й   Л я н г у зо в
2 П л а н О   че м   бу д е т   д ан н ая   п р е з е н т ац и я • Ч т о   т а к о е   B i g   D a t a ? • К о н т р о л ь   к а ч е с т в а   в   B i g   D a t a   с и с т е м а х – К а ч е с т в о   Да н н ых – Ф у н к ц и о на л ь но е   К а че с т в о – К а ч е с т в о   ” С т е н д о в ” – Н е ф у н к ц и о н а л ь н о е   К а че с т в о – И н с т р у м е н т а р и й • Ч т о   ну ж но   т е с т и р о в щ и к у ,   ч т о бы  р а б о т а т ь   с   B ig   D a t a
Чт о  т а кое   B i g   Da t a
4 Вв е д е н и е Ч т о   ж е   т ако е   B i g   D a t a B i g   D ata   –   э т о   …   я   ва м   н е  с к а ж у ,  ч то  э то   т а ко е !    
5 Ч т о   ж е   т ако е   B i g   D a t a B i g   D ata   –   э т о   …   я   в а м   н е  с к а ж у ,  ч то  э то   та ко е !    Вв е д е н и е
6 Ч т о   ж е   т ако е   B i g   D a t a B i g   D ata   –   э т о   …   я   в а м   н е  с к а ж у ,  ч то  э то   та ко е !    А   м ы  с   в а м и   л у чш е   по г о в о р и м   о   т о м ,   ч т о   т а к о е   B i g   D a t a   S y s t e m и л и С и с т е м а ,   р а б о т а ю щ а я   с   Б о л ь ш и м и   Да н н ым и В л ади м и р   К р ас и л ь щ и к А н т и - в в е д е н и е   в   B ig   D a t a Иг о р ь   А ш м ан о в А н ал и т и к а  B ig   Da t a А л е к с е й   Н ат е к и н Ми ф ы   B ig   Da t a   и   M L А  в о т   о н и   р а с с к а ж у т Вв е д е н и е
7 1.   С и с т е м а   р аб о т а е т   с   д а н н ым и ! B i g   Dat a S yst em B i g   Dat a S yst em D a t a ? ? ? ? С и сте ма ,   р а б от а ю щ а я  с  Б о л ь ш и ми   Д а н н ы ми
8 B i g   Dat a S yst em B i g   Dat a S yst em D a t a I n f o r m at io n 1.   С и с т е м а   р аб о т а е т   с   д а н н ым и ! С и сте ма ,   р а б о та ю щ а я   с  Б о л ьш и ми   Да н н ы ми
9 2 .   С о с т о я ни е   с и с т е м ы  з а в и с и т   о т   к о л и ч е с т в а   о б р аб о т а н н ы х   д а н н ых С и сте ма ,   р а б о та ю щ а я   с  Б о л ьш и ми   Да н н ы ми
1 0 3.   С и с т е м а   и с п о л ьз у е т   “B i g   D a t a ”  т е х н о л о г и и A p ach e   Had o o p A p ach e   S p a r k A p ach e   S t o r m A p ach e   Ka f ka A p ach e   Hiv e A p ach e   P i g A p ach e   F l u m e A p ach e   HB as e A p ach e   S o lr A p ach e   O o zi e A p ach e   A ir f lo w Ela st i c s e a r ch G r a p h it e Ae r o s p i ke С и сте ма ,   р а б о та ю щ а я   с  Б о л ьш и ми   Да н н ы ми
1 1 4 .   Да н н ы х   “м н о г о ” С и сте ма ,   р а б о та ю щ а я   с  Б о л ьш и ми   Да н н ы ми
1 2 Эт о 1 )   С и с т е м а   р а б о т ае т   с   д а н ным и ! 2 )   С о с т о я н и е   с и с т е м ы  за в и с и т   о т   к о л и че с т в а   о б раб о т ан н ы х   д а нн ых 3 )   С и с т е м а   и с по л ь зу е т   “ B ig   D a t a”   т е х н о л о г и и 4 )   Да н ных   “м н о г о ” С и сте ма ,   р а б о та ю щ а я   с  Б о л ьш и ми   Да н н ы ми
1 3 О б з о р Da t a P r ov i de r Da t a P r ov i de r Da t a S o u r c e Da t a S o u r c e Da t a   L a k e D a t a   I n g e s t io n Da t a   T r a n s f o r m a t io n Da t a A n a l y s is Da t a R e p o r t in g D a t a S t o ra g e D a t a S t o r a g e Da t a S t o r a g e D a t a C o n s u m e r Da t a C o n s u m e r Da t a R e p o r t e r Da t a R e p o r t e r O r c h e s t r a t ion С и сте ма ,   р а б о та ю щ а я   с  Б о л ьш и ми   Да н н ы ми
1 4 П ай пл ай н ы   и   д ж о б ы С и сте ма ,   р а б о та ю щ а я   с  Б о л ьш и ми   Да н н ы ми D a t a   L a k e D a t a   In g e s t i o n D a t a   T r a n s f or m a t i o n D a t a A n a l ys is D a t a R e p o r t i n g D a t a S t o r a g e D a t a S t o ra g e Da t a S t or a g e O r c h e s t r a t ion
1 5 Т е р м и н о л о г и я D a t a  P r o v i d e r   –  t h e   a c t i v e   c o m p o ne nt   t h a t   p u s h e s   d a t a   i nt o   t h e   s ys t e m   (e . g .   d a t a   s t r e a m s ) D a t a  S o u r c e   –  t h e   p a s s i v e   c o m p o n e n t   f r o m   w hi c h  t he   s y s t e m   f e t c h e s   t h e   d a t a   ( e . g .   DB M S) D a t a  R e p o r t e r   –  t he   a c t i v e   c o m p o n e nt   w hi c h  f e t c he s   t he   d a t a   f r o m   t he   s ys t e m   (e . g .   c l i e n t s ’   d a s hb o a r d s ) D a t a  C o n s u m e r   –  t he   p a s s i v e   c o m p o ne nt   t o   w hi c h  t he   s y s t e m   p us he s   t he   d a t a   (e . g .   p a r t n e r s ’     s ys t e m s ) T he y   ar e   n o t   par t   o f   t he   s y s t e m D a t a  I n g e s t i o n   –  t he   p r o c e s s   o f   t h e   o b t a i ni ng   n e w   d a t a   i nt o   t he   s ys t e m   a nd   s t o r i n g   i t   i n  a p p r o p r i a t e   D a t a   St o r a g e D a t a  S t o r a g e   –  t he   p a r t   o f   t h e   s y s t e m   t ha t   a c c u m u l a t e s   i np u t ,   i nt e r m e d i a t e   o r   r e s u l t i ng   d a t a D a t a  Lak e   –  t he   s p e c i a l   D a t a   St o r a g e   t o   a c c u m ul a t e   b o t h   r a w   a nd   s t r u c t u r e d   d a t a D at a   T r a n s f o rm a t i o n   –  t h e   p r o c e s s   o f   c o nv e r t i ng   d a t a   f r o m   o ne   f o r m a t   o r   s t r u c t ur e   i n t o   o t he r   o n e D at a   A n a l ys i s   –  t h e   p r o c e s s   o f   e v a l u a t i n g   d a t a   us i ng   a na l y t i c a l   a nd   l o g i c a l   a p p r o a c he s   a nd   a l g o r i t hm s D at a   R e p o rt i n g   –  t he   p r o c e s s   o f   p r e p a r i ng   a nd   s t o r i ng   t he   o u t p u t   d a t a   t o   b e   a c c e s s e d   b y   e xt e r na l   s ys t e m s J o b   –   t he   s i ng l e   u n i t   o f   w o r k   t ha t   r e q u i r e s   i n p u t   d a t a   a n d   p r o d u c e s   o ut p u t   d a t a O rc he s t r a t i o n   –   t he   c o o r d i n a t e d   p r o c e s s i n g   o f   m ul t i p l e   jo b s ,   o f t e n  w i t h  a   c o n d i t i o na l   w o r k f l o w P i p e l i n e   –  t he   s e q u e nt i a l   s e t   o f   jo b s   t ha t   p r o c e s s e s   t he   d a t a   w he r e   o ne   jo b ’ s   o ut p u t   i s   t he   ne x t   j o b ’ s   i n p u t С и сте ма ,   р а б о та ю щ а я   с  Б о л ьш и ми   Да н н ы ми
Конт роль  ка ч е с т ва   в Bi g   Dat a   с и с т е ма х
1 7 О   че м   бу д е т   д ан н ая   п р е з е н т ац и я • Ч т о   т а к о е   B i g   D a t a ? • Ко н т р о ль  кач е с т ва  в  B i g   D a t a   с и с т е ма х – К а ч е с т в о   Да н н ых – Ф у н к ц и о на л ь но е   К а че с т в о – К а ч е с т в о   ” С т е н д о в ” – Н е ф у н к ц и о н а л ь н о е   К а че с т в о – И н с т р у м е н т а р и й • Ч т о   ну ж но   т е с т и р о в щ и к у ,   ч т о бы  р а б о т а т ь   с   B ig   D a t a П л а н
1 8 О б л аст и D a t a F u n c t i o n a l i t y N FR E n v i r o n m en t Oper a t i o n s T o o l s К о н тр о л ь  к а ч е ст в а   с и сте мы
Ка ч е с т во   Д а н ны х 1 9
2 0 О б з о р • I d e nt i f i c a t i o n   o f ● D a t a   t yp e s ● D a t a   t yp e ’ s   a t t ri b ut e s   a nd   f e a t u re s   D a t a   Mo del  B u i ld i ng D a t a   Mo del  B u i ld i ng • S a m p l i ng • Ge n e ra t i n g • V e rs i o n i n g T e s t   D a t a   Ma na g em ent T e s t   D a t a   Ma na g em ent • D a t a   I n g e s t i o n   C o nt ro l • O u t p ut   D a t a   C he c k i ng D a t a   C er t i fi c a t i on D a t a   C er t i fi c a t i on К а че с т в о   Д а н н ых
2 1 П о ст р о е н и е   М о д е л и   Д а н н ы х Raw   D a t a: 12 3 . 123. 123. 123  -   -   [ 13/S e p /2017: 01 : 38: 10  - 0 4 00 ]   "G E T   /i n d e x. h t m l   H TT P /1. 1 "   200  -   " - "  " - " At t ri b u t e s : IP :  1 2 3 .1 2 3 . 1 2 3 .1 2 3 D a t e :  1 3 / S e p / 2 0 1 7 :0 1 :3 8 :1 0   -0 4 0 0 Me t h o d :  G e t P a t h :  / i n d e x.h t m l S t a t u s   C o d e :  2 0 0 F e at u re s : C o u n t r y :  C h i n a   (f ro m   I P ) C it y :  B e i ji n g   (I P ) O rg a n iz a t io n :  C h i n a   U n i c o m   B e i ji n g   (IP ) D a y  o f   W e e k :  W e d n e s d a y   (D a t e ) D a y  T y p e :  W o rk d a y  (D a t e ) T i m e   o f   D a y  (c l ie n t ) :  Ni g h t   (D a t e ) T i m e   o f   D a y   ( s e r ve r) :  A f t e r n o o n   ( D a t e ) К а ч е ств о   Д а н н ы х
2 2 О сн о вн ы е   о ш и бки   в  д ан н ы х • Да нн ых   по л н о с т ь ю   и л и   ча с т и чн о   н е т   в   х р а н и л и щ е • Да нн ые   ” по л о м а н н ые ”   ( н е т   к л ю ч е в ых     а т р и бу т о в ) • Да нн ые   н е с о г л а с о в а н ны • Ду бл и к а т ы • Да нн ые   п о с т у па ю т   в   с и с т е м у   н е с в о е в р е м е нн о • Да нн ые   н е   по с т у пи л и   в   с и с т е м у   ( н а п р и м е р ,   о бр ыв   с е т и ) • И зм е н и л с я   ф о р м а т   д а н н ых • Да нн ых   пр и е х а л о   бо л ь ш е ,   че м   о ж и д а л о с ь К а ч е ств о   Д а н н ы х
Ф у н кци он а льн ое   Ка ч е с т во 2 3
2 4 О б з о р • I d e nt i f i c a t i o n   o f   d e p e n d e n c i e s   b e t w e e n  Jo b / P i p e l i n e   a n d   D a t a   T y p e s   a nd   D a t a   S t o ra g e s D a t a   F low   Mod el  B ui ldi n g D a t a   F low   Mod el  B ui ldi n g • T e s t   D e s i g ni ng • T e s t   Le v e l s T e s t i ng   A p p r oa c h e s T e s t i ng   A p p r oa c h e s • R e g re s s i o n • O rc he s t ra t i o n • A P I   T e s t i ng A ut om a t e d   T e st i n g A ut om a t e d   T e st i n g • I d e n t i f y i ng   c h a n g e   c o ns e q u e nc e s • I d e n t i f y i ng   c o nd i t i o n s   f o r  re a c h i n g   s o m e   g o a l C h a ng e  I m p a c t   A na ly si s C h a ng e  I m p a c t   A na ly si s Фу н к ц и о н а л ь н о е   Ка ч е ств о
2 5 П о д х о д   к  и н т е г р ац и о н н о м у   т е с т и р о ва н и ю  п ай п л ай н а Ф у н к ц и он а л ьн о е   К а че ст в о ( 1 )   C r e a t e T e s t   Da t a s e t ( 2 )   R u n P i p e l in e ( 3 )   S t o r e   s o m e   o u t p u t   da t a a s   a   ba s e l in e   t o   c o m p a r e   w i t h
2 6 П о д х о д   к  и н т е г р ац и о н н о м у   т е с т и р о ва н и ю  п ай п л ай н а Ф у н к ц и он а л ьн о е   К а че ст в о ( 1 )   C r e a t e T e s t   Da t a s e t ( 2 )   R u n P i p e l in e ( 3 )   S t o r e   s o m e   o u t p u t   da t a a s   a   ba s e l in e   t o   c o m p a r e   w i t h ( 4 )   S t or e   o u t p u t   da t a a f t e r   e a c h   j ob
2 7 П о д х о д   к  и н т е г р ац и о н н о м у   т е с т и р о ва н и ю  п ай п л ай н а Ф у н к ц и он а л ьн о е   К а че ст в о ( 1 )   C r e a t e T e s t   Da t a s e t ( 2 )   R u n P i p e l in e ( 3 )   S t o r e   s o m e   o u t p u t   da t a a s   a   ba s e l in e   t o   c o m p a r e   w i t h ( 4 )   S t or e   o u t p u t   da t a a f t e r   e a c h   j ob ( 5 )   S t or e   m or e   p a r a m e t e r s   a n d  v a l u e s
2 8 П о д х о д   к  и н т е г р ац и о н н о м у   т е с т и р о ва н и ю  п ай п л ай н а Ф у н к ц и он а л ьн о е   К а че ст в о ( 1 )   C r e a t e T e s t   Da t a s e t ( 2 )   R u n P i p e l in e ( 3 )   S t o r e   s o m e   o u t p u t   da t a a s   a   ba s e l in e   t o   c o m p a r e   w i t h ( 4 )   S t or e   o u t p u t   da t a a f t e r   e a c h   j ob ( 5 )   S t or e   m or e   p a r a m e t e r s   a n d  v a l u e s ( 6 )   Ex p or t   da t a   a f t e r e v e r y    j o b
2 9 П о д х о д   к  и н т е г р ац и о н н о м у   т е с т и р о ва н и ю  п ай п л ай н а Ф у н к ц и он а л ьн о е   К а че ст в о ( 1 )   C r e a t e T e s t   Da t a s e t ( 2 )   R u n P i p e l in e ( 3 )   S t o r e   s o m e   o u t p u t   da t a a s   a   ba s e l in e   t o   c o m p a r e   w i t h ( 4 )   S t or e   o u t p u t   da t a a f t e r   e a c h   j ob ( 5 )   S t or e   m or e   p a r a m e t e r s   a n d  v a l u e s ( 6 )   Ex p or t   da t a   a f t e r e v e r y    j o b ( 7 )   I m p o r t   da t a   t o   s t a r t   p ip e l i n e   f r om   a n y   j o b
Ка ч е с т во   С т е н д ов 3 0
3 1 О б з о р • C he c k i n g   t h a t   a l l   s e rv i c e s   a re   up   a n d   re s p o n d i n g   H ea t h   C h ec k s H ea t h   C h ec k s • Ga t h e r i ng • V i s ua li z a t i o n • Q ue ryi n g L og   Ma n a g em en t L og   Ma n a g em en t • T e s t i n g   t ha t   a ll   p ro p e rt i e s   a r e   c o rre c t C onfi g ur a t i on   T e st i ng C onfi g ur a t i on   T e st i ng К а ч е ств о   С те н д ов
3 2 К о н т р о л ь   ко н ф и г у р аци и   с и ст е м ы 1.   С д е л а т ь   е д и н о е   х р а н и л и щ е   п р о пе р т е й . 2.   К а т е г о р и зи р о в а т ь   пр о пе р т и   ( s t a t i c / r u n t i m e ;   e n v ir o n m e n t / sy st e m ;   . . . ) . 3.   О пр е д е л и т ь   д е ф о л т н ые   зн а че н и я   пр о пе р т е й . 4.   П р о д у м а т ь   м е х а н и зм   пе р е о пр е д е л е н и я   п р о пе р т е й . 5.   В с т р о и т ь   в   е д и н у ю   с и с т е м у   д е пл о й м е н т а . 6.   П р о в е р я т ь   к о н ф и г у р а ци ю   п е р е д   д е п л о й м е н т о м . 7.   Л и ш ни е   пр о пе р т и ,   н е за п о л н е н н ые   па р а м е т р ы,   р а зн ые   зн а че н и я   о д н о г о   и   т о г о   ж е   па р а м е т р а ,   с с ы л к и   н а   о т с у т с т в у ю щ и е   с е рви с ы   и л и   пу т и . К а ч е ств о   С те н д ов
Не ф у н кци он а льн ое   Ка ч е с т в о 3 3
3 4 О б з о р • S ys t e m   p e rf o rm a nc e • P i p e li ne s   p e rf o rm a n c e • P r o f i l i n g P e r f o r m a nc e P e r f o r m a nc e • R o b us t n e s s • S c a l i ng • E n d ura nc e S t a b i li t y S t a b i li t y • T e s t i n g   t ha t   ne w   c h a ng e s   c o u l d   b e   ro l l e d   b a c k R ol lb a c k   /  B a c k - o ut R ol lb a c k   /  B a c k - o ut Н е фу н к ц и о н а л ьн о е   К а ч е с т в о
3 5 П р о ф и л и р о ван и е Н е фу н к ц и он а л ьн о е   К а ч е ств о ( 1 )   A dd  m e t r ic s   f r a m e w o r k ( 2 )   S e t u p   E L K
3 6 П р о ф и л и р о ван и е Н е фу н к ц и он а л ьн о е   К а ч е ств о ( 1 )   A dd  m e t r ic s   f r a m e w o r k ( 2 )   S e t u p   E L K ( 3 )   R u n P i p e l in e
3 7 П р о ф и л и р о ван и е Н е фу н к ц и он а л ьн о е   К а ч е ств о ( 1 )   A dd  m e t r ic s   f r a m e w o r k ( 2 )   S e t u p   E L K ( 4 )   A g g r e g a t e   l og s   t o  E l a s t i c s e a r c h ( 3 )   R u n P i p e l in e
3 8 П р о ф и л и р о ван и е Н е фу н к ц и он а л ьн о е   К а ч е ств о ( 1 )   A dd  m e t r ic s   f r a m e w o r k ( 2 )   S e t u p   E L K ( 4 )   A g g r e g a t e   l og s   t o  E l a s t i c s e a r c h ( 5 )   V i s u a l iz e m i n / m a x/ a v e r a g e f o r   t o p   5   m e t h o ds ( 3 )   R u n P i p e l in e
3 9 П р о ф и л и р о ван и е Н е фу н к ц и он а л ьн о е   К а ч е ств о ( 1 )   A dd  m e t r ic s   f r a m e w o r k ( 2 )   S e t u p   E L K ( 4 )   A g g r e g a t e   l og s   t o  E l a s t i c s e a r c h ( 5 )   V i s u a l iz e m i n / m a x/ a v e r a g e f o r   t o p   5   m e t h o ds ( 3 )   R u n P i p e l in e ( 6 )   W a it   f or   f ix   a n d  r e p e a t   u n t il   a l l   f i x e d. T h e n   m on it o r
Ин с т ру ме нт а ри й 4 0
4 1 О б з о р • Ge ne ra t o r • S a m p l e rs • V a l i d a t o rs • A n a l yz e r D a t a   Ma na g em ent D a t a   Ma na g em ent • Ga t h e r i ng • V i s ua li z a t i o n • Q ue ryi n g S t a t i st i c s S t a t i st i c s • C o m m o n • I n t e g ra t i o n s   w i t h   c o m p o ne nt s T e st   F r a m ew o r k s T e st   F r a m ew o r k s • E n v i ro n m e nt   C o n s t ru c t o r • L o g   M a n a g e m e n t • M o n i t o ri n g E nv i r o nm en t   M a na g em ent E nv i r o nm en t   M a na g em ent И н ст р у ме н т а р и й
4 2 С т ат и ст и ка И н с т р у ме н т а р и й ( 1 )   C r e a t e T e s t   D a t a s e t ( 2 )   R u n P i p e l i n e ( 3 )   S t or e   s om e   ou t p u t   da t a a s   a   ba s e l i n e   t o  c om p a r e   w it h K e y R u n   1 R u n   2 R u n   3 R u n   4 R u n   5 S r c h : i n de x 1 : s iz e 1 2 7 1 2 7 1 2 8 1 2 8 1 2 8 S r c h : i n de x 2 : s iz e 1 0 1 0 1 2 1 2 1 3 H B a s e : t bl 1 : c o u n t 1 1 1 2 2 1 1 1 2 2 1 1 1 2 2 1 1 1 2 2 1 1 1 2 2 H B a s e : t bl 2 : c o u n t 1 9 0 1 1 0 9 0 9 0 9 0 M yS Q L : t bl 1 : c ou n t 2 8 3 4 2 8 3 4 2 8 3 4 2 8 3 4 2 3 3 3 J o b1 : t im e 9 2 0 0 9 4 8 0 9 5 0 0 9 4 3 0 9 2 3 0 L o g 1 : f i l e s i z e 1 1 3 1 1 3 1 2 0 1 1 9 1 1 9
4 3 С т ат и ст и ка И н с т р у ме н т а р и й D a t a F u n c t i o n a l i t y En v i r o n m e n t O p e r a t i o n s N F R ● D at a  T y p e s   c o u n t s ● D at a  A t t r i b u t e s   an d     Fe at u r e   s t at i s t i c s ● D at a  Q u al i t y  s t at i s t i c s ● P e r f o r m an c e   m e as u r e m e n t s ● P r o f i l i n g   d at a  r e s u l t s ● D at a  v o l u m e s ● O p e r a t i o n s   T i m i n g ● I n t e r n al   c o u n t s /av e r ag e s ● O u t p u t   s i z e /c o u n t s ● M e m o r y  u s a g e ● Fi l e   s ys t e m   d e t a i l s ● C l u s t e r   l o ad   b al a n c i n g
Чт о  ну ж н о  т е с т и ровщ и ку ,  ч т об ы   ра б от а т ь  с   Bi g   Dat a
4 5 Д л я  к о м ан д ы   т е ст и р о ван и я 2 0% 25 % 15 % 1 0% 15% 1 5% T e s t   A u t o m a t i o n D a t a   A n a l y s i s M a n u a l   E x p e r i m e n t s D e v O p s   E n g i n e e r i n g B i g D a t a   T e c h n o l o g i e s T o o l s D e v e l o p m e n t Р а сп р е д е л е н и е   у ме н и й
4 6 ...ш и х   Д ан н ы х Те сти р о в а н и е   Б ол ь. ..
w w w . g r i d d yna m i c s . c o m С п а с и б о!
Контроль качества в BigData проектах