Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Те с т и р о в а н и е   в   ми р е BIG  D A TA   b y   K o n s ta n ti n   P l e te n e v 23
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . UK G e r ma n y Gr e e c e La t v i a Sw e d e n Fi nl and Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . — GA R Y  KING PR OF ESSOR OF  HAR V ARD UNIVERSITY B I G   D A T A   I S   N O T   A B O UT   T H E   DA T A T H E   R E V O L UT I O N   I S   N O T   T H A T   TH ER E’ S  M O R E D ATA  AV AI LAB LE   T H E   R E V O L UT I O N   I S   T H A T   WE   KN O W  WH A T   T O   D O   WI T H   TH IS  D ATA N O W
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . 65  МИ ЛЛИ О Н О В   ПО С Т О В   В   С О Ц ИА Л Ь Н Ы Х   С Е Т Я Х   КА Ж Д Ы Й  Д Е Н Ь 1  ЧА С ,  16  МИ Н У Т КА Ж Д Ы Й  Д Е Н Ь ТР А ТИ Т С Я   Н А  ПРО С М О Т Р  В ИД Е О   С   М О Б ИЛ Ь Н О Г О   У С Т РО ЙС Т В А 100  МИ ЛЛИ О Н О В ПО Д ПИС Ч ИК О В   Н А   СТ Р И М И Н Г О В Ы Й  СЕ Р В И С  NE T FLIX  
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Ч Т О  ТА К О Е B I G  D A T A
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . ЧТ О  НЕ BI G  D A T A • НЕ о т р адиц ион н ы х  дан н ы х ,  т ак их  к ак   до к у м е н т ы   и   б а з ы   д а н н ы х • НЕ про с т о   ещ е  о д н о   о б о з н а ч ен и е  «Б о л ьш о г о   к о л и ч е с т ва   д а н н ы х » • НЕ то л ь к о   о   д а н н ы х
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . ЧТ О  ЖЕ BI G  D A T A • BIG  D A T A   э т о   б о л ь ш о й   о б ъе м   д а н н ы х   об р аб а т ы в ае м ы й   на  еж ед н е в н о й ос нов е • BIG  D A T A   эт о   т о ,   ч т о   м ы   мо ж е м де л а т ь с  эт и м и   д а н н ы м и • BIG  D A T A нуж на  дл я  при н я т и я лу ч ши х   и   пра в и л ь н ы х   ст р а т егич еск их  р ешен ий
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . 3 BI G  D A T A   ПР О ЕК Т А В AC C EN TU R E  ЗА   2  Г О ДА 1. О Б Р А Б О Т КА   Д А Н Н Ы Х О  ПО Л Ь З ОВ А Т Е Л Ь С К ОЙ  А К Т И В Н ОС Т И   И   И Х   СЕР И А ЛИ З А ЦИ Я 2. СИ СТ Е М А   П Р Е Д О СТ А В ЛЕ Н И Я   В И Д Е О   КО Н Т Е Н Т А   И   П О Д С Ч Е Т   KP I   ДЛ Я   БИЗ НЕ С - АНАЛ ИТ ИК И 3. О Б Р А Б О Т КА   И   П О Д Г О Т О В КА   ДАННЫ Х О   П О ЛЬ З О В А Т Е ЛЬ СК О Й   АК Т ИВ НО С Т И  ДЛ Я   DA T A   S C I E N T I S T S
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . B I G  D A T A   V 3 VE L OCI T Y VA R I E T Y V O L UM E
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . • 100  P B   НА   О Д НО М  HD F S   КЛ А С Т Е РЕ • 30 0  TB ДАН Н ЫХ ОБ Р А Б А Т Ы В А Ю Т С Я В   HI V E   КА ЖДЫЙ   ЧА С • 500  TB   НО В Ы Х   Д А ННЫ Х   Д О Б А В Л Я Ю Т СЯ   В  Х Р А Н И Л И Щ Е   КА ЖДЫЙ ДЕ Н Ь F A CE B OOK   STA TI STI C https ://w w w .fac ebook .c om /notes /fac ebook - engi neer i ng/under - the - hood - hadoop - di s tr i buted - fi l es y s tem - re l i a b i l i t y - wi t h - nam enode - and - av ata/10150888759153920/ V 1 - VO L U ME
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . V 2 - VE L O C I TY NE TF L I X  STA TI STI C https ://w w w .l i nk edi n.c om /pul s e/netfl i x - dom i nates - fi x ed - in t e r n e t - vid e o - bandw i dth - mo b ile - je f f - nel s on • 37%   ВС Е Й   ПРО ПУ С КН О Й   С ПО С О БН О С Т И   ИН ТЕ Р Н Е Т А   В   С Е В Е Р Н О Й  А М Е Р ИК Е • А Н А Л И З  ПО С Т У ПА Ю Щ И Х   Д А Н Н Ы Х   В   РЕ АЛ Ь Н О М   В РЕ М Е Н И • 100, 000  СЕ Р В Е Р НЫ Х   И НСТ А НЦ И Й
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . I N S T A GR A M   S T A T I S T I C V 3 - VA R I E TY • 300  M B   И ЗО БР А Ж Е Н И Й   З А Г Р У Ж А Е Т С Я   КА ЖД УЮ  М И Н УТ У • 4. 7  МИ Л Л И О НА   ЛА Й К ОВ  К А ЖД Ы Й  Д ЕН Ь • 1  МИ Л Л И О Н ПРО С М О Т РО В   С Т О РИ С   В   ДЕ Н Ь https ://w w w .for bes .c om /s i tes /ber nar dm ar r /2018/03/16/the - am az i ng - wa y s - in st a g r a m - us es - bi g - data - and - ar ti fi c i al - in t e llig e n ce / # 1 5 2 4 d cf 2 5 ca 6
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Е ж е д н е в н а я   о б р а б о т ка   /  Ba t c h   P i p el i n e Va l i da t i o n D at a  B as e D at a  s t o rage Pr o ce s s i n g BI   t o o l s ПРИМЕР BIG  D A TA PI PE L I N E
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . ПРИМЕР BIG  D A TA PI PE L I N E B a t c h  P i p el i n e О б р а б о т ка   в   р е а л ь н о м   в р е м е н и   /  R ea l   T i m e P i p el i n e Pr o d u ce r Pr o ce s s i n g D a t a   S c i en t i s t   A n a l y t i c s   t o o l D at a  s t o rage BI   t o o l s Pr o d u ce r
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . BI G DA T A M A P  R E D U C E MA P P I N G S H U FFL I N G RE D U CI NG
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . ТЕ С ТИ Р О В А НИ Е BIG  D ATA  VS  ТР А Д И Ц И О ННО Е ТЕ С ТИ Р О В А НИ Е
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Об ла ст ь Тр а д и ц и о н н о е   те с т и р о в а н и е B I G  D A T A те с т и р о в а н и е Дан н ы е Те с т и р о в щ и к и   р а б о т а ю т   с   ст р у к т у р и р о в а н н ы м и   да н н ы м и Те с т и р о в щ и к и   р а б о т а ю т   од н о в р е м е н н о   и   с   ст р у к т у р и р о в а н н ы м и   д а н н ы м и   и   с  н е ст р у к т у р и р о в а н н ы м и   да н н ы м и По д х о д ы   к   т е с т ир о в а нию   о п р е д е ле н ы   и   п р о в е р е н ы   вр е м е н е м По д х о д ы   к   т е с т ир о в а нию   с ф о к у с и р о в а н ы   б о ль ш е   н а R& D   Те с т и р о в щ и к и   м о г у т   пр и м е н я т ь   "S a m p l i n g ”   т е х н и к и   д ля   т е с т и р о в а н и я "S a m p l i n g "  те х н и к а   в Big   d a t a  не   р а б о т а е т   и ли   т р е б у е т   о ч е н ь   б о ль ш и х   з а т р а т В о з м о жн о   р у ч н о е   те с т и р о в а н и е В о з м о жн о   т о ль к о   авт о м а ти з и р о ван н о е   те с т и р о в а н и е
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Об ла ст ь Тр а д и ц и о н н о е   те с т и р о в а н и е B I G  D A T A те с т и р о в а н и е И н ф раст р у к т у ра Ис п ы ту е м ая  си ст е м а мо ж е т бы т ь   за пу щ е н а   ло к а ль н о Т р е б у е т   о т д е ль н о г о   о к р у ж е н и я   д ля   з а п у с к а   и з - за   о б ъ е м а   д а н н ы х   и   к о ли ч е с т в а   ф а й ло в   ( HD F S ) И н ст р у м е н т ы   ва л и да ц и и Те с т и р о в щ и к и   и м е ю т   мно ж е с т в о   и нс т р у ме нт о в ,   на ч и на я   о т   Ex ce l   и  за к а н ч и в а я   и н ст р у м е н т а м и   UI   авт о м а ти з ац и и   Н е т   с п е ц и а ль н ы х   и н с т р у м е н т о в   и м е н н о   д ля   т е с т и р о в а н и я ,   те с т и р о в щ и к и   и с п о ль з у ю т   т о т   ж е   на б о р   ин с т р у м е н т о в , чт о   и   ра з ра б о т ч и к и   ( Ma p R e d u c e ,   H I VE ) Ин с тр у м е н ты   м о г у т  б ы ть   и с п о ль з о в а н ы   б е з   с п е ц и а ль н ы х   з н а н и й Тр е б у е т с я   з н а н и е   пр ог р а м м и р ов а н и я   и   п р о х о жд е н и я   т р е н и н г о в   п о   ра б о т е  с   д а н н ым и
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . 18 1. ПО Н Я Т Ь  С В О И  Д А Н Н Ы Е 2. ПО Н Я Т Ь  С В О Й  ПР О Ц Е С С       (B A T C H  TI M E/ R E A L   TI M E) 3. АВ Т ОМА Т И З И Р ОВ А Т Ь , АВ Т ОМА Т И З И Р ОВ А Т Ь   И  Е ЩЕ   Р А З   АВ Т ОМА Т И З И Р ОВ А Т Ь 4. ПР ИГ О Т О В Ь Т Е С Ь  К   БО ЛЬ ШО М У  О Б Ъ Е М У   НА Г Р УЗ О ЧНО Г О   ТЕ С ТИ РО В А НИ Я   ШАГИ  К УС ПЕХ У
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . 19 ПОНЯ Т Ь  СВОИ ДАННЫ Е Фо р м а т ы да н н ы х Ст р у к т у р и р о в а н ны е   д а нны е Част и ч н о Ст р у к т у р и р о в а н ны е   д а нны е НЕ Ст р у к т у р и р о в а н ны е   д а нны е Da ta b a s e Da ta   wa r e h ou s e ER P ,   C R M CSV XM L JS O N Vi d eo Au d i o Im a ge
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . 20 1. Г Е Н Е Р А Ц И Я  Д А Н Н Ы Х 2. ПР О ВЕ Р К А   Д О С Т О ВЕ Р Н О С Т И   ДА Н Н Ы Х ПОНЯ Т Ь   СВО И ПР ОЦ Е ССЫ D at a  B as e D at a  s t o rage Pr o ce s s i n g BI   t o o l s Е ж е д н е в н а я   о б р а б о т ка   /  Ba t c h   P i p el i n e 3. ПР О ВЕ Р К А   ОБ Р А Б О Т КИ   Д А Н Н Ы Х 4. ПР О ВЕ Р К А   ВЫ ВО Д А
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . 21 ПОНЯ Т Ь   СВО И ПР ОЦ Е ССЫ 1. СИ МУ ЛЯ Ц И Я   А К Т И В Н О СТ Е Й 2. АНАЛ И З   С К О Р О С Т И   О БР АБО Т К И   ДА Н Н Ы Х 3. АНАЛ И З   М Е Т Р И К 4. ПР О ВЕ Р К А   ВЫ ВО Д А Pr o d u ce r Pr o ce s s i n g D a t a   S c i en t i s t   A n a l y t i c s   t o o l D at a  s t o rage BI   t o o l s Pr o d u ce r О б р а б о т ка   в   р е а л ь н о м   в р е м е н и   /  R ea l  T i m e P i p el i n e
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . D at a  B as e D at a  s t o rage Pr o ce s s i n g BI   t o o l s D a t a   g en er a t i o n A c c ep t a n c e  t es t i n g D a t a   v a l i d a t i o n   t es t i n g U I   t es t i n g B a t c h   P i p el i n e TO O L S E T ДЛЯ   Т Е С Т И Р О В А Н И Я
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Ac t i v i t y  s i m u l a t i on P er f o r m a n c e  t es t i n g A c c ep t a n c e  t es t i n g U I   t es t i n g R ea l T i m e  P i p el i n e TO O L S E T ДЛЯ   Т Е С Т И Р О В А Н И Я Pr o d u ce r Pr o ce s s i n g D a t a   S c i en t i s t   A n a l y t i c s   t o o l D at a  s t o rage BI   t o o l s Pr o d u ce r
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . BDD  СЦ ЕН АРИ И   Д Л Я   ПРИЁМОЧ НОГ О ТЕС ТИРОВ А НИЯ
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . BDD  СЦ ЕН АРИ И   Д Л Я   ВАЛ И Д АЦ И И   Д АН Н Ы Х
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . BDD И  DDT  ДЛ Я   Г Е Н Е Р А Ц И И   ДА Н Н Ы Х
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . TA L E ND   OP E N  STU DI O
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . TA L E N D   OP E N  STU DI O
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . TA L E N D   OP E N  STU DI O
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . TA L E N D   OP E N  STU DI O
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . CO N TI N U O U S  I N TEG RA TI O N
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . BDD  ОТ Ч Е Т Ы
Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . Co p y r i g h t   2 0 1 8   Ac c e n t u r e .   Al l   r i g h t s   r e s e r v e d . CO N T A CT S Vi s i t   u s   @  Ac c e n t u r e .lv Ko n s t a n t i n   P l e t e n e v Te s t   A u t o m a t i o n   En g i n e e r i n g   Sp e c i a l i s t ko n st a n t in . p le t e n e v@ a cce n t u r e . co m Те с т и р о в а н и е   в   ми р е BIG  D A TA   23
Тестирование Big Data