Software quality assurance days 23 Международная конференция  по вопросам качества ПО sqadays.com Минск. 25–26 мая 2018 Лилия Пелипенко QA Engineer @ Indeed Japan. Токио, Япония Особенности проектирования тестов при  помощи мониторинга и анализа данных
Особенности проектирования тестов при помощи мониторинга и анализа данных 2015 - Certified Tester Advanced Level - Test Analyst 2014 - Certified Tester Advanced Level - Technical Test Analyst 2013 - Foundation Level 7+ years professional experience QA Engineer - Indeed, Tokyo, Japan Lead QA Engineer - Fashionette GmbH, Germany QA Engineer - Magento, Ukraine C# Programmer - ICT, Ukraine Давайте познакомимся!
Особенности проектирования тестов при помощи мониторинга и анализа данных Как мы работаем в Indeed?
Кросс-функциональные команды,  работающие над своим продуктом
Нет фиксированного объема работы,  бюджета или графика
5 инженерных офисов 200+ тестировщиков
60+ стран 28 языков 200 млн. уникальных  пользователей в месяц
Что будет наилучшим для соискателя работы? Мы отвечаем на этот вопрос, тестируя и измеряя все! A/B тестирование + логирование всех необходимых показателей
4 Приоритизировать автоматизацию Создавать релевантное тестовое покрытие 3 1 Тестировать то, что важно пользователям Для чего использовать анализ данных? 2 Отслеживать ошибки на production сайте
A/B-тестирование A/B-тестирование — метод маркетингового  исследования, суть которого заключается в том, что  контрольная группа элементов сравнивается с  набором тестовых групп...
A/B-тестирование в Indeed Узнать больше:  Proctor: Indeed’s A/B Testing Framework
20 активных A/B тестов в моей команде 100+ во всех командах
Как мы проводили регрессионное тестирование?
Зачем был нужен анализ данных пользователей в  проектировании тестов?
Мы поставили цель в команде QA: Узнать своих пользователей лучше - Тестировать то, что важно пользователям - Придумывать идеи для улучшения продукта - Отстаивать интересы пользователей
- Какие наиболее популярные устройства и браузеры среди  пользователей? - Какие наиболее часто встречающиеся шаблоны поведения  пользователей и конфигурации продукта? - Изменяется ли поведение пользователей в разных браузерах? - Страдает ли вовлеченность пользователей в разных A/B  экспериментах? С чего мы начали
Статистика использования браузеров и устройств Мировая статистика  использования браузеров Реальные данные для моей  команды
Особенности проектирования тестов при помощи мониторинга и анализа данных Как мы организовали информацию? Мы разбили информацию на секции: - Общая  статистика использования устройств включая  мобильный app - Статистика использования браузеров на  настольных ПК и  ноутбуках - Статистика использования браузеров на  Android  и  iOS   устройствах 
- Тестируем наиболее релевантные устройства и браузеры - Устанавливаем приоритеты кросс-браузерного и  регрессионного тестирования - Определяем критичность дефектов - Приоритезируем автоматизацию Как мы используем эти данные?
Где получить эту информацию? Imhotep  —  Data Analytics Platform by Indeed http://opensource.indeedeng.io/imhotep/  Google Analytics
Нет Google Analytics Вариант №1: Проект в эксплуатации Вариант №2: Проект в стадии разработки - Проконсультируйтесь с программистами - Начните логировать юзер агенты - Зарегистрируйте и добавьте Google Analytics - Определите рынок пользователей - Опирайтесь на мировую статистику
Тестируйте на наиболее релевантных браузерах и  устройствах, а не только на имеющихся у вас под  рукой - Купите несколько устройств для тестирования - Используйте онлайн инструменты для кроссбраузерного  тестирования: https://www.browserstack.com/ https://saucelabs.com/ 
Поделитесь этой статистикой с отделом  автоматизации
Определите метрики для вашего продукта - Уровень трафика сайта - Вовлеченность пользователей на странице - Коэффициент конверсии - Другие финансовые показатели
Пример  —  онлайн магазин - Предложите записывать данные о браузере  вместе с заказом - Соберите статистику заказов в разных  браузерах Самый важный показатель — кол-во заказов - Анализируйте данные после каждого деплоя - Проводите регрессионное тестирование в проблемных  браузерах
Пример  —  сайт по поиску работы Один из важных показателей: Соотношение кол-ва людей которые начали процесс отклика на  вакансию к кол-ву людей успешно закончивших этот процесс. - Мы анализируем этот показатель в разных устройствах и  браузерах после каждого деплоя - Проводим регрессионное тестирование в проблемных  браузерах
Особенности проектирования тестов при помощи мониторинга и анализа данных Важный показатель — коэффициент конверсии Пример — любой сайт
Браузер + бизнес метрики позволяют - Следить за влиянием деплоя на web проект - Выявлять браузеры и устройства где страдает вовлеченность  пользователей
Статистика ошибок валидации
Особенности проектирования тестов при помощи мониторинга и анализа данных Какие ошибки чаще всего видят пользователи? - Обязательные поля были оставлены незаполненными > есть ли подсказки для заполнения формы? - Ошибки о неправильном вводе > есть ли пример правильного формата ввода? - Ошибки валидации при отправке формы > пропущенные тестовые сценарии? - Бесполезные сообщения об ошибке > более эффективное сообщение? - 4xx, 5xx ошибки HTTP запросов > пропущенные тестовые сценарии?  
Особенности проектирования тестов при помощи мониторинга и анализа данных Логируйте статистику ошибок валидации 
Особенности проектирования тестов при помощи мониторинга и анализа данных Как это использовать для тестирования? - Проводите тестирование юзабилити - Есть ли подсказки для заполнения форм? - Понятно ли пользователю как исправить ошибку - Включайте в регрессионное тестирование наиболее часто  показываемые ошибки - Установите причины 4xx, 5xx ошибок - Предотвращайте бесполезные сообщения об ошибке - Убедитесь что требования включают понятный текст сообщения - Популяризируйте важность хорошего юзабилити
Особенности проектирования тестов при помощи мониторинга и анализа данных Статистика ошибок может помочь найти проблемы с  юзабилити, производительностью и пропущенными  тестовые сценариями
Особенности проектирования тестов при помощи мониторинга и анализа данных Создать тестовое покрытие, в котором  существование каждого теста имеет только  практическое значение
Особенности проектирования тестов при помощи мониторинга и анализа данных Decision table
Особенности проектирования тестов при помощи мониторинга и анализа данных - Бизнес аналитики обучили тестировщиков как использовать  инструменты для анализа данных - Программисты постепенно улучшали логирование данных - QA-инженеры и QA-автоматизаторы сотрудничали для  создания релевантного мануального и автоматического  покрытия   Сотрудничество в команде
Особенности проектирования тестов при помощи мониторинга и анализа данных Создавать продукт, который любят пользователи
Особенности проектирования тестов при помощи мониторинга и анализа данных - Data-driven разработка + data-driven тестирование - Предложите команде логировать действия пользователя - Приоритезируйте тестирование используя реальные данные - Используйте все возможные инструменты для обеспечения  видимости проблемных мест пользователя Позвольте мне подвести итоги Дайте шанс анализу данных!
Особенности проектирования тестов при помощи мониторинга и анализа данных Спасибо за внимание! Liliia Pelypenko QAE @ Indeed, Japan lpelypenko@indeed.com linkedin.com/in/pelypenko t.me/lpelypenko Вопросы?
Особенности проектирования тестов при помощи мониторинга и анализа данных