Процесс тестирования. Измерение и Оценка. Мешков Александр
Краткая информация • Мешков Александр Руководитель направления QA консалтинга Performance Lab Skype: alekslynx Email: a.Meshkov@pflb.ru 15 проектов по тестированию и консалтингу
План доклада
Введение Делегирование Подотчетность Направление Мониторинг Инструкции Отчетность
Оценка процесса тестирования: кому и зачем это нужно?
Требования • Целесообразность • Своевременность • Соответствует ожиданиям руководителя • Точность • Соответствует назначению • Возможность сравнить с эталоном и/или прошлыми результатами
Как можно проводить оценку? Аудит Обследование Самооценка
Что и зачем оценивать? Руководитель отдела тестирования (управляя процессом) должен отвечать за: Результативность Целесообразность Продуктивность Соответствие
Для чего применять оценку? • Обеспечение стабильности результатов (Аудит, обследование, самообследование) • Целесообразность (Обследование, самооценка) • Продуктивность (Обследование, самооценка) • Результативность (Обследование, самооценка) • Соответствие (Аудит, обследование, самообследование)
Классы оценки (ISO 15504) 1. Используется для сравнения с эталонами 2. Используется для отчетности. 3. Используется для проверки и оценки процессов на предмет полученных выгод от совершенствования.
Оценка зрелости процесса тестирования. Модели.
Принцип оценки зрелости
Принцип оценки зрелости Планируй: - Что делать? - Как делать? - Кто будет делать? - Какие ресурсы потребуются? Корректируй: - Что улучшить в дальнейшем? Делай: - Выполнение запланированных работ Контролируй: - Результативно? - Эффективно?
Модель SW-TMM Thomas C. Staab. Using SW-TMM to Improve the Testing Process. Crosstalk The Journal of Defense Software Engineering. November 2002. Уровни Зрелости
Модель TMMI http://www.tmmi.org/pdf/TMMi.Framework.pdf Где взять?
Модель TMMI
Модель TPI Классы Ключевые области Группы ключевых областей
Модель TPI Контролируемый Эффективный Оптимизируемый Уровни зрелости Приоритезация ключевых областей
Выбор модели Отличия моделей: - Шкалы (уровни) зрелости - Процессные модели и способы их применения
Основные принципы методик 1. Наблюдение - Понимание, на что нужно обратить внимание - Как выполняются различные действия
Основные принципы методик 1. Наблюдения - Подтверждение своим наблюдениям - Понимание, на как правильно проверять 2. Факты
Основные принципы методик 1. Наблюдения - Правильность организации работ - Критерии оценки 2. Факты 3. Оценка
Основные принципы методик 1. Наблюдения - Выбор целевого состояния - Что необходимо предпринять? 2. Факты 3. Оценка 4. Рекомендации
Основные принципы методик 1. Наблюдения 2. Факты 3. Оценка 4. Рекомендации а) Правильная постановка задачи б) Четкое обозначение границ в) Обоснование необходимости в проведении оценки г) Аргументированность замечаний д) Практика, примеры
Контроль зрелости процесса – оперативная оценка Оценка зрелости Оперативная оценка Цель Результат
Оперативная оценка процесса тестирования • Кто заинтересован? • Что измерять? • Как оценивать результаты измерений? • Как получить общую оценку?
Показатели • Метрика – технически или процедурно измеримая величина, характеризующая состояние объекта управления. • KPI – метрика, которая служит индикатором состояния объекта управления. Обязательное условие – наличие целевого значения и установленные допустимые отклонения.
Показатели • Метрика – технически или процедурно измеримая величина, характеризующая состояние объекта управления. • KPI – метрика, которая служит индикатором состояния объекта управления. Обязательное условие – наличие целевого значения и установленные допустимые отклонения. У нас есть KPI. Мы измеряем производительность нашей команды!
Показатели Мы знаем значения метрик процесса тестирования, но как нам получить их оценку? • Разный цели метрик • Разные единицы измерения • Неидентичные метрики
Показатели Мы знаем значения метрик процесса тестирования, но как нам получить их оценку? • Разный цели метрик • Разные единицы измерения • Неидентичные метрики Использование единой оценки, но как?
Показатели     Как прийти к общей оценке? Какова эффективность процесса в целом? Как считать показатель, если один из KPI = 0? Перемножение?
Показатели Вводим коэффициент допустимого значения (ДЗ) для каждого KPI. ДЗ – значение итогового показателя при условии, что определенные KPI = 0%, а прочие = 100% Важность (вес) KPI определяет значение ДЗ. Получаем итоговый показатель:      
Что нужно, чтобы это работало • Цель • Метрики • Критерии • Оценка • Действия
Комплексная оценка
Практика использования • Учитывайте мотивацию • Дайте возможность быть самостоятельными • Контролируйте результаты • Сделайте все, что процесс сбора был прозрачен Типичные ошибки (с ними цели не достигнуть): Мы используем готовый набор метрик, зачем придумывать что то новое… Мы измеряем ради измерения… Получили статистику, показали руководству и забыли… Если мы решили собирать метрики, то все должны это делать… Зачем нам метрики, мы используем модели зрелости…
Итоги • При измерении и оценки нужно понимать назначение той оценки, которую Вы выполняете • Модели и инструменты оценки должны периодически проверяться на соответствие решаемым задачам в ходе процесса тестирования: Модели оценки зрелости должны соответствовать принятым в компании стандартам и практикам Метрики и показатели эффективности должны пересматриваться и обновляться в соответствии с целями и задачами, которые ставят перед тестированием. • Оценка – это не цель, а инструмент, который помогает: Планировать Управлять Совершенствовать
Спасибо за внимание Вопросы? alekslynx a.meshkov@pflb.ru
Процесс тестирования. Измерение и оценка