AI под капотом: как построить надёжные автотесты для недетерминированных систем
- SQADays / 38
-
40 мин
В этом докладе я покажу, как строить надёжные автотесты для недетерминированных AI-фич, какие инструменты и подходы для этого использовать и с какими ограничениями и челленджами придётся столкнуться на практике.
Мы обсудим:
• как автоматизировать недетерминированные флоу и какие техники помогают стабилизировать такие сценарии;
• ключевые принципы построения автотестов в системах с вариативным поведением;
• как проверять результат, когда фиксированные ожидания не работают (где достаточно ассертов, а где нужны eval-подходы);
• нюансы подбора тестовых данных для автотестов;
• особенности стоимости AI-автотестов: токены, инфраструктура, параллелизация и поддержка.
Доклад будет полезен для автоматизаторов и SDET, работающим с недетерменированными системами и стремящимся и сохранить контроль качества в условиях вариативности.