Калькулятор нестабильных тестов
Рассчитайте долю нестабильных тестов и оцените потери времени CI/CD в месяц по статистике запусков. Количественно оцените стоимость нестабильных тестов в пайплайне.
Как использовать калькулятор нестабильных тестов
- Введите общее число запусков CI за период.
- Введите число нестабильных (недетерминированных) запусков.
- Введите общий размер набора тестов.
- Нажмите «Рассчитать», чтобы увидеть долю нестабильных тестов и потери времени CI.
Примеры использования
- •Количественная оценка стоимости нестабильных тестов для бизнеса.
- •Обоснование спринтов по устранению нестабильных тестов.
- •Установка SLA по доле нестабильных тестов для CI/CD.
- •Отслеживание улучшений по мере исправления тестов.
Формула
Доля нестабильных = нестабильные запуски / всего запусков × 100%. Потери CI = нестабильные × размер набора × 5 мин. / 60 / 30 часов/мес.
Часто задаваемые вопросы
Что такое нестабильный тест?
Нестабильный тест проходит и падает недетерминированно без изменений кода, нарушая стабильность CI/CD пайплайна.
Какая доля нестабильных тестов допустима?
Доля ниже 1% обычно приемлема. Выше 5% существенно снижает производительность разработчиков.
Как исправить нестабильные тесты?
Устраните проблемы с таймингом, добавьте ожидания, изолируйте состояние тестов, используйте детерминированные данные и исправьте асинхронные проблемы.