Калькулятор скорости обучения
Рассчитайте итоговую скорость обучения после применения расписания: пошагового, экспоненциального или косинусного. Планируйте гиперпараметры для нейронных сетей.
Как использовать калькулятор скорости обучения
- Введите начальную скорость обучения.
- Введите количество эпох обучения.
- Выберите тип убывания.
- Нажмите «Рассчитать».
Примеры использования
- •Планирование расписаний гиперпараметров для обучения.
- •Сравнение стратегий убывания по скорости сходимости.
- •Документирование конфигураций обучения в ML-экспериментах.
- •Обучение концепциям оптимизации нейросетей.
Формула
Step: lr = lr0 × 0,1^floor(epoch/30). Exp: lr = lr0 × e^(−λ×t). Cosine: lr = lr0 × 0,5 × (1 + cos(π×t/T)).
Часто задаваемые вопросы
Что такое расписание скорости обучения?
Расписание постепенно уменьшает скорость обучения, помогая модели сойтись к лучшему минимуму.
Какое расписание выбрать?
Cosine annealing популярно в глубоком обучении. Экспоненциальный — простой и эффективный. Пошаговый — удобен для настройки.
Какова типичная начальная скорость обучения?
Обычно от 0,0001 до 0,01 в зависимости от оптимизатора и архитектуры.