| Название исследуемой задачи | Методы предобуславливания с затуханием весов |
| Тип научной работы | Диплом Бакалавра |
| Автор | Крейнин Матвей Вадимович |
| Научный руководитель | к.ф.-м.н. Безносиков Александр Николаевич |
Исследуется задача минимизации целевой функции потерь. Рассматривается проблема оптимизации целевой функции потерь градиентными методами первого порядка. Исследуется сходимость методов градиентной оптимизации с предобуславливанием, использующих регуляризацию с затуханием весов. Специально рассматриваются популярные методы оптимизации из данного класса методов такие как AdamW и OASIS. Исследуются различные альтернативы этим методам с целью изучения их скорости сходимости и точности, показываемой моделью. Предлагается новый способ добавления регуляризации в метод оптимизации Adam. Доказывается теорема о скорости сходимости данных методов при различных допущениях на функцию потерь и показывается сходимость к исходной функции потерь. Проводятся вычислителньые эксперименты с различными эталонными наборами данных, моделями и проводится анализ гиперпараметров, чтобы сравнить их на реальных задачах.
git cloneэтого рипозитория.- Создать окружение
condaи активировать его - Сделать
pip install -r requirements.txt