Название исследуемой задачи	Методы предобуславливания с затуханием весов
Тип научной работы	Диплом Бакалавра
Автор	Крейнин Матвей Вадимович
Научный руководитель	к.ф.-м.н. Безносиков Александр Николаевич

Аннотация

Исследуется задача минимизации целевой функции потерь. Рассматривается проблема оптимизации целевой функции потерь градиентными методами первого порядка. Исследуется сходимость методов градиентной оптимизации с предобуславливанием, использующих регуляризацию с затуханием весов. Специально рассматриваются популярные методы оптимизации из данного класса методов такие как AdamW и OASIS. Исследуются различные альтернативы этим методам с целью изучения их скорости сходимости и точности, показываемой моделью. Предлагается новый способ добавления регуляризации в метод оптимизации Adam. Доказывается теорема о скорости сходимости данных методов при различных допущениях на функцию потерь и показывается сходимость к исходной функции потерь. Проводятся вычислителньые эксперименты с различными эталонными наборами данных, моделями и проводится анализ гиперпараметров, чтобы сравнить их на реальных задачах.

Установка

1. git clone этого рипозитория.
2. Создать окружение conda и активировать его
3. Сделать pip install -r requirements.txt