Название исследуемой задачи:	Понижение размерности пространства обучаемых параметров в задаче адаптации модели к домену
Тип научной работы:	НИР
Автор:	Ремизова Анна Вадимовна
Научный руководитель:	к.ф.-м.н. Грабовой Андрей Валериевич

Abstract

В данной работе исследуется способ уменьшения размерности пространства обучаемых параметров в задаче детектирования ai текстов(задача многоклассовой классификации). Для fine tuning использовалась модель RoBerta с LoRA адаптером. Было проведе- но несколько экспериментов, чтобы выяснить, является ли исполь- зование LoRA для аппроксимации матрицы весов эффективным с точки зрения времени, ресурсов или точности. Было показано, что при меньших ресурсах модель distilled RoBerta base с LoRA адапте- ром может получить те же показатели метрик для классификации текстов, написанных человеком, что и vanilla distilled RoBerta base на наборе данных с 4 классами.

Keywords: MachineLearning,AudioStyletransfer,SpeechStyletransfer,ImageStyle Transfer, Deep Convolutional NN, Gram Matrix, Linear Transformation

Research publications

Presentations at conferences on the topic of research

Software modules developed as part of the study

1. A python package mylib with all implementation here.
2. A code with all experiment visualisation here. Can use kaggle notebook.