Название исследуемой задачи:	Байесовская дистилляция моделей на базе трансформеров
Тип научной работы:	НИР
Автор:	Игнашин Игорь Николаевич
Научный руководитель:	к ф-м н, Грабовой Андрей Валериевич
Научный консультант(при наличии):

Abstract

В данной работе исследовано несколько способов дистилляции моделей на базе трансформеров, а также модели RNN. В качестве базовой модели для дистилляции взята модель RNN для задачи перевода текстов. Ожидается лучшая сходимость, лучшее качество у дистиллированной модели по сравнению с моделью той же структуры, но с параметрами инициализации из произвольного нормального распределения.

Code link

1. https://github.com/intsystems/Ignashin-BS-Thesis/blob/master/code/RNN_attention.ipynb

Research publications

Presentations at conferences on the topic of research

Software modules developed as part of the study

1. A python package mylib with all implementation here.
2. A code with all experiment visualisation here. Can use colab.