|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
Априорное распределение параметров в задачах выбора моделей глубокого обучениядиссертация
- Научный руководитель: Стрижов Вадим Викторович
- Автор: Грабовой Андрей Валериевич
- Дата защиты: 21 апреля 2022 года в 14:00
- Шифр диссертационного совета: Д 002.073.05
- Организация: ФИЦ ИУ РАН
- Область знаний: Физика и математика
- Специальность: 05.13.17 - Теоретические основы информатики
- Тип диссертации: Кандидатская
- Ведущая организация: Московский государственный университет имени М.В.Ломоносова
- Организация, в которой выполнялась работа: Московский физико-технический институт
- Оппоненты: Кузнецов Сергей Олегович, Панов Максим Евгеньевич
-
Аннотация:
Работа посвящена выбору моделей глубокого обучения. Рассматриваются методы снижения пространства параметров моделей на основе дистилляции. Предлагается обобщение классической дистилляции используя выравнивания вероятностных пространств параметров модели учителя и ученика. Для снижения размерности пространства параметров используется информация об их априорном и апостериорном распределениях. Разобраны частные случае, когда учитель и ученика являются полносвязными и рекурентными нейросетевыми моделями.
- Добавил в систему: Грабовой Андрей Валериевич