Методы управления формированием абстрагированной аннотации - дипломная работа | ИСТИНА – Интеллектуальная Система Тематического Исследования НАукометрических данных

Научный руководитель: Добров Б.В.
Автор: Чернышев Даниил Иванович
Тип: Магистр
Организация, в которой проходила защита: МГУ имени М.В. Ломоносова
Год защиты: 2021
Аннотация: В магистерской диссертации Д.И. Чернышева рассматривается задача формирования абстрагированных аннотаций, которые, в отличие от экстрагированных аннотаций, повторяющих фрагменты аннотируемого текста, должны излагать содержимое текста «своими словами». По сути, абстрагирование представляет собой композицию задач понимания и порождения нового текста на основе прочитанного. Актуальность задачи заключается в потенциальной возможности порождения «пересказа» нескольких текстов, изложения содержания с учетом различных дополнительных требований. Данная задача давно привлекала внимание исследователей, но только в последнее время, с появлением больших предобученных нейросетевых языковых моделей (типа BERT и GPT) стало возможно порождать достаточно связный текст, похожий на текст, написанный человеком. Однако, особенностью современных систем формирования абстрагированных аннотаций являются, так называемые, «галлюцинации» - артефакты методов генерации, которые «вставляют» в результирующий текст детали, которые отсутствовали в исходных текстах. Магистерская диссертация Д.И. Чернышева как раз посвящена исследованию подходов для уменьшения появления нейросетевых галлюцинаций в абстрагированных аннотациях. В работе проведено исследование трех известных методов снижения вероятности появления искажения смысла в аннотациях, предложен новый метод с использованием специальных метрик качества, прежде всего, метрики NEFO для контроля воспроизведения фактов в аннотации. Существенной проблемой применения методов машинного обучения при абстраги-рованном аннотировании является сложность организации оценивания результатов, так как требуется достаточно представительное обучающее множество. Данная проблема для случая новостных текстов решалась путем использования в качестве обучаемых примеров тексты качественного СМИ по той же теме. Другой проблемой является позволяемая самой постановкой задачи вариативность аннотации. Магистрантом было организовано тестирование с привлечением экспертов сервиса Яндекс.Толока, результаты которого коррелируют с монотонностью оценки качества аннотаций по предложенной метрике качества NEFO. Лучшие результаты по результатам тестирования показал подход на основе специальной очистки данных коллекции от фрагментов текста, оцениваемые как трудные для понимания нейросетевыми моделями.
Добавил в систему: Добров Борис Викторович

	ИСТИНА	Войти в систему Регистрация
	ИСТИНА ИНХС РАН
	Главная Поиск Статистика О проекте Помощь

ИСТИНА

ИСТИНА ИНХС РАН

Методы управления формированием абстрагированной аннотациидипломная работа (Магистр)

Прикрепленные файлы