Аннотация:Изучены существующие на данный момент методы визуализации и исследования
внутреннего функционирования нейронных сетей в задачах обработки текстов.
Разработаны три инструмента, позволяющие изучать и сравнивать различные
варианты векторизации предложений для задачи определения значения слова.
Разработан инструмент, визуализирующий веса внимания нейросетевой
архитектуры BERT при восстановлении ею скрытого слова.
Разработан инструмент, ранжирующий слои BERT по ряду метрик для
различных задач обработки текстов, и позволяющий выбрать слой, выходы на
котором лучше использовать в качестве признаков для другой нейросети.