Об изменении размерности векторного представления текстовых данныхстатья

Статья опубликована в журнале из списка RSCI Web of Science
Статья опубликована в журнале из перечня ВАК
Дата последнего поиска статьи во внешних источниках: 24 января 2020 г.

Работа с статьей


[1] Шундеев А. С. Об изменении размерности векторного представления текстовых данных // Программная инженерия. — 2019. — Т. 10, № 6. — С. 265–273. В настоящее время интеллектуальный анализ данных является основой для построения широкого спектра прикладных информационных систем. Современным и бурно развивающимся подходом в области анализа текстовых данных является использование векторных представлений слов и текстов. Векторные представления изначально применяли для решения задач определения смысловой близости слов и поиска аналогий, однако они оказались востребованными также и в области решения задачи классификации текстов. Применительно к этой задаче векторные представления рассматриваются в настоящей работе. Предложен подход к построению векторных представлений текстов, базирующийся на трансформации согласованных с ними векторных представлений слов. Подобные трансформации подразумевают изменение исходной модели и размерности векторного представления и реализуются в виде решения задачи восстановления многомерной регрессии. Проведенные над тестовыми наборами данных эксперименты позволяют сделать следующие выводы. Построенные с помощью трансформаций векторные представления документов могут иметь меньшую размерность. При этом их использование в решении задачи классификации текстов в большинстве случаев дает более точный результат, чем при использовании исходных векторных представлений. [ DOI ]

Публикация в формате сохранить в файл сохранить в файл сохранить в файл сохранить в файл сохранить в файл сохранить в файл скрыть