|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
ПСИХОФИЗИОЛОГИЧЕСКИЕ МЕХАНИЗМЫ ВОСПРИЯТИЯ И ВНУТРЕННЕГО ПРОГОВАРИВАНИЯ СЛОВ, ОБОЗНАЧАЮЩИХ ДЕЙСТВИЕ (НА ВЫБОРКЕ НОРМЫ).дипломная работа (Магистр)
- Научный руководитель: Вартанов А.В.
- Автор: Каманюк Анна Павловна
- Тип: Магистр
- Организация, в которой проходила защита: МГУ имени М.В. Ломоносова
- Год защиты: 2024
- Аннотация: Внутренняя речь является для человека одним из наиболее значимых когнитивных процессов. Однако до сих пор многие ее составляющие, в частности восприятие и мысленное проговаривание слов-действий, остаются малоизученными. Исследования механизмов внутренней речи расширяют возможности разработки интерфейса «мозг-компьютер» (ИМК). Одной из важных задач такой разработки является выявление параметров ЭЭГ, которые можно использовать для дифференциации слов, обозначающих действие, и которые произносятся во внутреннем плане. Таким образом, актуальность данного исследования обусловлена практической значимостью для усовершенствования технологий ИМК «мозг-компьютер» и разработки автоматических классификаторов для управления на основе сигналов ЭЭГ различными техническими устройствами. Цель данного исследования заключается в выявлении психофизиологических механизмов восприятия и внутреннего проговаривания слов, обозначающих действие. Объект: Процесс восприятия и внутреннего проговаривания слов, обозначающих действие. Предмет: Психофизиологические механизмы восприятия и внутреннего проговаривания слов, обозначающих действие. Общая гипотеза. При мысленном проговаривании слов-действий и представлении выполнения действия существуют определенные различия в амплитуде ССП, в частности, на латенции N140. Частная гипотеза: 1) Процессы внутреннего проговаривания слов, обозначающих действие, и представления выполнения соответствующих действий обеспечиваются участием одних и тех же зон мозга (включая ряд корковых и подкорковых структур). 2) Процессы восприятия и мысленного проговаривания и представления слов-действий обеспечиваются различными мозговыми механизмами и, соответственно, разными системами мозговых структур. Задачи: 1. Провести обзор и анализ научной литературы по темам: психологические и психофизиологические механизмы импрессивной и внутренней речи, психофизиологические исследования слов, обозначающих действие, и современные методы обработки и анализа данных ЭЭГ при помощи методов машинного и глубокого обучения. 2. Разработать экспериментальную процедуру для исследования активности мозговых структур, участвующих в процессе внутреннего проговаривания слов, обозначающих действие. 3. Провести ЭЭГ эксперимент с регистрацией ССП и методом ЭМГ для фиксации артикуляционных движений. 4. Провести обработку и анализ психофизиологических данных ЭЭГ при помощи метода локализации мозговой активности “Виртуально вживленный электрод” и релевантной модели машинного или глубокого обучения. 5. Построить классификатор для слов, обозначающих действие. 6. Сопоставить полученные данные с выводами предшествующих исследований. Проблема исследования: в настоящее время недостаточно данных для понимания мозговых механизмов восприятия и внутреннего проговаривания слов, обозначающих действие, и выделения параметров ЭЭГ, которые позволяют разработать модель машинного обучения с задачей классификации. Данная работа посвящена трем основным аспектам: - первый аспект относится к задаче выделения компонентов ВП во внутренней речи, отвечающих за мысленное проговаривание слов-действий; - второй аспект – задача локализации нейронного субстрата, обеспечивающего кодирование слов-действий во внутренней речи; - третий аспект посвящен задаче классификации слов-действий по данным ЭЭГ при помощи нейросетей. Получены статистически значимые различия ВП в амплитудных характеристиках при процессе внутреннего проговаривания и представления выполнения действия в компонентах ССП на латенции N140 в отведениях: (Cz, Fz, Pz, Fp1, Fp2, C3, C4, F3, F4, F7 и F8) и N400 (F8, F4, С4, Cz, Fz и Pz), где 95% доверительные интервалы графиков не пересекаются, что свидетельствует о значимых различиях. Обнаружены различия при восприятии и мысленном проговаривании слов-действий во всех отведениях кроме: O1, O2, P3 и Р4. При восприятии были выделены следующие компоненты ССП: P1(N300), P2(P350), P3(N500), а при проговаривании - P1(N140), P2(P200), P3(P300), P4(N400). Выявлены значимые различия в компонентах ССП между процессом восприятия и задачей проговаривания в структурах: Medula Oblongata, Mesencephalon, Ant. Cingulate BA32, G.Cingulate Med.24, Hipothalamus, Brainsterm, Thalamus L/R, Insula BA13 L/R, Hippocampus L/R, PHC2 L/R, Supramarg. g. BA40 L/R, Gl.Pallidus Med L/R, Angular G. BA39 L/R, Broka BA44 L/R, Wernice BA22 L/R, Parietal c. BA7 L, Mid.Fr.c.BA10 L, Amygdaloideum R, Dor.Med.Prefr.9 R, V4 L/R, Putamen L/R, правое полушарие мозжечка. Обнаружены значимые различия в компонентах ССП между процессом внутреннего проговаривания и мысленнного представления выполнения действия, в ряде корковых и подкорковых структур мозга: Brainsterm, Mesencephalon, Thalamus L, Amygdaloideum R, Hipothalamus R, Insula BA13 L, Caput n.Caudati L, G.Cingulate Med.24, Broka BA44 L, Orb.Fr.c.BA47 R, Dor. Med. Prefr. 9 R и Gl.Pallidus Med R, PHC2 R и L, Putamen R и V4 R. По графам связанности наиболее активными структурами при внутреннем проговаривании слов-действий являются зрительная область V4 и зона Брока в левом полушарии. При мысленном представлении выполнения действия после предъявления слова-действия наибольшую активность демонстрируют островковая доля и зона Брока в правом полушарии. Активными структурами, в обоих процессах, являются парагиппокампальная извилина, гиппокамп и средняя поясная извилина. Были построены и сравнены четыре типа классификаторов с использованием сверточных нейронных сетей (CNN): CNN, DRes-CNN, DWT+DResCNN и DWT+CNN. Результаты показывают, что классификатор DWT+DResCNN на 8 классов достиг наилучшей средней точности в 74% по всем испытуемым и запускам. Причем для классификации использовались предобработанные (пересчитанные для 53 структур мозга) ЭЭГ данные для спонтанно произносимых во внутреннем плане 8 словесных команд.
- Добавил в систему: Вартанов Александр Валентинович