ИСТИНА

Целью исследования является разработка нового поколения интерфейсов мозг-компьютер, которые бы могли обеспечить пользователей технологией подстройки к индивидуальными психофизиологическим особенностям для успешного встраивания технологий нейрокомпьютерных интерфейсов в систему нейрореабилитации. Конкретными задачами, на решение которых направлен проект, являются нейрофизиологическое исследование ЭЭГ-реакций внимания к внешним стимулам в контуре интерфейса мозг-компьютер, выявление ограничений существующих методик классификации сигнала, а также разработка подходов, учитывающих вариативность физиологических реакций внимания и индивидуальных особенностей восприятия, с целью оптимизации работы и облегчения освоения управления в технологии ИМК. Для реализации этих задач необходимо будет провести ряд комплексных исследований, направленных на выявление степени вариативности вызванных потенциалов в парадигме ИМК, влияния ряда факторов на вариативность (характеристики стимульной среды, наличие/отсутствие обратной связи, временной динамики и пр.) и изучение влияния этой вариативности на эффективность детекции реакций внимания пользователя, а также разработка подходов ее учета в алгоритмах ИМК. Также исследования будут включать изучение взаимодействия компонентов вызванных потенциалов при последовательном быстром предъявлении стимулов в условиях различных частотно-временных параметров стимульной среды, влияния временных параметров стимуляции на эффективность процессов внимания и восприятия по показателям вызванных потенциалов, а также изучение влияния указанных факторов на эффективность классификации стимулов-команд в ИМК.

This project is aimed at the development of highly efficient technologies of brain-computer interfaces (BCI), provided, in contrast to the existing BCI, with means of adaptation to the individual characteristics of attention and perception of users when working with the visual environment in this interface. This technology provides the opportunity of interacting with the environment through a fundamentally new channel bypassing the neuromuscular effector tract. The improvement of the reliability and ergonomics of the BCI system by optimizing the parameters of the stimulus environment on the one hand, and the modification of the classification algorithms of physiological reactions – on the other, are relevant problems in modern research of neurocomputer interfaces. Despite significant progress in improvement of the efficiency of brain-computer interfaces in both directions, there are still aspects of BCI research that have not been adequately developed. In particular, one of the common approaches to the implementation of BCI for selecting the control commands is based on the analysis of the brain's reactions to quickly presented external (usually visual) stimuli. The basic principle of such an interface includes the comparison of reactions to different command stimuli using special mathematical algorithms and determining the stimulus events that attract the attention of the user. Thus, the BCI technology uses the so-called evoked potential technique, which allows to distinguish reactions to certain external stimuli from the whole electroencephalogram (EEG). Therefore, the mentioned technology inherits all the features of the evoked potentials technique, which can constrain the obtaining of the maximal efficiency of the BCI. First, there is a neurophysiological effect of variability in the latency of attention reactions relative to the external stimuli onset. This fact is not considered in the classical theory of evoked potentials, which underlies the signal processing for EEG reactions classification and conversion into BCI commands. Meanwhile, it is known from the literature that various factors (the subject's current state, his experience with a specific psychophysiological task, the nature and complexity of the stimulus environment) lead to the fact that individual brain reactions naturally vary from one stimulus realization to another. These variations cause dramatic changes in the characteristics of the evoked brain potentials. For the development of highly effective BCI technologies that would take into account such variations in electrophysiological reactions of attention, it is extremely necessary, on the one hand, to identify the dependence of such variations on the parameters of the BCI stimulus environment in order to optimize it, on the other hand, to create effective algorithms for taking into account these features. which would allow BCI systems to more reliably recognize user commands by EEG responses. Secondly, the features of the stimuli presentation process in the considered brain-computer interface differ significantly from the classical technique of evoked potentials by the frequency-time parameters of stimuli. The principle of operation of the BCI and the needs of its potential users determine the necessity of multiple repetition of all stimuli with a high frequency. So, all relevant stimuli can not be processed by the brain with the same efficiency. Despite the accumulation of a certain amount of data for the selection of each command, this amount may not be enough to compensate these effects under certain stimulation parameters. Therefore, some BCI users cannot achieve the highest potential performance in accuracy or speed. Despite the various ways to optimize brain-computer interfaces proposed over the years, the developers of the BCI pay almost no attention to the above discussed aspects. The effects of evoked potential variability are known from neurophysiological studies outside the brain-computer interface technology. More importantly, the influence of the complexity of a psychophysiological task on the properties of the variability of the components of evoked potentials in healthy users is known, as well as the enhancement of the effects of variability in patients with impaired attention and other functions when performing specific tasks that require cognitive load. It is extremely logical to assume the role of the considered effects (hidden behind the term "attention disorders") as one of the leading reasons for the deterioration of the performance in BCI patients of various etiologies. However, there were no attempts to develop algorithms or at least to outline the directions of such development to optimize the functioning of neurocomputer interfaces based on the study of the described effects. This project is planned as a neurophysiological study of these, as well as other related effects of stimulus presentation in BCIs for the development of a new generation of neurointerfaces, which will fundamentally differ in the availability of means of individual adjustment of their algorithms to the individual psychophysiological characteristics of users. During the implementation of the project, neurophysiological features of the user's interaction with the BCI system will be identified, which will allow solving the existing problem of individual adaptation of this interface, and significantly increase the efficiency of its use, especially in a clinic.

Ожидаемым результатом научного исследования, проведенного в ходе реализации проекта, станет разработка нового типа ИМК-технологии, учитывающего индивидуальные особенности восприятия и внимания человека в контуре нейроинтерфейса, выявление эффектов влияния вариативности реакций внимания на результативность классификации команд в ИМК, получение новых данных о зависимости процессов восприятия внешних стимулов от частотных параметров стимульной среды интерфейса мозг-компьютер, а также разработка подходов к учету индивидуальных психофизиологических особенностей в алгоритмах классификации в ИМК. Также будут получены новые данные о влиянии особенностей стимульной среды ИМК и характера взаимодействия пользователя с ИМК на эффекты вариативности ЭЭГ-реакций в ответ на управляющие стимулы-команды. Кроме того, будут выявлены возможности восприятия человека при работе с максимально возможными скоростями предъявления стимулов в ИМК, что на основе индивидуальной подстройки позволит добиться оптимального режима взаимодействия с интерфейсом для каждого пользователя. Результаты проведенных исследований позволят разработать методики адаптивной подстройки параметров стимульной среды и алгоритма классификации под каждого пользователя, что и будет являться основой разрабатываемых ИМК-технологий нового типа.

Лаборатория нейрофизиологии и нейрокомпьютерных интерфейсов на биологическом факультете МГУ им. М.В.Ломоносова известна своими приоритетными исследованиями в области теоретических основ и практических реализации нейрокомпьютерных систем (см., например, обзор работ лаборатории – Каплан, 2016, doi: 10.1134/S0362119716010102). В лаборатории велись одни из первых в России разработок технологии ИМК начиная с рубежа 2000-2010 гг. Руководитель проекта участвует в научной деятельности лаборатории и разработках по тематике ИМК на протяжении 12 лет. К настоящему моменту научный коллектив лаборатории располагает всем необходимым оборудованием и компетенциями для реализации, изучения и развития всех основных и известных в мире типов нейрокомпьютерных интерфейсов. В рамках этих работ были получены первые патенты на системы ИМК в России и опубликованы многочисленные статьи в РФ и за рубежом. 1. Впервые были разработаны ИМК на волне Р300 с движущимися стимулами, которые создают динамически изменяющуюся зрительную среду. Результаты работы позволяют в перспективе размещать компоненты зрительной среды на движущихся объектах, к примеру, на мобильных роботах. 2. Впервые была детально исследованы особенности реакций человека при длительной работе в ИМК. 3. Впервые было изучено использование технологии ИМК-P300 постинсультными пациентами с афазиями в лонгитюдном исследовании. В нем было показано успешное освоение пациентами технологии и постепенное улучшение их показателей работы в ИМК на протяжении 10 сессий. 4. Исследованы особенности реакций внимания, возникающих в ответ на эмоционально окрашенные стимулы, что дает основания для разработки методов детекции неявных эмоциональных состояний, включенных в системы ИМК. 5. Зафиксирован приоритет на первый в мире нейроинтерфейсный комплекс, позволяющий пациентам с нарушением речи и движений в полной мере подключаться к социальным сетям, набирать, получать и отправлять тексты без использования двигательной активности.

В ходе выполнения проекта проведено нейрофизиологическое исследование особенностей функционирования мозга человека при взаимодействии с интерфейсом мозг-компьютер (ИМК), а именно изучение вариативности единичных реакций внимания к командным стимулам в ИМК и модификации на основе этого алгоритмов распознавания команд в интерфейсе, что в целом способствует повышению эффективности ИМК-систем за счет лучшей адаптации к индивидуальным особенностям пользователя. На первом этапе работы разрабатывалась и тестировалась методика оценки эффектов вариативности латентности компонентов ПСС (в первую очередь важных для этого интерфейса компонентов P300 и N1), которая предусматривала анализ единичных реакций на стимулы в ИМК. Разработка этой методики анализа ПСС, а также ее тестирование в алгоритмах классификации ИМК первоначально проводились с использованием имевшихся ЭЭГ-данных, полученных при работе пользователя в модификации ИМК-P300 с движущейся стимульной матрицей. Эффекты вариативности были выявлены как для стандартной стимульной среды, так и при различных типах и скоростях движения стимульной матрицы, и существенно влияли на форму получаемых ПСС. Учет этих эффектов за счет анализа единичных ЭЭГ-реакций позволил не только увеличить амплитуду компонентов ПСС, но и повысить точность классификации в среднем на 20% до уровня 92-95%. При этом наибольший уровень исходной вариативности (для компонента N1 ПСС) и прирост точности классификации при использовании алгоритма коррекции латентностей ПСС наблюдались в наиболее требовательном по ресурсам внимания режиме работы ИМК (с большей скоростью движения матрицы). По материалам этого этапа исследования была опубликована статья (Ганин, Каплан, 2022, doi: 10.24075/vrgmu.2022.033). Также в ходе работы на первом году выполнения проекта была разработана методика и исследование зависимости вариативности ПСС от комплексности стимульной среды ИМК и сложности выполняемого пользователем задания. Анализ единичных эпох ЭЭГ и методика учета (корректировки) латентности отдельных пиков привели к существенно лучшему выделению пиков ПСС и увеличению их амплитуд в усредненных ПСС, а также точности классификации команд в ИМК. Вариативность уменьшалась в случаях, когда инструкция предусматривала наличие активного внимания к целевым стимулам-командам, и увеличивалась в условиях затруднения возможности фиксации взгляд на целевом стимуле или при наличии в стимульной среде дополнительных отвлекающих элементов (дистракторов). Кроме того, было показано, что умеренная дополнительная когнитивная нагрузка способствовала лучшему фокусированию внимания и взгляда на целевой ячейке и приводила к стабилизации компонента N1 в этом случае. Целью работы на втором году выполнения проекта было, в первую очередь, модифицировать предложенную на первом этапе методику анализа вариативности ПСС для разработки более объективных методов изучения этого явления, а также создания эффективных алгоритмов классификации в ИМК. Предложенный нами алгоритм анализа и коррекции вариативности латентности ПСС включает применение метода выделения пространственных компонентов N1 и P300. Именно комплексный анализ сразу нескольких компонентов ПСС во всех используемых отведениях ЭЭГ позволяет наиболее объективно изучать вариативность ПСС и использовать эту информацию для модификации алгоритмов классификации ИМК. Предложенный нами метод позволил выявить ряд факторов, влияющих на свойства ПСС, возникающих при работе пользователя в интерфейсе. При этом были уточнены и более детально изучены некоторые эффекты, связанные с вариативностью, выявленные нами на первом году реализации проекта. В частности, связанные с положительным влиянием на ПСС и точность классификации в ИМК наличия активного внимания к стимулам, уменьшения влияния стимулов-дистракторов и наличия умеренной когнитивной нагрузки, а также отрицательный влиянием факторов, затрудняющих возможность пользователя фиксировать взгляд на целевых стимулах. Важно, что при этом была показана существенная роль именно явления уменьшения или увеличения вариативности единичных реакций мозга в указанных эффектах. Полученные результаты позволяют не только успешно использовать предложенный метод анализа вариативности ПСС в нейрофизиологических исследованиях, но и разрабатывать эффективные модификации стимульных сред для ИМК-P300, которые бы приводили к более стабильным реакциям внимания и, как следствие, повышению точности распознавания команд в нейроинтерфейсе. Практическое значение предложенного нами метода коррекции вариативности не в обычных отведениях ЭЭГ, а в выделенных пространственных компонентах N1 и P300, определяется тем, что этот метод обеспечил наиболее высокие результаты точности классификации. Прирост составил до 7% при использовании минимального числа повторов стимулов в ИМК, как по результатам нашей работы, так и при сравнении с работами других авторов, где также использовалось выделение компонентов ПСС (но без анализа и коррекции эффектов вариативности). Абсолютные средние значения точности классификации команд в нашей работе составили более 99% (при выборе команды чуть больше чем за 5 секунд) и 95-97% (выбор команды за 3,5 секунды всего при двух повторах предъявления стимулов). Все это подчеркивает ценность предложенного нами метода для режимов работы ИМК-P300, где требуется обеспечить наибольшую скорость выбора команд с получением быстрой обратной связи пользователем. Результаты этой части работы отражены в опубликованной нами статье (Ганин и соавт., 2023, doi: 10.24075/vrgmu.2023.013). Другой частью работы было изучение влияния временно-частотных параметров стимуляции в ИМК-P300 на особенности ПСС и результативность работы интерфейса для выяснения возможности адаптивной подстройки параметров под индивидуальных пользователей, а также изучение возможности использования минимальных межстимульных интервалов в ИМК-P300. В пилотном исследовании на первом году проекта была разработана и протестирована методика индивидуальной подстройки длительностей интервалов и изучения ПСС на стимулы, восприятие которых может осложняться следующими прямо перед ними другими стимулами. На втором году проекта на основе этой методики было проведено основное исследование с использованием 4 вариантов с межстимульных интервалов, где анализировали характеристики ПСС в зависимости от наличия/отсутствия близко расположенных предшествующих целевых стимулов, а также точность реальной (онлайн) и оффлайн-классификации в ИМК. Было показано, что компоненты ПСС в целевых эпохах могут испытывать влияние реакций в ответ на другие целевые стимулы, если те идут в непосредственной близости перед первыми. Подобный эффект может быть индивидуален и зависит от характеристик реакций внимания конкретного пользователя. Несмотря на то, что влияние различных межстимульных интервалов на точность классификации оказалось в среднем не таким существенным, наибольшие эффекты, как и в случае с вариативностью и другими результатами исследования, наблюдались при наименьшем числе повторов стимулов (то есть высокой скорости выбора команд в ИМК). Последнее говорит о важности адаптивной подстройки частотных параметров стимуляции именно в условиях, когда требуется обеспечить надежную работу интерфейса при коротком времени получения обратной связи пользователем. В целом эти результаты демонстрируют влияние интервалов (особенно коротких) на компоненты ПСС, а показанные эффекты подтверждают необходимость учета индивидуальных особенностей ПСС для адаптивной подстройки временных параметров стимуляции ИМК. В целом все полученные в проекте результаты полностью соответствуют заявленному плану работ. Основными результатами стала разработка эффективных методов оценки индивидуальных особенностей мозговых реакций пользователя ИМК-P300, выявление факторов, способствующих созданию более эффективных интерфейсов такого типа, а также разработка более совершенных алгоритмов классификации, что в совокупности создает основы для создания более эффективных систем нейроуправления.