ИСТИНА

Данное сообщение представляет собой краткий обзор работ лаборатории нейроэр-гономики и интерфейсов мозг-компьютер НИЦ «Курчатовский институт», имеющих нейрореабилитационную направленность. Эти работы посвящены разработке новых ги-бридных интерфейсов, обеспечивающих возможность коммуникации и управления тех-ническими устройствами без помощи телесных движений – интерфейсов глаз – мозг – компьютер (ИГМК). В ИГМК объединяются две технологии – интерфейс мозг – компьютер (ИМК) и управление с помощью взгляда на основе айтрекинга (видеоокулографии). Сами по себе такие технологии имеют ряд недостатков: неинвазивные ИМК работают медленно и не-точно, инвазивные ИМК требуют вживления электродов в мозг, а области применения айтрекинговых технологий ограничиваются «проблемой прикосновения Мидаса». Эта проблема связана с невозможностью избежать спонтанных срабатываний интерфейса вследствие неконтролируемых перемещений и фиксаций взгляда, неотличимых от тех, которые пользователь использует для управления. Традиционные подходы к решению проблемы прикосновения Мидаса делают айтрекинговое управление в большинстве его приложений медленным и неудобным (Velichkovsky et al., 1997). В некоторых ситуациях повысить надежность взаимодействия, вероятно, поможет разработанная в нашей лабора-тории методика айтрекингового управления робототехникой на основе метафоры «сов-местного внимания» (Федорова и др., 2014). Однако ИГМК потенциально способен дать более универсальные решения, основанные на ЭЭГ-маркерах управления, распознавае-мых в онлайн-режиме с помощью ИМК-технологии. ИГМК появились в мире лишь в по-следние годы, но расширения возможностей управления с его помощью в других лабора-ториях не удавалось достичь из-за слишком механистического сопряжения существую-щих технологий. В нашей лаборатории разработка высокоэффективных ИГМК ведется, в первую очередь, на основе принципа «пассивных ИМК». Такие ИМК не требуют от пользователя выполнения специальных мысленных действий: они определяют, когда и какую команду следует отдать, путем анализа ЭЭГ и учета контекста текущей деятельности (Zander, Ko-the, 2011). Возможность отличать управляющие фиксации взгляда от спонтанных с по-мощью пассивного ИМК, анализирующего единичные короткие отрезки ЭЭГ (150..400 мс относительно начала фиксации) показана в нашем недавнем исследовании, в котором ЭЭГ регистрировалась на фоне айтрекингового управления игровой компьютерной про-граммой (Shishkin et al., 2015). Перспективным приложением этой методики может стать особый вид тренинга внимания (Шишкин и др., на рецензировании). Другой тип ИГМК создается на основе ранее предложенной нами «одностимуль-ной» модификации (Shishkin et al., 2011) широко известного ИМК на основе волны Р300. «Одностимульный» ИМК уже продемонстрировал рекордные для асинхронных ИМК по-казатели скорости и точности срабатывания в онлайн-эксперименте (Шишкин и др., 2013 – статья; Fedorova et al., 2014), а добавление к нему детектора саккад в оффлайн-моделировании позволило еще больше ускорить подачу команды роботу-манипулятору – до 3,6 с при лишь одном ложном срабатывании за 10 минут (Fedorova et al., 2014). Разра-ботка «одностимульного» ИГМК продолжается с использованием нашей методики управления с помощью саккад в ответ на стимулы (Шишкин и др., 2013 – патент). Возможности ИГМК могут быть еще больше расширены, если удастся достичь про-рыва в методиках различения паттернов ЭЭГ. В связи с этим мы также ведем, совместно с А.Е. Осадчим (НИУ ВШЭ) и А.Г. Трофимовым (НИЯУ МИФИ), работу по разработке но-вых методов анализа связанной с событиями ЭЭГ. Основные направления этой работы – учет априорной информации (Мигалев и др., 2012) и выделение дополнительной инфор-мации из ЭЭГ с использованием представлений о роли бегущих волн в генерации потен-циалов, связанных с событиями (Alexander et al., 2012). Основными сферами применения разрабатываемых нами ИГМК, как и обычных ИМК, могут стать коммуникация, управление робототехникой и другой техникой, а так-же тренинг (в т.ч. восстановительный) когнитивных функций, прежде всего внимания. Работа поддержка грантом РНФ 14-28-00234 в части разработки основ пассивно-го фиксационного ИГМК и РФФИ 15-29-01344 офи_м в части развития методов класси-фикации паттернов ЭЭГ. Литература 1. Мигалев А.С., Шишкин С.Л., Осадчий А.Е., Николаев А.А., Ганин И.П., Пупышев А.А., Каплан А.Я. Попытка использования априорной информации о компонентах N1 и P300 для предобработки ЭЭГ в интерфейсе мозг-компьютер «на волне P300». XVI Меж-дународная конференция по нейрокибернетике. 2012; 2: 41-44. 2. Шишкин С.Л., Каплан А.Я., Величковский Б.М. Способ управления устройством с помощью глазных жестов в ответ на стимулы. Патент RU 2522848 (2013). 3. Шишкин С.Л., Свирин Е.П., Нуждин Ю.О., Федорова А.А., Трофимов А.Г., Сло-бодской-Плюснин Я.Ю., Васильевская А.М., Величковский Б.М. Учитесь ждать! Услов-но-негативная волна поможет отдавать команды взглядом? Когнитивная наука в Москве: новые исследования (Москва, 16 июня 2015 г.) (на рецензировании). 4. Шишкин С.Л., Федорова А.А., Нуждин Ю.О., Величковский Б.М. Управление ро-ботом с помощью взгляда: коммуникативная парадигма. Когнитивные исследования. Вып. 6. М.: МГППУ 2014; 105-127. 5. Шишкин С.Л., Федорова А.А., Нуждин Ю.О., Ганин И.П., Осадчий А.Е., Велич-ковский Б.Б., Каплан А.Я., Величковский Б.М. На пути к высокоскоростным интерфей-сам глаз-мозг-компьютер: сочетание «одностимульной» парадигмы и перевода взгляда. Вестник Московского университета. Серия 14: Психология. 2013; 4: 4-19. 6. Alexander D.M. Jurica P., Trengove C., Nikolaev A.R., Gepshtein S., Zvyagintsev M., Mathiak K., Schulze-Bonhage A., Ruescher J., Ball T., van Leeuwen C. Traveling waves and trial averaging: The nature of single-trial and averaged brain responses in large-scale cortical signals. Neuroimage. 2013; 73: 95-112. 7. Fedorova A.A., Shishkin S.L., Nuzhdin Y.O., Faskhiev M.N., Vasilyevskaya A.M., Os-sadtchi A.E., Kaplan A.Y., Velichkovsky B.M. A fast "single-stimulus" brain switch. 6th Int. Brain-Computer Interface Conf. (Sept. 16-19, 2014, Graz, Austria). Graz: 2014; article ID 052. 8. Fedorova A.A., Shishkin S.L., Nuzhdin Y.O., Velichkovsky B.M. Gaze based robot control: The communicative approach. 7th Int. IEEE EMBS Conf. on Neural Engineering (April 22-24 2015, Montpellier, France). 9. Shishkin S.L., Nikolaev A.A., Nuzhdin Y.O., Zhigalov A.Y., Ganin I.P., Kaplan A.Y. Calibration of the P300 BCI with the single-stimulus protocol. Proc. 5th Int. BCI Conf. 2011. (Sept. 22-24, 2011, Graz, Austria). Graz: 2011; 256-259. 10. Shishkin S.L., Nuzhdin Y.O., Svirin E.P., Fedorova A.A., Slobodskoy-Plusnin Y.Y., Trofimov A.G., Vasilyevskaia A.M., Velichkovsky B.M. Toward a fluent eye-brain-computer interface: EEG negativity marks visual fixations used to control a game. 7th Int. IEEE EMBS Conf. on Neural Engineering (April 22-24 2015, Montpellier, France). 11. Velichkovsky B., Sprenger A., Unema P. Towards gaze-mediated interaction: Collecting solutions of the “Midas touch problem”. INTERACT’97. Springer 1997; 509-516. 12. Zander T.O., Kothe C. Towards passive brain–computer interfaces: applying brain–computer interface technology to human–machine systems in general. Journal of Neural Engineering. 2011; 8 (2): 025005.