Разработка нейросетевых методов обработки данных физического экспериментаНИР

Development of neural netrwork methods of data processing of physical experement

Источник финансирования НИР

госбюджет, раздел 0110 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2012 г.-31 декабря 2013 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа: 1. Разработка и совершенствование нейросетевых (НС) методов прогнозирования геомагнитных индексов Dst и Kp и вариаций потоков релятивистских электронов (РЭ). В 2013 году осуществлена разработка методик обучения и применения нейросетевых моделей, осуществляющих прогнозирование среднечасовых значений геомагнитного индекса Kp и потока РЭ внешнего радиационного пояса Земли на один час вперёд. Получена усовершенствованная нейросетевая модель для прогнозирования индекса Dst с более низкой погрешностью прогнозирования по сравнению с моделью 2012 г., и модели для прогнозирования индекса Kp и потока РЭ. Полученные модели используются для онлайн-прогнозирования на сайте Центра анализа космической погоды НИИЯФ МГУ (http://swx.sinp.msu.ru). 2. Исследование проблемы идентификации корональных дыр (КД) на изображениях Солнца при многоволновых наблюдениях. Области пониженной интенсивности на изображениях Солнца, автоматически выделяемые разработанным ранее пороговым алгоритмом, могут быть не только корональными дырами, но и каналами волокон, и областями пониженной интенсивности вокруг активных областей. Такие потемнения вокруг активных областей хорошо видны в линии 171Å (SDO/AIA) или 174Å (PROBA2/SWAP), при температурах от 0.5 до 1 МК. Для кластеризации и классификации различных объектов пониженной интенсивности были проанализированы данные о магнитном поле в основании областей пониженной интенсивности. Использовались деревья решений и нейронные сети Кохонена. Было выявлено, что небольшие обособленные низкоширотные КД невозможно различить по параметрам фотосферного магнитного поля с «темных областей» вокруг активных областей. Обнаруженное сходство может говорить о том, что данные области могут являться источниками медленного солнечного ветра со схожими характеристиками. 3. Разработка и совершенствование НС методов решения обратных задач (ОЗ) высокой размерности. Проведён сравнительный анализ различных подходов к определению параметров при НС решении ОЗ высокой размерности: автономного, группового, поэтапного и их комбинаций. Показано, что наиболее эффективным является групповое определение параметров. 4. Разработка и совершенствование НС методов решения ОЗ обнаружения, идентификации и определения парциальных концентраций веществ по их спектрам. Проведён сравнительный анализ различных способов понижения размерности входных данных, путём отбора наиболее существенных входных признаков, путём конструирования новых, а также путём отбора наиболее существенных признаков среди сконструированных. Показано, что наиболее эффективным способом является неравномерная агрегация исходного набора каналов. 5. Разработка методики использования НС методов кластеризации для идентификации компонентного состава растворов. С помощью НС Кохонена была проведена кластеризация специально подготовленного массива данных, представляющих собой спектры комбинационного рассеяния света многокомпонентных растворов, в которых могли присутствовать от 1 до 5 неорганических солей. Были получены разбиения с числом классов (кластеров) от 2 до 40. Начато проведение исследований по определению оптимальной методики кластеризации для данной задачи. 6. Использование НС алгоритмов для разработки флуоресцентных биосенсоров на основе наночастиц. В данной работе НС применялись для выделения флуоресцентного вклада наночастиц, используемых в биомедицине в качестве биомаркеров и носителей лекарств, на фоне флуоресцентного фона собственных флуорофоров биологических объектов. Показана принципиальная возможность решения этой задачи. Использованные архитектуры НС позволили обнаружить флуоресценцию углеродных точек на фоне собственной флуоресценции яичного белка с точностью не хуже чем 0.002 мг/мл.
2 1 января 2014 г.-31 декабря 2014 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа: 1) Разработка и совершенствование адаптивных методов прогнозирования геомагнитных индексов Dst и Kp и вариаций потоков релятивистских электронов (РЭ). В 2014 году разработаны новые и усовершенствованы существующие адаптивные методы прогнозирования среднечасовых значений геомагнитных индексов Dst и Kp и потока РЭ внешнего радиационного пояса Земли (РПЗ) на 1-4 часа вперёд, по данным о параметрах солнечного ветра (СВ), межпланетного магнитного поля (ММП) и о предыстории самих прогнозируемых величин, на основе нейронных сетей (НС). Показано, что при увеличении горизонта прогноза от 1 до 4 часов качество прогноза снижается не слишком существенно, что позволяет ставить вопрос об использовании этих моделей для онлайн-прогнозирования и о дальнейшем увеличении горизонта. Полученные модели используются для онлайн-прогнозирования на сайте Центра анализа космической погоды НИИЯФ МГУ (http://swx.sinp.msu.ru). 2) Разработка нейросетевых методов анализа состояний магнитосферы Земли. Путём кластеризации (с помощью НС Кохонена и алгоритма k-средних) осуществлена сегментация данных многомерных временных рядов (ВР), описывающих изменение состояния магнитосферы Земли. Работа проведена отдельно для двух массивов данных: а) Массив 1, предназначенный для прогнозирования индекса Dst и включающий ВР параметров СВ, параметров ММП и самого индекса Dst; б) Массив 2, предназначенный для прогнозирования потока РЭ (E>2 МэВ) и включающий дополнительно ВР индекса Kp и потока РЭ. Результаты сегментации проанализированы с физической точки зрения и показано, что выделяемые адаптивно типы сегментов (кластеры) могут быть соотнесены с физически различными состояниями магнитосферы Земли.
3 1 января 2015 г.-31 декабря 2015 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа:
4 1 января 2016 г.-31 декабря 2016 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа: 1) Горизонт прогнозирования геомагнитных индексов Dst и Kp и вариаций потоков релятивистских электронов (РЭ) внешнего радиационного пояса Земли (ВРПЗ) увеличен до 12 часов. Показано, что удовлетворительное качество прогноза сохраняется для геомагнитных индексов при горизонте до 6 часов включительно и для потоков РЭ до 12 часов включительно. Показано, что нейросетевое прогнозирование позволяет получить более высокую точность прогнозов по сравнению с методами ПЛС и МГУА (см.п.5). Показано, что одновременное прогнозирование с несколькими горизонтами прогноза с помощью одной нейронной сети позволяет повысить качество прогноза. На сайте НИИЯФ МГУ реализован усовершенствованный вариант онлайн-прогнозирования. 2) Повышено качество прогноза суточных флюенсов РЭ ВРПЗ с помощью понижения размерности входного пространства задачи путём выбора оптимальных способов формирования входных признаков. 3) Разработана методика оценки качества сегментации многомерного временного ряда (МВР) на основе физических и математических критериев. 4) Методика применена для оценки качества адаптивной сегментации с помощью нейронных сетей Кохонена МВР, описывающего состояние магнитосферы Земли, а также для оценки качества сегментации при решении 3 эталонных задач. 5) Продолжены работы по применению адаптивных методов, не основанных на нейронных сетях. Метод проекций на латентные структуры (ПЛС) как наиболее мощный и эффективный метод решения задач использовался при решении задач прогнозирования, оценки и обратных задач в качестве референсного метода, альтернативного нейросетевому. Метод многомерного разрешения кривых (МРК) использовался для решения задач анализа многокомпонентных смесей спектроскопическими методами. 6) Нейросетевые методы и метод ПЛС были применены при решении нескольких обратных задач спектроскопии - задачи анализа состава многокомпонентных растворов неорганических солей, задачи определения концентраций азотистых оснований в растворах для повышения устойчивости ДНК-вычислений и задачи определения типов и концентраций наночастиц в урине человека с целью мониторинга их выведения из организма при их использовании для адресной доставки лекарств.
5 1 января 2017 г.-31 декабря 2017 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа: 1. Проведено сравнение качества прогнозирования максимального за сутки среднечасового потока электронов внешнего радиационного пояса Земли на геостационарной орбите различными адаптивными методами – с помощью многомерной авторегрессионной модели, искусственных нейронных сетей (ИНС) архитектуры многослойный персептрон и комитетов деревьев решений в рамках bagging-подхода. В качестве исходных параметров были использованы среднечасовые значения геомагнитных индексов Dst, АЕ и Kp, Bz-компоненты ММП, Vх-компоненты скорости СВ, плотности протонов из базы данных OmniWeb, а также потока релятивистских электронов с энергией > 2 МэВ, измеренные на КА серии GOES, за период с 1992 по 2002 г. (данные CDAWeb). Показано, что несколько лучший результат даёт использование деревьев решений. Дополнительно улучшить качество прогноза позволяет учёт значений УНЧ (ULF)-индекса, который является одним из существенных параметров, характеризующих взаимодействие «волна-частица», ответственное за ускорение и рассеяние электронов ВРПЗ. [А.О.Ефиторов, И.Н.Мягкова, С.А.Доленко. Сравнение качества прогнозирования максимального за сутки среднечасового потока электронов внешнего радиационного пояса Земли на геостационарной орбите различными адаптивными методами. 12-я ежегодная конференция «Физика плазмы в Солнечной системе», 6-10 февраля 2017 г., ИКИ РАН. Сборник тезисов докладов, с.136.] 2. При прогнозировании суточных интегральных потоков (флуенсов) релятивистских электронов с энергией > 2 МэВ на геостационарной орбите с помощью ИНС были использованы три новых приёма. Во-первых, был совершен переход от прогнозирования по календарным суткам к прогнозированию на 1-4 суток вперёд от текущего часа. Во-вторых, определение оптимальной глубины погружения временного ряда было проделано отдельно для каждой физической входной переменной. В-третьих, помимо исторических данных с разрешением в сутки, на вход ИНС подавались данные за последние сутки с часовым разрешением. Применение описанных приёмов позволило повысить качество прогнозирования. [Н.С.Сентемова, С.А.Доленко, И.Н.Мягкова. Нейросетевое прогнозирование интегральных суточных потоков релятивистских электронов на геостационарной орбите. XV Всероссийская научная конференция "Нейрокомпьютеры и их применение". Тезисы докладов. М., МГППУ, 2017, с.221-223.] Отдельно исследовался вопрос об оптимальном выборе способа погружения многомерного временного ряда, и было показано, что отбор существенных задержек для каждого временного ряда с применением кросс-корреляции является более эффективным, чем «прямоугольное» (одинаковое для всех физических переменных) погружение даже при условии выбора оптимальной глубины погружения. [R.Batusov, S.Dolenko, I.Myagkova. Neural Network Prediction of Daily Relativistic Electrons Fluence in the Outer Radiation Belt of the Earth: Selection of Delay Embedding Method. Procedia Computer Science, 2018, accepted.] 3. При прогнозировании часовых значений геомагнитного индекса Dst было произведено сравнение трёх способов представления входных данных: а) исходные значения входных признаков, перенормированные в диапазон [0,1]; б) разности между погружёнными и непогружёнными среднечасовыми значениями параметров, имеющими распределение, близкое к нормальному; в) исходные данные, приведённые к нормальному распределению биективным нелинейным преобразованием. Показано, что все нейросетевые модели работают лучше тривиальных, а преобразования входных данных позволяют повысить качество прогноза. [В.Р.Широкий, И.Н.Мягкова, С.А.Доленко. Сравнение методов нормализации входных признаков в задаче нейросетевого прогнозирования уровня геомагнитных возмущений. XV Всероссийская научная конференция "Нейрокомпьютеры и их применение". Тезисы докладов. М., МГППУ, 2017, с.223-224.] 4. На протяжении нескольких последних лет в лаборатории велись исследования по изучению эффективности группового определения значений нескольких выходных признаков при нейросетевом решении задач с несколькими выходами. В отчётном году эффект был подтвержден при решении задачи прогнозирования суточных интегральных потоков (флюенсов) релятивистских электронов на геостационарной орбите. Показано, что при осуществлении прогнозирования одновременно с несколькими горизонтами прогнозирования с помощью одной ИНС с несколькими выходами качество прогноза может быть улучшено по сравнению с автономным прогнозированием для каждого горизонта по отдельности. [I.Myagkova, S.Dolenko. Confirmation of the Effect of Simultaneous Time Series Prediction with Multiple Horizons at the Example of Electron Daily Fluence in Near-Earth Space. A.Lintas et al. (Eds.): ICANN-2017, Part II, Lecture Notes in Computer Science, V.10614, pp.774-775. DOI 10.1007/978-3-319-68612-7.] 5. В отчётном году были впервые проведены работы по прогнозированию суточных значений геомагнитных индексов (минимального за сутки часового значения индекса Dst, максимального за сутки трёхчасового значения индекса Kp, а также значения индекса Ap. Было показано, что качество прогнозирования перечисленных величин существенно ниже, чем качество прогнозирования часовых значений геомагнитных индексов или суточных потоков электронов на геостационарной орбите, причём это связано с физикой исследуемых явлений. [I.Myagkova, V.Shiroky, S.Dolenko. Prediction of geomagnetic indexes with the help of artificial neural networks. E3S Web of Conferences, 2017, v.20, article 02011. DOI: 10.1051/e3sconf/20172002011.] 6. В отчётном году были продолжены исследования нейросетевых методов решения многопараметрических обратных задач. Было показано, что независимо от конкретного типа решаемой задачи одним из эффективных приёмов повышения качества ее решения и устойчивости этого решения к шумам разнообразной природы является добавление шума к примерам обучающей выборки при обучении ИНС. При этом максимальный эффект достигается, если тип, характеристики и уровень шума при обучении соответствуют тем, которыми характеризуются независимые данные при применении обученной ИНС. 7. Были проведены исследования по использованию нейросетевых методов кластеризации и классификации данных при решении задачи мониторинга выведения тераностических флуоресцентных нанокомпозитов из организма по спектрам комбинационного рассеяния света. Была показана эффективность применяемых методов обработки данных, а также продемонстрирована необходимость увеличения применяемой обучающей выборки для обеспечения устойчивости нейросетевого решения задачи. 8. Были проведены исследования по использованию фазовой вейвлет когерентности при обработке данных электроэнцефалограмм (ЭЭГ), в том числе с использованием вычислений на графических процессорах (GPU). Продемонстрирована высокая эффективность вейвлет-преобразования и расчетов фазовой вейвлет-когерентности для извлечения релевантной информации из ЭЭГ, характеризующихся высоким уровнем шумов, спектрально перекрывающихся с сигналом. 9. Была продемонстрирована высокая эффективность и помехоустойчивость нейросетевых методов при обработке сигналов полупроводниковых детекторов, работающих в динамическом температурном режиме, при определении низких концентраций газов CO, H2 и их смеси в воздухе с целью ранней диагностики возгораний. Было сделано заключение о целесообразности продолжения работ в этом направлении, в том числе при решении других задач диагностики газов малых концентраций в воздухе для целей производственного и экологического контроля, контроля качества пищевой продукции, медицины и др.
6 1 января 2018 г.-31 декабря 2018 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа: 1. В отчётном году рассматривалось вейвлет-преобразование как способ предобработки данных с целью понижения размерности и извлечения существенных признаков. Было показано, что для этого можно использовать как дискретное, так и непрерывное вейвлет-преобразование. Эффективность этих методов по сравнению друг с другом и с альтернативными методами извлечения признаков (анализ главных компонент, агрегация) зависит от конкретной решаемой задачи. [A.Еfitorov, S.Dolenkо, T.Dolеnko, K.Laptinskiy, and S.Burikоv. Usе of Adaptivе Mеthods to Solvе thе Invеrsе Problеm of Dеtеrmination of Composition of Multi-Componеnt Solutions. Optical Memory and Neural Networks (Information Optics), 2018, V.27, no.2, pp. 89-99. DOI: 10.3103/S1060992X18020042 С. А. Буриков, А. О. Ефиторов, Т. А. Доленко, В. Р. Широкий, С. А. Доленко. Решение обратных задач спектроскопии комбинационного рассеяния водных растворов солей с применением вейвлет-нейронных сетей. Сибирский физический журнал, 2018, т.13, №3, с.101-109. DOI: 10.25205/2541-9447-2018-13-3-101-109. С. А. Буриков, А. О. Ефиторов, Т. А. Доленко, В. Р. Широкий, С. А. Доленко. Решение обратных задач спектроскопии комбинационного рассеяния водных растворов солей с применением вейвлет-нейронных сетей. Сборник тезисов конференции "Комбинационное рассеяние - 90 лет исследований". НГУ, 2018, с.108. С. А. Буриков, А. О. Ефиторов, Т. А. Доленко, В. Р. Широкий, С. А. Доленко. Решение обратных задач спектроскопии комбинационного рассеяния водных растворов солей с применением вейвлет-нейронных сетей. Всероссийская конференция с международным участием "Комбинационное рассеяние - 90 лет исследований". НГУ, 28 мая – 1 июня 2018 г. Стендовый доклад, 28 мая 2018 г., докладчик Буриков С.А.] 2. Рассматривались вейвлет нейронные сети (ВНС) как альтернатива традиционным многослойным персептронам, на примере решения обратных задач оптической спектроскопии. Показано, что обучение ВНС представляет собой существенно более сложную задачу, чем обучение многослойного персептрона, из-за того, что подбираемые параметры неоднородны и имеют разную природу. В этой ситуации выбор оптимальной стратегии обучения ВНС оказывается весьма важным. [А.О.Ефиторов, С.А.Доленко, Т.А.Доленко, С.А.Буриков. Выбор оптимальной стратегии обучения вейвлет-нейронной сети на примере обратной задачи лазерной спектроскопии. XVI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. М: МГППУ, 2018, с.347-348.] 3. Реализовано программное решение на языке Python для работы с многомерными временными рядами, позволяющее осуществлять погружение временного ряда, отбор существенных входных признаков, обучение и применение нейронных сетей, с учётом специфики решаемой задачи. 4. В отчетном году были продолжены работы по исследованию способов отбора оптимальных входных признаков при нейросетевом прогнозировании потоков заряженных частиц на околоземной орбите. Показано, что оптимизация состава входных признаков позволяет улучшить качество прогноза. [Р.И.Батусов, С.А.Доленко, И.Н.Мягкова. Исследование способов отбора входных признаков при нейросетевом прогнозировании потока релятивистских электронов внешнего радиационного пояса Земли. XVI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. М: МГППУ, 2018, с.346-347. Р.И.Батусов, С.А.Доленко, И.Н.Мягкова. Исследование способов отбора входных признаков при нейросетевом прогнозировании потока релятивистских электронов внешнего радиационного пояса Земли. XVI Всероссийская научная конференция «Нейрокомпьютеры и их применение». МГППУ, Москва, 13 марта 2018 г. Устный доклад, докладчик Батусов Р.И.] 5. На сайте Центра космической погоды НИИЯФ МГУ реализованы новые версии онлайн-прогнозов: Dst индекса на один час вперёд (http://swx.sinp.msu.ru/models/dst.php) и суточных флюенсов релятивистских электронов внешнего радиационного пояса Земли на геостационарной орбите на 1 сутки вперёд (http://swx.sinp.msu.ru/models/dst.php). Для прогнозирования использованы методы машинного обучения – искусственные нейронные сети типа персептрон и алгоритм eXtreme Gradient Boosting (XGB), основанный на деревьях решений. Ведутся работы по увеличению горизонта прогноза. В прогнозе суточных флюенсов учтена динамика изменения среднечасовых значений входных переменных задачи за последние сутки. 6. Был разработан алгоритм классифкации единичных проб электроэнцефалограмм (ЭЭГ) процесса решения задач с преобладанием ментального и сенсорного внимания. В качестве примеров для классификатора используется вейвлет спектральная плотность мощности, рассчитанная на каждом отведении ЭЭГ для каждого одиночного испытания. Для понижения размерности спектральных данных используются сверточные автоэнкодеры. Векторы малой размерности, полученные в результате применения автоэнкодера использовались в качестве входных данных для классификатора — нейронной сети архитектуры многослойный персептрон. Усреденная по людям точность классификации составила 83.4%, стандартное отклонение 6.6%. Таким образом, данный подход потенциально может использоваться для построения интерфейсных систем Мозг-Компьютер. [I.Knyaseva, A.Efitorov, Yu.Boytsova, S.Danko, V.Shiroky, N.Makarenko. Single Trial EEG Classification of Tasks with Dominance of Mental and Sensory Attention with Deep Learning Approach. In: B.Kryzhanovsky et al.(Eds.): Neuroinformatics 2018. Studies in Computational Intelligence, 2019, V.799, pp.190-195. DOI: 10.1007/978-3-030-01328-8_21) И.Князева, А.Ефиторов, Ю.Бойцова, С.Данько, В.Широкий, Н.Макаренко. Классификация единичных проб ЭЭГ процесса решения задач с преобладанием ментального и сенсорного внимания с помощью подходов глубокого обучения. XX международная научно-техническая конференция "Нейроинформатика-2018", Москва, 8-12 октября 2018 г. Устный доклад, 9 октября 2018 г., докладчик Широкий В.Р.] 7. Исследована проблема коррекции движения в данных функциональной магнитно-резонансной томографии (фМРТ) с помощью различных методов, реализованных в стандартных пакетах обработки: SPM, AFNI, BROCCOLI. Рассмотрение велось для случаев нелинейных и частичных сдвигов и вращений слоев (слайсов, slices) фМРТ снимков. Разработаны рекомендации по использованию тех или иных методов в различных случаях. [A.Efitorov, V.Orlov, V.Ushakov, V.Shirokiy, S.Dolenko. Comparison of nonlinear methods of motion correction in fMRI data. Postproceedings of the 9th Annual International Conference on Biologically Inspired Cognitive Architectures, BICA 2018 (Ninth Annual Meeting of the BICA Society). Procedia Computer Science, 2018, V.145, p.188-192. DOI: 10.1016/j.procs.2018.11.038. Efitorov A., Orlov V.A., Ushakov V., Shirokiy V., Dolenko S. Comparison of nonlinear methods of motion correction in fMRI data. 9th Annual International Conference on Biologically Inspired Cognitive Architectures, BICA 2018 (Ninth Annual Meeting of the BICA Society). Чехия, Прага, 22-25 августа 2018 г. Устный доклад, 23 августа 2018 г., докладчик Широкий В.Р.] 8. Для определения различных когнитивных паттернов рассматривались последовательности действий человека в игре с так называемыми коллаборативными роботами (коботами). Для победы игроку необходимо кооперироваться с одним из коботов. Каждый из коботов в процессе игры может кооперироваться с человеком или нет, заставляя его менять стратегию поведения. Рассматривались изменения паттернов поведения человека в разных раундах игры и внутри каждого раунда. Для этого использовались анализ событий во временных рядах и анализ ассоциативных правил. Были обнаружены несколько стабильных паттернов активности, которые сравнивались с информацией в опросах участников после игры. [V.Shirokii, R.Batusov, A.Chubarov, S.Dolenko, A.Samsonovich. Patterns of Cognitive Activity in a Human vs Collaborative Robot Interactive Game. Postproceedings of the 9th Annual International Conference on Biologically Inspired Cognitive Architectures, BICA 2018 (Ninth Annual Meeting of the BICA Society). Procedia Computer Science, 2018, V.145, p.495-499. DOI: 10.1016/j.procs.2018.11.112. V.Shirokii, R.Batusov, A.Chubarov, S.Dolenko, A.Samsonovich. Patterns of Cognitive Activity in a Human vs Collaborative Robot Interactive Game. 9th Annual International Conference on Biologically Inspired Cognitive Architectures, BICA 2018 (Ninth Annual Meeting of the BICA Society). Чехия, Прага, 22-25 августа 2018 г. Устный доклад, 23 августа 2018 г., докладчик Широкий В.Р. 9. В отчётном году проводились доработки алгоритма адаптивного построения иерархических нейросетевых классификаторов (ИНК) для его использования в режимах классификации и кластеризации; результаты его применения для решения модельных и реальных задач сравнивались с традиционными алгоритмами классификации и кластеризации. На данный момент алгоритм демонстрирует недостаточную стабильность решений; работа по его совершенствованию будет продолжена. 10. В отчётном году были продолжены работы по использованию нейросетевых методов кластеризации и классификации данных при решении задачи мониторинга выведения тераностических флуоресцентных нанокомпозитов из организма по спектрам комбинационного рассеяния света. Помимо многослойных персептронов, для решения задачи использовались вейвлет нейронные сети. Основной проблемой в данной задаче остается высокая вариабельность данных и возникающая из-за нее потребность в увеличении размеров обучающей выборки данных. [O.E.Sarmanova, S.A.Burikov, S.A.Dolenko, A.O.Efitorov, I.V.Isaev, K.A.Laptinskiy, N.Prabhakar, D.Sen Karaman, J.M.Rosenholm, T.A.Dolenko. Monitoring of the excretion of fluorescent nanocomposites out of the body using artificial neural networks. Proceedings of SPIE - The International Society for Optical Engineering, 2018, V.10679, p.1067904-1 - 1067904-14. DOI: 10.1117/12.2306474 T.Dolenko, A.Efitorov, O.Sarmanova, O.Kotova, I.Isaev, K.Laptinskiy, S.Dolenko, S.Burikov. Application of Wavelet Neural Networks for Monitoring of Extraction of Carbon Multi-Functional Medical Nano-Agents from the Body. Postproceedings of the 9th Annual International Conference on Biologically Inspired Cognitive Architectures, BICA 2018 (Ninth Annual Meeting of the BICA Society). Procedia Computer Science, 2018, V.145, p.177-183. DOI: 10.1016/j.procs.2018.11.036. К.А.Лаптинский, С.А.Буриков, С.А.Доленко, И.В.Исаев, Н.Прабхакар, Дж.М.Розенхольм, О.Э.Сарманова, Т.А.Доленко. Оптическая визуализация и контроль выведения тераностических флуоресцентных нанокомпозитов из организма с помощью искусственных нейронных сетей. IV Международная конференция и молодёжная школа "Информационные технологии и нанотехнологии (ИТНТ-2018)". Сборник трудов. Самара, 2018, с.2722-2730. O.E.Sarmanova, S.A.Burikov, S.A.Dolenko, A.O.Efitorov, I.V.Isaev, K.A.Laptinskiy, N.Prabhakar, D.Sen Karaman, J.M.Rosenholm, T.A.Dolenko. Monitoring of the excretion of fluorescent nanocomposites out of the body using artificial neural networks. SPIE Photonics Europe 2018, Страсбург, Франция, 22-26 апреля 2018. Устный доклад, докладчик Сарманова О.Э. К.А.Лаптинский, С.А.Буриков, С.А.Доленко, И.В.Исаев, Н.Прабхакар, Дж.М.Розенхольм, О.Э.Сарманова, Т.А.Доленко. Оптическая визуализация и контроль выведения тераностических флуоресцентных нанокомпозитов из организма с помощью искусственных нейронных сетей. IV Международная конференция и молодёжная школа «Информационные технологии и нанотехнологии» (ИТНТ-2018), Самара, 24-27 апреля 2018 г. Стендовый доклад, 27 апреля 2018 г., докладчик Исаев И.В. T.Dolenko, A.Efitorov, O.Sarmanova, O.Kotova, I.Isaev, K.Laptinskiy, S.Dolenko, S.Burikov. Application of Wavelet Neural Networks for Monitoring of Extraction of Carbon Multi-Functional Medical Nano-Agents from the Body. 9th Annual International Conference on Biologically Inspired Cognitive Architectures, BICA 2018 (Ninth Annual Meeting of the BICA Society). Чехия, Прага, 22-25 августа 2018 г. Стендовый доклад, 22 августа 2018 г., докладчик Доленко Т.А. 11. Методы машинного обучения – многоагентные методы оптимизации на основе генетических алгоритмов были использованы для разложения контура валентной полосы комбинационного рассеяния (КР) воды на составляющие. На основании динамики полученных разложений были сделаны физически значимые выводы относительно энергии водородных связей в водных суспензиях наноалмазов с различной функционализацией поверхности. Результаты опубликованы в высокорейтинговом журнале, входящем в первый квартиль по Web of Science. K.A.Laptinskiy, A.N.Bokarev, S.A.Dolenko, I.L.Plastun, O.E.Sarmanova, O.A.Shenderova, T.A.Dolenko. The energy of hydrogen bonds in aqueous suspensions of nanodiamonds with different surface functionalization. J.Raman Spectroscopy, 2018. DOI: 10.1002/jrs.5524 12. Были продолжены исследования влияния обучения с шумом на устойчивость нейросетевого решения разнообразных задач. Подтвержден наблюдавшийся ранее эффект – наиболее эффективным является добавление шума, природа и амплитуда которого аналогичны тем, с которыми приходится иметь дело натренированной сети. 13. Была подтверждена высокая эффективность и помехоустойчивость нейросетевых методов при обработке сигналов полупроводниковых детекторов, работающих в динамическом температурном режиме, при определении низких концентраций газов CO, H2 и их смеси в воздухе с целью ранней диагностики возгораний (результаты опубликованы в высокорейтинговом журнале, входящем в первый квартиль по Web of Science.), а также при определении сверхнизких концентраций НДМГ в атмосферном воздухе. V.Krivetskiy, A.Efitorov, A.Arkhipenko, S.Vladimirova, M.Rumyantseva, S.Dolenko, A.Gaskov. Selective detection of low concentrations of individual gases and CO/H2 mixture in air by single semiconductor metal oxide sensors working in dynamic temperature mode. Sensors and Actuators B: Chemical, 2018, V.254, pp.502-513. DOI 10.1016/j.snb.2017.07.100. Valeriy V. Krivetskiy, Alexander O. Efitorov. Reliable detection of UDMH in sub-ppb level in variable atmospheric conditions by temperature modulated FSP-made SnO2 and Ru/SnO2 nanocomposite based MOX sensors. 17th International Meeting on Chemical Sensors - IMCS 2018 2018-07-15 - 2018-07-19. Vienna, Austria. p.911-912. DOI: 10.5162/IMCS2018/P2AR.6. Ефиторов А.О., Кривецкий В.В.: Reliable detection of UDMH in sub-ppb level in variable atmospheric conditions by temperature modulated FSP-made SnO2 and Ru/SnO2 nanocomposite based MOX sensors. 17th International Meeting on Chemical Sensors - IMCS 2018, Вена, Австрия, 15-19 июля 2018. Стендовый доклад, докладчик А.О.Ефиторов.
7 1 января 2019 г.-31 декабря 2019 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа: 1. В отчётном году были продолжены работы по прогнозированию временных рядов в космической физике – значений геомагнитного индекса Dst и интегральных суточных потоков (флюенсов) релятивистских электронов внешнего радиационного пояса Земли (РЭ ВРПЗ) с энергиями > 2 МэВ на геостационарной орбите. В соответствии с Техническим заданием на 2019 год, горизонт нейросетевого прогнозирования суточных флюенсов РЭ ВРПЗ был увеличен до 3 суток, а горизонт нейросетевого прогнозирования часовых значений индекса Dst – до 4 часов. В 2020 году буду проведены работы по применению полученных прогнозирующих моделей для онлайн-прогнозирования на сайте swx.sinp.msu.ru. [- V.Kalegaev, M.Panasyuk, I.Myagkova, Yu.Shugay, N.Vlasova, W.Barinova, E.Beresneva, S.Bobrovnikov, V.Eremeev, S.Dolenko, I.Nazarkov, Minh D.Nguyen, A.Prost. Monitoring analysis and post-casting of the Earth’s particle radiation environment during February 14–March 5, 2014. J. of Space Weather and Space Climate, 2019, V.9, art.no.A29. DOI: 10.1051/swsc/2019029 - I.Myagkova, A.Efitorov, V.Shiroky, S.Dolenko. Quality of Prediction of Daily Relativistic Electrons Flux at Geostationary Orbit by Machine Learning Methods. In: Tetko I., Kurkova V., Karpov P., Theis F. (eds) Artificial Neural Networks and Machine Learning – ICANN 2019: Text and Time Series. Lecture Notes in Computer Science, 2019, V.11730, p.556-565. DOI: 10.1007/978-3-030-30490-4_45 - I.Myagkova, A.Efitorov, V.Shiroky, S.Dolenko. Quality of Prediction of Daily Relativistic Electrons Flux at Geostationary Orbit by Machine Learning Methods. 28th International Conference on Artificial Neural Networks (ICANN19), Германия, Мюнхен, 17-19 сентября 2019 г. Стендовый доклад, 18 сентября 2019 г., докладчик И.Н.Мягкова. - А.О.Ефиторов, В.Р.Широкий, И.Н.Мягкова, С.А.Доленко. Качество прогнозирования потока релятивистских электронов на геостационарной орбите с помощью методов машинного обучения. Математические методы распознавания образов: Тезисы докладов 19-й Всероссийской конференции с международным участием, Москва, 2019. М., Российская академия наук, 2019, с.332. (A.Efitorov, V.Shiroky, I.Myagkova, S.Dolenko. Quality of Prediction of Daily Relativistic Electrons Flux at Geostationary Orbit by Machine Learning Methods. Mathematical Methods for Pattern Recognition: Book of abstracts of the 19th Russian National Conference with International Participation, Moscow, 2019. Moscow, Russian Academy of Sciences, 2019, p.333.) - А.О.Ефиторов, В.Р.Широкий, И.Н.Мягкова, С.А.Доленко. Качество прогнозирования потока релятивистских электронов на геостационарной орбите с помощью методов машинного обучения. Математические методы распознавания образов: 19-я Всероссийская конференция с международным участием, Москва, 26-29 ноября 2019. Устный доклад, 29 ноября 2019 г., докладчик Широкий В.Р. - В.А.Колмогорова, С.А.Доленко, И.Н.Мягкова, Ю.С.Шугай, В.В.Калегаев. Формирование набора входных признаков при нейросетевом прогнозировании суточного потока релятивистских электронов внешнего радиационного пояса Земли. XVII Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. М: МГППУ, 2019, с.417-418. - В.А.Колмогорова, С.А.Доленко, И.Н.Мягкова, Ю.С.Шугай, В.В.Калегаев. Формирование набора входных признаков при нейросетевом прогнозировании суточного потока релятивистских электронов внешнего радиационного пояса Земли. XVII Всероссийская научная конференция «Нейрокомпьютеры и их применение». Москва, МГППУ, 19 марта 2019 г. Устный доклад, докладчик Колмогорова В.А.] 2. Помимо работ по увеличению горизонта и повышению качества прогноза индекса Dst и флюенсов РЭ ВРПЗ, в отчётном году было проведено тестирование вейвлет-нейронных сетей и нейронечётких систем как инструментов для решения указанных задач прогнозирования. Было показано, что оба исследованных типа нейросетевых алгоритмов в принципе способны решать указанные задачи прогнозирования с горизонтом и качеством прогнозов, сравнимым с получаемыми в результате использования ИНС типа МСП и алгоритма градиентного бустинга. Однако ввиду особенностей исследованных алгоритмов обучение ИНС этих типов происходит в пространствах с разнородными координатами и с более высокой размерностью, чем обучение МСП, и представляет собой существенно более сложную задачу с более низкой воспроизводимостью результатов, чем при использовании МСП. Работы в направлении исследования особенностей данных нейросетевых архитектур и совершенствования алгоритмов их обучения будут продолжены. [- А.О.Ефиторов, В.Р.Широкий, И.Н.Мягкова, С.А.Доленко. Применение нейронечётких систем для решения задачи прогнозирования потоков релятивистских электронов внешнего радиационного пояса Земли. XIV ежегодная конференция "Физика плазмы в Солнечной системе", 11-15 февраля 2019 г., ИКИ РАН. Тезисы докладов, с.234. - В.Р.Широкий, А.О.Ефиторов, И.Н.Мягкова, С.А.Доленко. Использование вейвлет-нейронных сетей для решения задачи краткосрочного прогнозирования геомагнитной активности. XIV ежегодная конференция "Физика плазмы в Солнечной системе", 11-15 февраля 2019 г., ИКИ РАН. Тезисы докладов, с.235. - В.Р.Широкий, А.О.Ефиторов, И.Н.Мягкова, С.А.Доленко. Использование вейвлет-нейронных сетей для решения задачи краткосрочного прогнозирования геомагнитной активности. XIV ежегодная конференция "Физика плазмы в Солнечной системе", 11-15 февраля 2019 г., Москва, ИКИ РАН. Устный доклад, 14 февраля 2019 г., докладчик Широкий В.Р.] 3. Были проведены первые исследования по использованию нейро-нечётких систем для решения обратных задач в области спектроскопии и разведочной геофизики. Было обнаружено, что при решении этих задач обучение нейро-нечётких систем сталкивается с теми же проблемами, описанными выше и возникающими при решении задач прогнозирования, а получаемые результаты на 15-20% хуже результатов МСП. При планируемом далее проведении работ по усовершенствованию алгоритмов обучения нейро-нечётких систем следует использовать данные указанных обратных задач для тестирования модифицированных алгоритмов и сравнения их с МСП по погрешности результатов решения, его вычислительной стоимости и воспроизводимости. 4. Были продолжены исследования по использованию вейвлет-нейронных сетей (ВНС) на примере решения обратных задач спектроскопии. Исследования проводились по следующим направлениям: а) Исследование и визуализация параметров ВНС; б) Проверка эффективности добавления шума при обучении ВНС как способа повышения устойчивости решения к шумам. Визуализация параметров ВНС позволила установить причины, по которым при обучении ВНС часто происходит «застревание» в локальном минимуме функционала ошибки, и наметить алгоритмические пути коррекции этого нежелательного эффекта. [- О.Д.Котова, А.О.Ефиторов, С.А.Доленко, Т.А.Доленко, С.А.Буриков. Исследование и визуализация параметров вейвлет нейронной сети. XVII Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. М: МГППУ, 2019, с.190-191. - О.Д.Котова, А.О.Ефиторов, С.А.Доленко, Т.А.Доленко, С.А.Буриков. Исследование и визуализация параметров вейвлет нейронной сети. XVII Всероссийская научная конференция «Нейрокомпьютеры и их применение», Москва, МГППУ, 19 марта 2019 г. Устный доклад, докладчик Котова О.Д.] Исследование устойчивости ВНС к шумам показало, что ВНС являются менее устойчивыми к шумам входных данных по сравнению с классическими МСП. При этом в обоих случаях добавление шума к данным в процессе обучения позволяет повысить устойчивость решения, однако при одном и том же уровне шума в тестовой выборке МСП-решение задачи оказывается лучше (более устойчивым к шуму), чем ВНС-решение. 5. В отчётном году было также предложено усовершенствование ВНС нового типа, предложенных сотрудниками ЛАМОД и защищённых патентом в конце 2017 года. Основная идея усовершенствования состоит в том, что в аппроксимации должны одновременно участвовать вейвлеты разных уровней, причём вейвлеты следующего уровня проверяются для областей сигнала, продемонстрировавших низкое качество решения задачи на предыдущем уровне. Усовершенствованный алгоритм был протестирован на обратной задаче определения концентраций 10 ионов в многокомпонентном растворе неорганических солей по спектрам комбинационного рассеяния света. Статистические показатели качества решения задачи с помощью ИНС типа МСП на полном массиве данных (2048 признаков) составили: средняя абсолютная ошибка (САО) 0.0908 М (моль/л), коэффициент множественной детерминации R2=0.721. Использование непрерывного вейвлет-преобразования для предобработки данных позволило улучшить результат до САО=0.0829 и R2=0.752 при 227 преобразованных признаках. Применение новой модификации ВНС позволило получить САО=0.0748 и R2=0.780 при размерности предобработанных данных, равной 205. Таким образом, была продемонстрирована перспективность предложенной модификации ВНС; её исследование планируется продолжить в 2020 году. [- А.О.Ефиторов, С.А.Доленко. Новый тип вейвлет-нейронных сетей. Математические методы распознавания образов: Тезисы докладов 19-й Всероссийской конференции с международным участием, Москва, 2019. М., Российская академия наук, 2019, с.106. (A.Efitorov, S.Dolenko. A New Type of a Wavelet neural Network. Mathematical Methods for Pattern Recognition: Book of abstracts of the 19th Russian National Conference with International Participation, Moscow, 2019. Moscow, Russian Academy of Sciences, 2019, p.107.) - А.О.Ефиторов, С.А.Доленко. Новый тип вейвлет-нейронных сетей. Математические методы распознавания образов: 19-я Всероссийская конференция с международным участием, Москва, 26-29 ноября 2019. Устный доклад, 28 ноября 2019 г., докладчик Ефиторов А.О. 6. В отчётном году были проведены исследования эффективности методов машинного обучения для обработки данных фМРТ в рамках когнитивных исследований. Для выполнения работ данного этапа исполнителям потребовалось на имеющемся в ЛАМОД НИИЯФ МГУ кластере развернуть Apache Spark - фреймворк с открытым исходным кодом для реализации распределённой обработки данных, а также систему параллельных распределенных вычислений Dask. Суммарный объем файла, содержащего фМРТ сканы и метаинформаицию, составил более 800Гб. Обработка такого массива данных была невозможна без использования специальных решений, предназначенных для анализа больших данных. В качестве базового решения было решено использовать сжатие данных методом главных компонент (МГК) и далее строить классификатор на основе сжатых данных. Предстояло решить задачу по определению типа ментального задания, которое выполнял испытуемый, по его фМРТ данным. Точность решения задачи классификации на 6 классов оказалась невысокой - около 55% на тренировочном наборе и около 20% на тестовом наборе. Для улучшения результатов было принято решение использовать двухэтапное обучение: на первом этапе нейронная сеть учится решать задачу бинарной классификации, обучаясь на всем массиве данных (112 тыс. примеров), после чего последний слой сети заменяется на слой для классификации на 6 классов (остальные веса остаются обученными на задаче бинарной классификации); далее проводится дообучение на поднаборе из 29 тыс примеров. Таким образом удалось добиться точности определения типа задачи в 73% на тренировочном и около 30% на тестовом наборе данных. Тестовый набор составляет случайно выбранные 10% примеров из всего набора данных (из 29 тыс отфильтрованных примеров) и не используется в процессе обучения нейросети. 7. Были проведены работы по определению типа задачи, решаемой испытуемым (задача «Когновизор»), с помощью алгоритмов машинного обучения, получающих на вход данные фМРТ (вместо запланированной ранее работы с данными ЭЭГ). Такое решение было принято в связи с отсутствием данных ЭЭГ необходимого качества, которые должны были предоставить коллеги из другого НИИ, и напротив, с нормальным качеством предоставленных ими данных фМРТ, и успешным получением первых результатов обработки последних. При работе с полноразмерными данными в качестве более простого базового решения был выбран алгоритм случайного леса (random forest), поддерживаемый системой Apache Spark. Модели решающих деревьев обучались на массиве из 29 тыс примеров, каждый с размерностью около 400 тыс признаков. Случайный лес с глубиной дерева 15 позволил получить точность 89.7% на тренировочном наборе и 35.1% на тестовом наборе, т.е. был превзойден результат, полученный на сжатых данных. Ещё одним этапом работы стало обучение сверточных сетей, также для решения задачи классификации на 6 классов. Обучение моделей производилось на базе фреймворка tensorflow на ранее упомянутом массиве из 29 тыс. примеров - размер массива составил около 210 Гб. Были успешно обучены следующие нейросетевые архитектуры: VGG16, NasNetMobile и InceptionV3. Первая архитектура продемонстрировала самые низкие результаты: около 40% на тренировочном и тестовом наборах. На остальных двух моделях наблюдалась полная сходимость моделей на тренировочном наборе - точность решения выше 95%, при этом точность NasNetMobile на тестовом наборе составила 65%, тогда как inceptionV3 превысила 80%. Таким образом, можно заключить, что выбранный путь по решению задачи “Когновизор” методами глубоко обучения позволяет решить поставленную задачу наиболее успешно, в сравнении с альтернативными методами машинного обучения. 8. Была подтверждена высокая эффективность и помехоустойчивость нейросетевых методов при обработке сигналов полупроводниковых детекторов, работающих в динамическом температурном режиме, при селективном определении низких концентраций углеводородов (метана и пропана) в городском воздухе. Была получена точность идентификации газа 86% в диапазоне концентраций 40-200 ppm. [- Valeriy Krivetskiy, Matvey Andreev, Alexander Efitorov. Selective Detection of Hydrocarbons in Real Atmospheric Conditions by Single MOX Sensor in Temperature Modulation Mode. Proceedings, 2019, V.14, No.1, art.47. DOI 10.3390/proceedings2019014047]. 9. Нейросетевые методы обработки данных были применены для выделения сигнала комбинационного рассеяния углеродных нанокомпозитов в биологической среде (урине) на фоне её автофлуоресценции. Выделенный сигнал использовался для одновременного определения концентраций нанокомпозита nGO, покрытого сополимером и фолиевой кислотой, и его компонентов (всего 8 классов). Показано, что искусственная нейронная сеть (ИНС) типа многослойный персептрон (МСП) в состоянии решить задачу классификации в 8 классов в присутствии сильной и очень вариабельной автофлуоресценции среды, сильно искажающей спектр, т.е. в состоянии одновременно решать задачу классификации и задачу фильтрации данных. [- O.E.Sarmanova, S.A.Burikov, S.A.Dolenko, A.O.Efitorov, I.V.Isaev, K.A.Laptinskiy, E.A.Filippova, T.A.Dolenko. Application of adaptive data analysis methods for monitoring of carbon nanocomposites in biological medium. 14th International Conference "Advanced Carbon NanoStructures – 2019" (ACNS'2019), Санкт-Петербург, Россия, 1-5 июля 2019. Тезисы докладов, 2019, с.311. - O.E.Sarmanova, S.A.Burikov, S.A.Dolenko, A.O.Efitorov, I.V.Isaev, K.A.Laptinskiy, E.A.Filippova, T.A.Dolenko. Application of adaptive data analysis methods for monitoring of carbon nanocomposites in biological medium. 14th International Conference "Advanced Carbon NanoStructures – 2019" (ACNS'2019), Санкт-Петербург, Россия, 1-5 июля 2019. Стендовый доклад, 4 июля 2019 г., докладчик Сарманова О.Э. - O.Sarmanova, S.Burikov, S.Dolenko, A.Efitorov, I.Isaev, K.Laptinskiy, E.Filippova, T.Dolenko. Overcoming Autofluorescence: Monitoring of Carbon Nanocomposites in Biological Medium Using Artificial Neural Networks. NANOCON 2019 - Book of Abstracts, 11th International Conference on Nanomaterials - Research and Application. TANGER Ltd, Ostrava, Czech Republic, EU, 2019, p.121. - O.Sarmanova, S.Burikov, S.Dolenko, A.Efitorov, I.Isaev, K.Laptinskiy, T.Dolenko, E.Filippova. Overcoming autofluorescence: Monitoring of Carbon Nanocomposites in Biological Medium Using Artificial Neural Networks. 11th International Conference on Nanomaterials - NANOCON 2019, October 16-18, 2019, Brno, Czech Republic. Стендовый доклад, 17 октября 2019 г., докладчик Сарманова О.Э.] 10. В отчётном году проводились доработки алгоритма адаптивного построения иерархических нейросетевых классификаторов (ИНК) для его использования в режиме классификации. Основное внимание было уделено разработке и выбору наиболее эффективного способа объединения классов в процессе работы алгоритма. Было получено, что оптимальным методом контроля слияния классов является оценка порога средним значением активации в узле. Этот метод сочетает в себе сравнимые с остальными результаты и низкую вычислительную стоимость. [- И.М.Гаджиев, С.А.Доленко. Методы объединения классов в процессе работы алгоритма адаптивного построения иерархических нейросетевых классификаторов. XXI Международная научно-техническая конференция "Нейроинформатика-2019": сборник научных трудов. М., МФТИ, 2019. Ч.1, с.170-177. - И.М.Гаджиев, С.А.Доленко. Методы объединения классов в процессе работы алгоритма адаптивного построения иерархических нейросетевых классификаторов. XXI Международная научно-техническая конференция "Нейроинформатика-2019". Россия, Долгопрудный, 7-11 октября 2019 г. Устный доклад, 10 октября 2019 г., докладчик Гаджиев И.М. - И.М.Гаджиев, И.В.Исаев, В.А.Светлов, С.А.Доленко. Исследование работы алгоритма адаптивного построения иерархических нейросетевых классификаторов. XVII Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. М: МГППУ, 2019, с.191-193. - И.М.Гаджиев, И.В.Исаев, В.А.Светлов, С.А.Доленко. Исследование работы алгоритма адаптивного построения иерархических нейросетевых классификаторов. XVII Всероссийская научная конференция «Нейрокомпьютеры и их применение». Москва, МГППУ, 19 марта 2019 г. Устный доклад, докладчик Гаджиев И.М.] 11. Суммарно в ходе выполнения работ по теме 6.1 было опубликовано 4 статьи и 9 тезисов, сделано 7 устных и 3 стендовых доклада на конференциях.
8 1 января 2020 г.-31 декабря 2020 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа: 1. В отчётном году были продолжены работы по прогнозированию интегральных суточных потоков (флюенсов) релятивистских электронов внешнего радиационного пояса Земли (РЭ ВРПЗ) с энергиями > 2 МэВ на геостационарной орбите. Горизонт нейросетевого прогнозирования суточных флюенсов РЭ ВРПЗ был увеличен до 4 суток. В соответствии с Техническим заданием на 2020 год, данный прогноз был реализован в режиме онлайн на сайте Центра оперативного космического мониторинга (ЦОКМ) НИИЯФ МГУ: http://swx.sinp.msu.ru/models/rb_electrons/index.php?gcm=1 Показано, что качество прогноза может быть улучшено путем включения в число входных признаков прогноза скорости солнечного ветра на околоземной орбите на 3-4 суток, сделанного на основе данных наблюдений корональных дыр на изображениях Солнца в УФ диапазоне, полученных прибором AIA обсерватории SDO. [- И.Н.Мягкова, Ю.С.Шугай, В.В.Калегаев, В.А.Колмогорова, С.А.Доленко. Среднесрочное прогнозирование потоков релятивистских электронов на геостационарной орбите при помощи машинного обучения с использованием данных наблюдений корональных дыр. Геомагнетизм и аэрономия, 2020, т.60, №3, с.293-304. DOI: 10.31857/S0016794020030128 (I.N.Myagkova, Yu.S.Shugai. V.V.Kalegaev, V.A.Kolmogorova, S.A.Dolenko. Medium-Term Prediction of Relativistic Electron Fluxes in a Geostationary Orbit Using Machine Learning Methods Based on Observations of Solar Coronal Holes. Geomagnetism and Aeromomy, 2020, V.60, No.3, pp.279-288. DOI: 10.1134/S0016793220030123) - В.Р.Широкий, А.О.Ефиторов, И.Н.Мягкова, Ю.С.Шугай, О.Г.Баринов, С.А.Доленко. Краткосрочное и среднесрочное прогнозирование радиационных условий в околоземном космическом пространстве методами машинного обучения. Пятнадцатая ежегодная конференция "Физика плазмы в Солнечной системе", 10-14 февраля 2020, ИКИ РАН. Тезисы докладов, с.293. - В.Р.Широкий, А.О.Ефиторов, И.Н.Мягкова, Ю.С.Шугай, О.Г.Баринов, С.А.Доленко. Краткосрочное и среднесрочное прогнозирование радиационных условий в околоземном космическом пространстве методами машинного обучения. XV ежегодная конференция "Физика плазмы в Солнечной системе", 10-14 февраля 2020 г., Москва, ИКИ РАН. Устный доклад, 11 февраля 2020 г., докладчик В.Р.Широкий. - I.Myagkova, V.Shirokii, R.Vladimirov, O.Barinov, S.Dolenko. Comparative Efficiency of Prediction of Relativistic Electron Flux in the Near-Earth Space Using Various Machine Learning Methods. Studies in Computational Intelligence, 2021, V.925, p.222-227. DOI: 10.1007/978-3-030-60577-3_25 - I.Myagkova, V.Shirokii, R.Vladimirov, O.Barinov, S.Dolenko. Comparative Efficiency of Prediction of Relativistic Electron Flux in the Near-Earth Space Using Various Machine Learning Methods. XXII Международная научно-техническая конференция «Нейроинформатика-2020» в рамках Первого национального конгресса по когнитивным исследованиям, искусственному интеллекту и нейроинформатике (ИИКН-2020), 10-16 октября 2020 года, Москва. Устный онлайн доклад, 15 октября 2020, докладчик В.Р.Широкий] 2. Были продолжены работы по нейросетевому прогнозированию часовых значений геомагнитного индекса Dst, а также трёхчасовых значений геомагнитного индекса Kp. Усовершенствованные модели применяются для онлайн-прогнозирования на сайте ЦОКМ НИИЯФ МГУ. Прогноз индекса Dst в настоящее время ведется с горизонтом до 6 часов (в онлайн-режиме http://swx.sinp.msu.ru/models/dst.php?gcm=1 – с горизонтом 1 час, индекса Kp до 12 часов (в оналайн-режиме http://swx.sinp.msu.ru/models/kp.php?gcm=1 – до 6 часов). [- Р.Д.Владимиров, В.Р.Широкий, С.А.Доленко, И.Н.Мягкова. Изучение качества прогнозирования состояния магнитосферы Земли алгоритмами машинного обучения. XVIII Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. М., МГППУ, 2020, с.297-298. - I.N.Myagkova, V.V.Kalegaev, V.R.Shirokii, O.G.Barinov, A.O.Efitorov, S.Yu.Bobrovnikov, Yu.S.Shugay, V.O.Barinova, V.E.Eremeev, M.D.Nguyen, S.A.Dolenko. Prediction of the Earth’s Magnetosphere State within the Framework of SINP MSU Space Weather Analysis Center. Solar-Terrestrial Relations and Physics of Earthquake Precursors: XI International Conference, Paratunka, Kamchatka, September 22-25, 2020: Book of Abstracts. – Petropavlovsk-Kamchatkskiy: IKIR FEB RAS, 2020, pp.163-164.] 3. Проведены исследования по проверке эффективности использования так называемых функций связи (coupling functions) при нейросетевом прогнозировании амплитуды Dst-индекса. Показано, что наибольший вклад в улучшение качества прогноза вносят функции Bs и vBs, а также использование одновременно нескольких функций связи. [- И.Н.Мягкова, В.Р.Широкий, Р.Д.Владимиров, О.Г.Баринов, С.А.Доленко, В.В.Калегаев. Использование функций связи (coupling functions) при прогнозировании состояния магнитосферы Земли. Пятнадцатая ежегодная конференция "Физика плазмы в Солнечной системе", 10-14 февраля 2020, ИКИ РАН. Тезисы докладов, с.144. - И.Н.Мягкова, В.Р.Широкий, Р.Д.Владимиров, О.Г.Баринов, С.А.Доленко, В.В.Калегаев. Использование функций связи (coupling functions) при прогнозировании состояния магнитосферы Земли. XV ежегодная конференция "Физика плазмы в Солнечной системе", 10-14 февраля 2020 г., Москва, ИКИ РАН. Устный доклад, 11 февраля 2020 г. - И.Н.Мягкова, В.Р.Широкий, В.В.Калегаев, О.Г.Баринов, С.А.Доленко. Использование функций связи при прогнозировании амплитуды Dst-индекса адаптивными методами. Геомагнетизм и аэрономия, 2021, т.61, №1, принята к публикации. DOI 10.31857/S0016794020060097] 4. Начаты работы по использованию нового подхода к прогнозированию геомагнитных индексов как к прогнозированию событий – возникновения геомагнитных возмущений с амплитудой, превышающей заданную, в течение заданного промежутка времени в будущем, с оценкой вероятности возникновения события. Осуществлена программная реализация данного подхода, ведутся работы по определению оптимальных для данного способа прогнозирования алгоритмов машинного обучения, оптимальных параметров и методик их применения. 5. Проведены работы по дальнейшему развитию оригинальной архитектуры вейвлет-нейронных сетей (ВНС) (ВНС с адаптивными окнами) и оригинального алгоритма их обучения и его тестирование на различных задачах обработки данных физического эксперимента (обратные задачи оптической спектроскопии, обратные задачи разведочной геофизики, задачи прогнозирования временных рядов в космической физике). Показано, что данный метод машинного обучения позволяет несколько улучшить результаты решения задач по сравнению с классическими многомлойными персептронами. [A.Efitorov, V.Shiroky, S.Dolenko. Using Adaptive Window Wavelet Neural Network to Solve a Spectroscopy Inverse Problem. Report Abstract. Saratov Fall Meeting 2020: VIII Symposium on Optics & Biophotonics. Saratov, Russia, 29 сентября – 2 октября 2020. https://sfmconference.org/sfm/20/workshops/computational-biophysics-and-analysis-of-biomedical-data-vii/preliminary/364/ A.Efitorov, V.Shiroky, S.Dolenko. Using Adaptive Window Wavelet Neural Network to Solve a Spectroscopy Inverse Problem. Saratov Fall Meeting 2020: VIII Symposium on Optics & Biophotonics. Saratov, Russia, 29 сентября – 2 октября 2020. Устный онлайн доклад, 30 сентября 2020, докладчик А.О.Ефиторов] 6. Осуществлена полноценная аппаратно-программная реализация и дальнейшие исследования применения методов машинного обучения для обработки данных фМРТ, в том числе для определения типа задачи, решаемой испытуемым, в рамках когнитивных исследований (задача «Когновизор»). Показана возможность успешного решения подобной задачи на основе предобработки данных с понижением размерности методами машинного обучения, на основе платформы Spark. [A.Efitorov, V.Shirokii, V.Orlov, V.Ushakov, S.Dolenko. The Solution to the Problem of Classifying High-Dimension fMRI Data based on the Spark Platform. Studies in Computational Intelligence, 2021, V.925, p.58-64. DOI: 10.1007/978-3-030-60577-3_6 A.Efitorov, V.Shirokii, V.Orlov, V.Ushakov, S.Dolenko. The Solution to the Problem of Classifying High-Dimension fMRI Data based on the Spark Platform. XXII Международная научно-техническая конференция «Нейроинформатика-2020» в рамках Первого национального конгресса по когнитивным исследованиям, искусственному интеллекту и нейроинформатике (ИИКН-2020), 10-16 октября 2020 года, Москва. Устный онлайн доклад, 15 октября 2020, докладчик А.О.Ефиторов] 7. Была продолжена разработка эффективных методик применения алгоритмов машинного обучения для обработки данных полупроводниковых газовых сенсоров, работающих в динамическом температурном режиме. Продемонстрирована эффективность метода статистического анализа форм (statistical shape analysis, SSA) для предобработки данных сенсоров, работающих в реальных атмосферных условиях. [- Valeriy V. Krivetskiy, Matvei D. Andreev, Aleksandr O. Efitorov, Alexander M. Gaskov. Statistical shape analysis pre-processing of temperature modulated metal oxide gas sensor response for machine learning improved selectivity of gases detection in real atmospheric conditions. Sensors and Actuators B: Chemical, 2020, 129187. DOI: 10.1016/j.snb.2020.129187.] 8. Завершена новая программная реализация алгоритма адаптивного построения иерархических нейросетевых классификаторов (ИНК) с целью эффективного решения задач классификации на устройствах с ограниченными вычислительными возможностями. Алгоритм усовершенствован путем замены полносвязных нейронных сетей в первом каскаде ИНК свёрточными нейронными сетями. Продолжаются работы по тестированию усовершенствованного алгоритма, которые следует продолжить для определения рекомендуемой области применения и оптимальных параметров свёрточных ИНК. [И.М.Гаджиев, С.А.Доленко. Реализация и исследование усовершенствованной версии алгоритма адаптивного построения иерархических нейросетевых классификаторов. XVIII Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. М., МГППУ, 2020, с.288-289.] 9. Проведены работы по анализу видеозаписей различных эмоций испытуемых с помощью программы FaceReader (в пространстве т.н. Action Units) и их сопоставлению с двумерным эмоциональным пространством (Valence, Arousal). Были показаны возможности сопоставления точек между пространством Action Units и двухмерным эмоциональным пространством в обе стороны, с использованием понижения размерности и без. Показана возможность сжатия исходного пространства Action Units до 7 компонент и его использования в дальнейшем без значимой потери качества моделей машинного обучения. [- Vladimir R. Shirokiy, Daria V. Tikhomirova, Roman D. Vladimirov, Sergei A. Dolenko, and Alexei V. Samsonovich. The Loop of Nonverbal Communication Between Human and Virtual Actor: Mapping Between Spaces. Advances in Intelligent Systems and Computing, 2021, V.1310, pp.484-489. DOI: 10.1007/978-3-030-65596-9_58] 10. Суммарно в ходе выполнения работ по теме 6.1 в 2020 году было опубликовано 6 статей и 6 тезисов, сделано 5 устных докладов на конференциях.
9 1 января 2021 г.-31 декабря 2021 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа: 1. В отчётном году были продолжены работы по прогнозированию интегральных суточных потоков (флюенсов) релятивистских электронов внешнего радиационного пояса Земли (РЭ ВРПЗ) с энергиями > 2 МэВ на геостационарной орбите. Прогнозирование осуществляется с помощью нейронных сетей и с помощью градиентного бустинга, горизонт прогнозирования суточных флюенсов РЭ ВРПЗ составил до 4 суток. Данный прогноз с шагом в сутки реализован в режиме онлайн на сайте Центра оперативного космического мониторинга (ЦОКМ) НИИЯФ МГУ: http://swx.sinp.msu.ru/models/rb_electrons/index.php?gcm=1 Осуществлен переход к прогнозированию суточных флюенсов РЭ ВРПЗ с шагом в 1 час, заканчивается подготовка к реализации прогнозирования с шагом в 1 час в режиме онлайн. (В.Р.Широкий, Р.Д.Владимиров, С.А.Доленко) [И.Н.Мягкова, В.Р.Широкий, Ю.С.Шугай, О.Г.Баринов, Р.Д.Владимиров, С.А.Доленко. Краткосрочное и среднесрочное прогнозирование потоков релятивистских электронов внешнего радиационного пояса Земли методами машинного обучения. Метеорология и гидрология, 2021, №3, с.47-57. (I.N.Myagkova, V.R.Shirokii, Yu.S.Shugai, O.G.Barinov, R.D.Vladimirov, S.A.Dolenko. Short- and Medium-range Prediction of Relativistic Electron Flux in the Earth’s Outer Radiation Belt by Machine Learning Methods. Russian Meteorology and Hydrology, 2021, Vol. 46, No. 3, pp. 163–171. DOI: 10.3103/S1068373921030043)] 2. Были продолжены работы по нейросетевому прогнозированию часовых значений геомагнитного индекса Dst. Усовершенствованные модели применяются для онлайн-прогнозирования на сайте ЦОКМ НИИЯФ МГУ. Прогноз индекса Dst в настоящее время ведется c помощью нейронных сетей и с помощью градиентного бустинга с горизонтом до 6 часов (в онлайн-режиме http://swx.sinp.msu.ru/models/dst.php?gcm=1 – с горизонтом 1 час). (В.Р.Широкий, Р.Д.Владимиров, С.А.Доленко) [И.Н.Мягкова, В.Р.Широкий, Р.Д.Владимиров, О.Г.Баринов, С.А.Доленко. Прогнозирование значений геомагнитного индекса Dst при помощи адаптивных методов. Метеорология и гидрология, 2021, №3, с.38-46. (I.N.Myagkova, V.R.Shirokii, R.D.Vladimirov, O.G.Barinov, S.A.Dolenko. Prediction of the Dst Geomagnetic Index Using Adaptive Methods. Russian Meteorology and Hydrology, 2021, Vol. 46, No. 3, pp. 157–162. DOI: 10.3103/S1068373921030031)] 3. Завершена программная реализация нового подхода к прогнозированию геомагнитных индексов как к прогнозированию событий – возникновения геомагнитных возмущений с амплитудой, превышающей заданную, в течение заданного промежутка времени в будущем, с оценкой вероятности возникновения события. Классы событий выделяются по уровню геомагнитного индекса (Dst или Kp), при превышении которого фиксировалось событие определённого класса. Например, используется классификация бурь по амплитуде Dst, предложенная в работе C. A. Loewe и G. W. Prölss: слабые (weak) от -30 нT до -50 нT, умеренные (moderate) от -50 нT до -100 нT, сильные (strong) от -100 до -200 нT, очень сильные (severe) от -200 до -350 нT и экстремальные (great) с Dst ниже -350 нТ. Продолжаются работы по определению оптимальных для данной постановки задачи критериев оценки качества прогнозирования, а также оптимальных алгоритмов машинного обучения, параметров и методик их применения. На данном этапе исследований наибольшую эффективность продемонстрировали подходы, связанные с погружением (топологическим вложением) временного ряда с последующим использованием нейронной сети типа многослойный персептрон с 1-2 скрытыми слоями или алгоритма градиентного бустинга. Результаты пока не опубликованы, работа будет продолжена в 2022 г. (В.Р.Широкий, асп.И.М.Гаджиев, С.А.Доленко) 4. Проведены работы по осуществлению адаптивного отбора существенных входных признаков для рассматриваемых задач прогнозирования космической погоды с помощью методов-обёрток. В связи с высокой размерностью исходного признакового пространства, в котором осуществляется отбор (N~150 входных признаков) и высокой вычислительной стоимостью методов-обёрток был применён следующий подход. На первом этапе в качестве алгоритма – основы для отбора использовалась линейная регрессия (ЛР). Для подхода, связанного с постепенным удалением признаков, строится одна модель ЛР по N признакам, затем N моделей ЛР по N-1 признаку (с удалением поочередно каждого признака и выбором наилучшей модели по тестовому набору данных), затем N-1 модель по N-2 признакам и т.д. Таким образом все признаки ранжируются по существенности (наименее существенным считается признак, отброшенный первым, наиболее существенным – оставшийся последним). При этом на каждом шаге контролируется погрешность наилучшей модели этого шага, и для рассмотрения оставляется диапазон плюс-минус 10 признаков в области минимума этой погрешности. В этой области для каждого комплекта признаков строится нейросетевая модель, лучшая из которых признаётся лучшим решением задачи, а соответствующий ей комплект признаков – комплектом наиболее существенных признаков. Аналогичная работа проделывалась в рамках подхода, связанного с постепенным добавлением признаков – при наращивании числа признаков аналогичным способом. Результаты первого этапа этой работы доложены на конференции и подготовлены для публикации в журнале. На втором этапе работы вместо ЛР в качестве алгоритма-основы используется алгоритм градиентного бустинга. Вычислительная стоимость этого варианта заметно выше, чем при использовании ЛР, однако остается в пределах доступного для вычислений на доступных в настоящее время мощностях. Работы второго этапа начаты и будут продолжены в 2022 г. После завершения ремонтных работ на принадлежащем лаборатории вычислительном кластере планируется третий этап данного исследования, с использованием в качестве алгоритма-основы непосредственно нейронных сетей. Вычислительная стоимость этого варианта существенно выше, однако предполагается, что он позволит получить наилучшие результаты в связи с возможностью построения нелинейных моделей уже на этапе отбора существенных входных признаков. (В.Р.Широкий, Р.Д.Владимиров, С.А.Доленко) [Р.Д.Владимиров, В.Р.Широкий, И.Н.Мягкова, О.Г.Баринов, С.А.Доленко. Изучение важности входных признаков в задаче прогнозирования геомагнитных возмущений алгоритмами машинного обучения. Шестнадцатая ежегодная конференция "Физика плазмы в Солнечной системе", 8-12 февраля 2021, ИКИ РАН. Тезисы докладов, с.265. Р.Д.Владимиров, В.Р.Широкий, И.Н.Мягкова, О.Г.Баринов, С.А.Доленко. Изучение важности входных признаков в задаче прогнозирования геомагнитных возмущений алгоритмами машинного обучения. Шестнадцатая ежегодная конференция "Физика плазмы в Солнечной системе", 8-12 февраля 2021, ИКИ РАН. Устный доклад, докладчик Р.Д. Владимиров. Р.Д.Владимиров, В.Р.Широкий, И.Н.Мягкова, О.Г.Баринов, С.А.Доленко. Изучение важности входных признаков в задаче прогнозирования геомагнитных возмущений алгоритмами машинного обучения. XIII школа-конференция с международным участием «Проблемы Геокосмоса», 24-27 марта 2021, СПбГУ. Устный доклад, докладчик Р.Д.Владимиров.] 5. Проведены работы по дальнейшему развитию оригинальной архитектуры вейвлет-нейронных сетей (ВНС) (ВНС с адаптивными окнами) и оригинального алгоритма их обучения и его тестирование на различных задачах обработки данных физического эксперимента (обратные задачи оптической спектроскопии, обратные задачи разведочной геофизики, задачи прогнозирования временных рядов в космической физике). К сожалению, модификации алгоритма, предложенные и испытанные в 2021 году, не позволили улучшить результаты решения ни одной из задач по сравнению с базовым вариантом алгоритма, предложенным и запатентованным авторами в предыдущие годы работы по данному направлению. (А.О.Ефиторов, К.А.Лаптинский, С.А.Доленко) 6. Проведены дальнейшие исследования применения методов машинного обучения для обработки данных фМРТ, в том числе для определения типа задачи, решаемой испытуемым, в рамках когнитивных исследований (задача «Когновизор»). В 2020 году была показана возможность успешного решения подобной задачи на основе предобработки данных с понижением размерности методами машинного обучения, на основе платформы Spark (см. отчёт по теме за 2020 год). К сожалению, работы в данном направлении в отчётном году не получили заметного развития в связи с выходом из строя по техническим причинам большей части вычислительного кластера лаборатории (без полноценного функционирования кластера работа с данными столь высокой размерности на доступном оборудовании имеет чрезвычайно низкую эффективность). Работы планируется продолжить в 2022 г. после окончания ремонта кластера. (А.О.Ефиторов, В.Р.Широкий, С.А.Доленко) Взамен запланированного по данному направлению были выполнены другие работы дополнительно к плану (см. ниже, п.п.9-11). 7. Была продолжена разработка эффективных методик применения алгоритмов машинного обучения для обработки данных полупроводниковых газовых сенсоров, работающих в динамическом температурном режиме. Студ. Ю.М.Витюговой была защищена курсовая работа. Метод статистического анализа форм (statistical shape analysis, SSA) был использован для предобработки данных сенсоров, работающих в реальных атмосферных условиях, при обработке новых экспериментальных данных, начавших поступать в конце отчётного года от партнёров с химического факультета МГУ. Поступление новой партии данных и новый этап обработки методики запланированы на 2022 год. (А.О.Ефиторов, студ.Витюгова Ю.М., С.А.Доленко) [Ю.М.Витюгова. Калибровка моделей классификации данных газовых сенсоров. Курсовая работа. Научные руководители С.А.Доленко, А.О.Ефиторов.] 8. Проведено расширенное тестирование алгоритма адаптивного построения свёрточных иерархических нейросетевых классификаторов (СИНК) с целью эффективного решения задач классификации изображений на устройствах с ограниченными вычислительными возможностями. Алгоритм протестирован на эталонных базах данных CIFAR-10 и CIFAR-100, проделаны работы по подбору оптимальных параметров СИНК. По полученным результатам И.М.Гаджиевым защищена магистерская диссертация на физическом факультете МГУ, опубликована статья и сделаны два доклада на конференциях. (Студ./асп. И.М.Гаджиев. С.А.Доленко) [I.Gadzhiev, S.Dolenko. A Convolutional Hierarchical Neural Network Classifier. The 5th International Workshop on Deep Learning in Computational Physics (DLCP-2021). Proceedings of Science, 2021, V.410, paper 014. DOI: 10.22323/1.410.0014 I.Gadzhiev, S.Dolenko. Research and application of the convolutional hierarchical neural network classifier. IEEE Proceedings, 2022, accepted. И.М.Гаджиев, С.А.Доленко. Исследование и применение свёрточного иерархического нейросетевого классификатора. В сб.: Информационные технологии и нанотехнологии (ИТНТ-2021). Сборник трудов по материалам VII Международной конференции и молодежной школы. Самара, 2021. С.31282. I.Gadzhiev, S.Dolenko. A Convolutional Hierarchical Neural Network Classifier. The 5th International Workshop on Deep Learning in Computational Physics (DLCP-2021). Устный доклад, докладчик С.А.Доленко. И.М.Гаджиев, С.А.Доленко. Исследование и применение свёрточного иерархического нейросетевого классификатора. VII Международная конференция и молодежная школа «Информационные технологии и нанотехнологии (ИТНТ-2021)». Устный доклад, докладчик И.М.Гаджиев. И.М.Гаджиев. Разработка и применение свёрточного иерархического нейросетевого классификатора. Магистерская диссертация. Научный руководитель С.А.Доленко.] 9. Дополнительно к первоначально запланированным проведены работы по исследованию влияния отбора существенных признаков на устойчивость нейросетевого решения обратных задач оптической спектроскопии. Опубликованы тезисы и сделан устный доклад на конференции. Студ. Н.О.Щуровым защищена курсовая работа. (И.В.Исаев, студ. Н.О.Щуров, К.А.Лаптинский, С.А.Доленко) [И.В.Исаев, О.Э.Сарманова, С.А.Доленко. Исследование влияния отбора существенных признаков на устойчивость нейросетевого решения обратных задач оптической спектроскопии. XIX Всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. М., МГППУ, 2021, с.185-186. И.В.Исаев, О.Э.Сарманова, С.А.Доленко. Исследование влияния отбора существенных признаков на устойчивость нейросетевого решения обратных задач оптической спектроскопии. XIX Всероссийская научная конференция «Нейрокомпьютеры и их применение». Устный доклад, докладчик И.В.Исаев. Н.О.Щуров. Учет взаимных корреляций при отборе существенных признаков для нейросетевого решения обратных задач спектроскопии. Курсовая работа. Научные руководители С.А.Доленко, И.В.Исаев.] 10. Дополнительно к первоначально запланированным проведены работы по решению обратной задачи по одновременному определению водородного показателя pH и температуры водных сред с помощью углеродных наносенсоров, оптической спектроскопии и методов машинного обучения. (С.А.Доленко) [O.E.Sarmanova, K.A.Laptinskiy, M.Yu.Khmeleva, S.A.Burikov, S.A.Dolenko, T.A.Dolenko. Carbon nanosensors and machine learning algorithms for simultaneous measurement of pH and temperature of aqueous media. IEEE Proceedings, 2022, accepted. О.Э.Сарманова, К.А.Лаптинский, М.Ю.Хмелева, С.А.Буриков, С.А.Доленко, Т.А.Доленко. Углеродные наносенсоры и методы машинного обучения для одновременного измерения pH и температуры водных сред. В сб.: Информационные технологии и нанотехнологии (ИТНТ-2021). Сборник трудов по материалам VII Международной конференции и молодежной школы. Самара, 2021. С.32332.] 11. Дополнительно к первоначально запланированным проведены работы по исследованию того, данные какого из космических аппаратов (КА) (ACE или DSCOVR) и в каких сочетаниях оптимально использовать для минимизации погрешности нейросетевого прогноза геомагнитного индекса Dst. Рекомендованный вариант – использовать для прогнозирования данные с КА DSCOVR, заполняя пропуски (там, где это возможно) данными с КА ACE. Студ. Э.З.Каримовым защищена курсовая работа на эту тему. (В.Р.Широкий, студ.Э.З.Каримов, С.А.Доленко) Э.З.Каримов. Исследование устойчивости нейросетевого прогноза геомагнитной возмущенности по отношению к источнику данных. Курсовая работа. Научные руководители С.А.Доленко, В.Р.Широкий. 12. Суммарно в ходе выполнения работ по теме 6.1 в 2021 году было опубликовано 3 и принято к публикации 2 статьи, опубликованы 4 тезисов докладов, сделано 5 устных докладов на конференциях, защищены 1 магистерская диссертация и 3 курсовые работы.
10 1 января 2022 г.-31 декабря 2022 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа: 1. В отчётном году были продолжены исследования по реализации нового для коллектива исполнителей темы подхода к прогнозированию геомагнитных возмущений. Вместо задачи прогнозирования конкретного значения геомагнитного индекса в раках данного подхода ставится задача перехода к прогнозированию событий – возникновения геомагнитных возмущений с амплитудой, превышающей заданную, в течение заданного промежутка времени в будущем, с оценкой вероятности возникновения такого события. При такой постановке задачи более естественным оказывается использование в качестве меры возмущения магнитосферы планетарного геомагнитного индекса Kp, в терминах которого выглядит естественным разбиение состояния магнитосферы на несколько классов по уровню возмущённости. В отчётном году решалась задача прогнозирования класса состояния магнитосферы по уровню индекса Kp на три класса – условно невозмущённая (Кр<=3), умеренно возмущённая (3<Kp<=5) и сильно возмущённая (Kp>5), с горизонтом прогноза от 3 до 24 часов с шагом 3 часа (ввиду того, что значение индекса Kp определяется один раз за три часа). Основной целью работ, проводимых на данном этапе, было: выявление разрешимости поставленной задачи с помощью различных методов машинного обучения; выявление основных проблем, стоящих на пути решения поставленной задачи в такой постановке, а также возможных путей их преодоления. В качестве референсной модели, с результатами использования которой сравнивались построенные прогнозы, использовалась инерциальная тривиальная модель, для которой прогнозируемое значение считалось равным последнему известному значению индекса Кр. Основной проблемой описанного подхода оказался сильный дисбаланс классов, в особенности в тестовом наборе данных, в качестве которого был выбран диапазон 2021-2022 г.г. Результаты тривиальной модели удалось превзойти для первых 6 горизонтов из 8 (с помощью различных методов машинного обучения – искусственных нейронных сетей типа многослойный персептрон и LSTM, а также алгоритма случайного леса). Для горизонтов 3-6 (9-18 часов) прогнозы удалось улучшить с помощью известного алгоритма выравнивания баланса между классами SMOTE. Однако, полученное качество прогнозов оказалось заметно хуже ожидаемого: мера F1 лучшей из полученных моделей снижалась от 65.3% для горизонта 1 (3 часа) до 39.2% для горизонта 6 (18 часов). Использование погружения (топологического вложения) временного ряда с шагом 3 часа, вопреки ожиданиям, не привело к улучшению прогнозов – предположительно, из-за слишком большого шага погружения, а также из-за кратного увеличения количества входных признаков. Были намечены возможные пути повышения качества решения задачи – увеличение тестового набора данных; переход к 1-часовому шагу при погружении временного ряда; использование отбора существенных входных признаков для понижения входной размерности данных при погружении; более детальное изучение возможностей рекуррентных сетей; усовершенствование процедуры кросс-валидации (перекрёстной проверки) при определении параметров алгоритмов. (асп.И.М.Гаджиев, С.А.Доленко) [• I.Gadzhiev, I.Myagkova, S.Dolenko. Use of Classification Algorithms to Predict the Grade of Geomagnetic Disturbance. Studies in Computational Intelligence, 2023, V.1064, pp. 426-435. DOI: 10.1007/978-3-031-19032-2_44. • И.М.Гаджиев, И.Н.Мягкова, С.А.Доленко. Использование алгоритмов классификации для предсказания уровня геомагнитного возмущения. XXIV Международная научно-техническая конференция "Нейроинформатика-2022". Устный доклад, докладчик И.М.Гаджиев.] 2. В отчётном году была продолжена работа по осуществлению адаптивного отбора существенных входных признаков для всех рассматриваемых задач прогнозирования космической погоды с использованием методов-обёрток, на основе градиентного бустинга и многослойных персептронов. В связи с высокой размерностью исходного признакового пространства, в котором осуществляется отбор (N~150 входных признаков) и высокой вычислительной стоимостью методов-обёрток был применён следующий подход. На первом и втором этапах работ по этому направлению в качестве алгоритма – основы для отбора использовались вычислительно недорогие методы - линейная регрессия (ЛР, первый этап) или градиентный бустинг (ГБ, второй этап). Для подхода, связанного с постепенным удалением признаков, строится одна модель ЛР (ГБ) по N признакам, затем N моделей ЛР (ГБ) по N-1 признаку (с удалением поочередно каждого признака и выбором наилучшей модели по тестовому набору данных), затем N-1 модель по N-2 признакам и т.д. Таким образом все признаки ранжируются по существенности (наименее существенным считается признак, отброшенный первым, наиболее существенным – оставшийся последним). При этом на каждом шаге контролируется погрешность наилучшей модели этого шага, и для рассмотрения оставляется диапазон плюс-минус 10 признаков в области минимума этой погрешности. В этой области для каждого комплекта признаков строится нейросетевая модель, лучшая из которых признаётся лучшим решением задачи, а соответствующий ей комплект признаков – комплектом наиболее существенных признаков. После завершения ремонтных работ на принадлежащем лаборатории вычислительном кластере планируется третий этап данного исследования, с использованием в качестве алгоритма-основы непосредственно нейронных сетей. Вычислительная стоимость этого варианта существенно выше, однако предполагается, что он позволит получить наилучшие результаты в связи с возможностью построения нелинейных моделей уже на этапе отбора существенных входных признаков. (Р.Д.Владимиров, В.Р.Широкий, С.А.Доленко) [• R.Vladimirov, V.Shirokii, O.Barinov, I.Myagkova, S.Dolenko. Investigation of the Importance of Input Features by Linear Regression in Predicting the Geomagnetic Index by Machine Learning. IEEE Proceedings, 2022, VIII International Conference on Information Technology and Nanotechnology (ITNT). DOI: 10.1109/ITNT55410.2022.9848686. • Р.Д.Владимиров, В.Р.Широкий, И.Н.Мягкова, О.Г. Баринов, С.А.Доленко. Сравнение эффективности методов машинного обучения при исследовании важности входных признаков в задаче прогнозирования геомагнитного индекса Dst. Геомагнетизм и аэрономия, 2023, принято к публикации. • Р.Д.Владимиров, В.Р.Широкий, О.Г.Баринов, И.Н.Мягкова, С.А.Доленко. Сравнение эффективности методов машинного обучения при исследовании важности входных признаков в задаче прогнозирования геомагнитных возмущений. Семнадцатая ежегодная конференция "Физика плазмы в Солнечной системе", 7-11 февраля 2022, ИКИ РАН. Тезисы докладов, с.238. • Р.Д.Владимиров, В.Р.Широкий, О.Г.Баринов, И.Н.Мягкова, С.А.Доленко. Исследование важности входных признаков при прогнозировании геомагнитного индекса методами машинного обучения. В сб.: Информационные технологии и нанотехнологии (ИТНТ-2022): сборник трудов по материалам VIII Международной конференции и молодежной школы. Самара, 2022. Т.5, С.052522. • Р.Д.Владимиров, В.Р.Широкий, О.Г.Баринов, И.Н.Мягкова, С.А.Доленко. Сравнение эффективности методов машинного обучения при исследовании важности входных признаков в задаче прогнозирования геомагнитных возмущений. Семнадцатая ежегодная конференция "Физика плазмы в Солнечной системе", 7-11 февраля 2022, ИКИ РАН, Москва. Устный доклад, докладчик Р.Д.Владимиров. • Р.Д.Владимиров, В.Р.Широкий, О.Г.Баринов, И.Н.Мягкова, С.А.Доленко. Исследование важности входных признаков при прогнозировании геомагнитного индекса методами машинного обучения. VIII Международная конференция и молодежная школа «Информационные технологии и нанотехнологии (ИТНТ-2022)». Самара, 23-27 мая 2022. Устный доклад, докладчик Р.Д.Владимиров. • Р.Д. Владимиров Прогнозирование параметров состояния магнитосферы Земли методами машинного обучения. Магистерская диссертация.] 3. Проведены работы по кросс-адаптации данных различных космических аппаратов (КА), измеряющих одни и те же параметры, на примере КА ACE и DSCOVR (параметры солнечного ветра и межпланетного магнитного поля в точке Лагранжа L1 между Солнцем и Землёй), а также на примере КА GOES-15 и GOES-16 (потоки релятивистских электронов с энергиями E>2 МэВ). Показано, что преобразование данных из домена КА DSCOVR в домен КА ACE позволяет дополнить имеющийся массив данных адекватными и совместимыми данными за последние несколько лет. Данная работа представляется весьма значимой в связи с планируемым в 2024 г. выводом КА ACE из эксплуатации, а также с переходом на новую модификацию аппаратов серии GOES (начиная с GOES-16). В 2023 г. планируется встроить адаптацию данных в штатную процедуру прогнозирования геомагнитных индексов и потоков релятивистских электронов внешнего радиационного пояса Земли. (В.Р.Широкий, С.А.Доленко, студент Э.З.Каримов) [• Э.З.Каримов, В.Р.Широкий, О.Г.Баринов, И.Н.Мягкова, С.А.Доленко. Кросс-адаптация данных космических аппаратов с помощью методов машинного обучения. Семнадцатая ежегодная конференция "Физика плазмы в Солнечной системе", 7-11 февраля 2022, ИКИ РАН. Тезисы докладов, с.239. • Э.З.Каримов, В.Р.Широкий, И.Н.Мягкова. Применение методов машинного обучения для доменной адаптации данных космических аппаратов. Сборник трудов Международной научно-технической конференции "Нейроинформатика-2022", 17-21 октября 2022, МФТИ, Долгопрудный, в печати. • Э.З.Каримов, В.Р.Широкий, О.Г.Баринов, И.Н.Мягкова, С.А.Доленко. Кросс-адаптация данных космических аппаратов с помощью методов машинного обучения. Семнадцатая ежегодная конференция "Физика плазмы в Солнечной системе", 7-11 февраля 2022, ИКИ РАН, Москва. Устный доклад, докладчик Э.З.Каримов. • Э.З.Каримов, В.Р.Широкий, И.Н.Мягкова. Применение методов машинного обучения для доменной адаптации данных космических аппаратов. Международная научно-техническая конференция "Нейроинформатика-2022", 17-21 октября 2022, МФТИ, Долгопрудный. Устный доклад, докладчик Э.З.Каримов.] 4. В отчётном году продолжены исследования применения методов машинного обучения для обработки данных фМРТ, в том числе для определения типа задачи, решаемой испытуемым, в рамках когнитивных исследований (задача «Когновизор»). Ранее в процессе работ по теме была показана возможность успешного решения подобной задачи на основе предобработки данных с понижением размерности методами машинного обучения, на основе платформы Spark. В отчётном году работы в данном направлении получили дальнейшее развитие, однако в связи с тем, что полноценное функционирование вычислительного кластера лаборатории, вышедшего из строя по техническим причинам, не было восстановлено, темп работ оказался существенно ниже запланированного, и результатов, пригодных для публикации, получено не было. Работы планируется продолжить в 2023 г. после окончания ремонта кластера, в том числе работы в направлении визуализации положения состояния испытуемого на семантической карте состояний. Взамен части работ, запланированных по данному направлению, были выполнены другие работы дополнительно к плану (см. ниже, п.п.7-10). (В.Р.Широкий, А.О.Ефиторов, С.А.Доленко). 5. Исследование оптимальных алгоритмов отбора существенных входных признаков при работе с мультиколлинеарными входными признаками на примере обратных задач оптической спектроскопии. Наиболее подробно исследовался алгоритм, основанный на итеративном отборе признаков с наибольшей релевантностью по отношению к целевой переменной и на исключении избыточных признаков с высокой статистической зависимостью между собой. Алгоритм представляет собой двухэтапную итерационную процедуру. На первом этапе выбирается признак, релевантность которого целевой переменной наибольшая. На втором этапе происходит исключение признаков, схожесть которого с выбранным на предыдущем этапе признаком выше некоторого порогового значения. Далее процедура повторяется применительно к оставшемуся набору признаков. Процесс повторяется до достижения критерия остановки. В качестве меры схожести признаком использовались кросс-корреляция по Пирсону и кросс-энтропия. Рассматривалась эффективность данного алгоритма при решении обратных задач спектроскопии в зависимости от параметров алгоритма. Было показано, что с помощью данного алгоритма возможно кратно уменьшить количество входных признаков без снижения качества решения обратной задачи. Было также показано, что при некоторых значениях параметров обучение нейронной сети на множестве признаков, отобранных данным алгоритмом, показывает меньшую погрешность решения обратной задачи по сравнению с обучением на полном исходном наборе признаков. (И.В.Исаев, С.А.Доленко, К.А.Лаптинский, студент Н.О.Щуров) [• N.Shchurov, I.Isaev, S.Burikov, T.Dolenko, K.Laptinskiy, S.Dolenko. Taking into Account Mutual Correlations during Selection of Significant Input Features in Neural Network Solution of Inverse Problems of Spectroscopy. 6th International Workshop on Deep Learning in Computational Physics (DLCP-2022). Book of Abstracts, p.20-21. • N.O.Shchurov, I.V.Isaev, O.E.Sarmanova, S.A.Burikov, T.A.Dolenko, K.A.Laptinskiy, S.A.Dolenko. Iterative Feature Selection with Redundancy Accounting for the Neural Network Solution of Inverse Problems of Spectroscopy. Report Abstract. Saratov Fall Meeting 2022: XXIII Symposium on Spectroscopy and Molecular Modeling. Saratov, Russia, 2022. • N.Shchurov, I.Isaev, S.Burikov, T.Dolenko, K.Laptinskiy, S.Dolenko. Taking into Account Mutual Correlations during Selection of Significant Input Features in Neural Network Solution of Inverse Problems of Spectroscopy. 6th International Workshop on Deep Learning in Computational Physics (DLCP-2022), 6-8 июля 2022, ОИЯИ, Дубна. Устный доклад, докладчик Н.О.Щуров. • N.O.Shchurov, I.V.Isaev, O.E.Sarmanova, S.A.Burikov, T.A.Dolenko, K.A.Laptinskiy, S.A.Dolenko. Iterative Feature Selection with Redundancy Accounting for the Neural Network Solution of Inverse Problems of Spectroscopy. Saratov Fall Meeting 2022: XXIII Symposium on Spectroscopy and Molecular Modeling, 28-29 сентября 2022, Саратов, Россия. Устный доклад, докладчик Н.О.Щуров.] 6. Были проведены работы по автоматизированному подбору оптимальных параметров алгоритма адаптивного построения свёрточных иерархических нейросетевых классификаторов (СИНК) для эффективного решения задач классификации на устройствах с ограниченными вычислительными возможностями. К сожалению, разработанный алгоритм автоматизированного подбора параметров пока не позволяет устойчиво получать комплекты параметров алгоритма адаптивного построения СИНК, обеспечивающие качество работы алгоритма, превышающее результаты аналогов. Работы в этом направлении планируется продолжить. (асп. И.М.Гаджиев, С.А.Доленко) 7. Дополнительно к плану в отчётном году были продолжены работы по среднесрочному прогнозированию интегральных суточных потоков (флюенсов) релятивистских электронов внешнего радиационного пояса Земли (РЭ ВРПЗ) с энергиями > 2 МэВ на геостационарной орбите. Прогнозирование осуществляется с помощью нейронных сетей, горизонт прогнозирования суточных флюенсов РЭ ВРПЗ составил до 4 суток. При этом было показано, что прогноз суточных флюенсов РЭ ВРПЗ на 3 и 4 суток может быть улучшен, если на вход нейронной сети дополнительно подать результаты прогноза скорости солнечного ветра, сделанные по изображениям Солнца. (С.А.Доленко) [• V.Kalegaev, K.Kaportseva, I.Myagkova, Yu.Shugay, N.Vlasova, W.Barinova, S.Dolenko, V.Eremeev, A.Shiryaev. Medium-term prediction of the fluence of relativistic electrons in geostationary orbit using solar wind streams forecast based on solar observations. Advances in Space Research, 2022, in press. DOI: 10.1016/j.asr.2022.08.033.] 8. Дополнительно к первоначально запланированным проведены работы по решению обратной задачи по контролю выведения углеродных наносенсоров из организма с помощью оптической спектроскопии и искусственных нейронных сетей. (С.А.Доленко, К.А.Лаптинский) [• O.Sarmanova, K.Laptinskiy, S.Burikov, S.Dolenko, D.Trushina, T.Dolenko. Decoding Optical Spectra with Neural Networks to Monitor the Elimination of Carbon Nanoagents from the Body. Optical Memory and Neural Networks (Information Optics), 2022, V.31, No.3, pp.256-265. DOI: 10.3103/S1060992X22030109.] 9. Дополнительно к первоначальному плану начаты работы в новом для исполнителей темы направлении – разработка и исследование гендерной модификации генетического алгоритма (ГА). В классическом варианте ГА параметры для всех особей одинаковы, и при реализации оператора скрещивания любая особь может скрещиваться с любой. Введение в ГА концепции гендера позволяет устанавливать различные свойства для групп особей. Так, мужские особи характеризуются значительно более высоким уровнем мутации, чем женские. В рассматриваемой реализации гендерного ГА для женских особей был также введен ограничительный параметр – количество возможных скрещиваний для одной женской особи на протяжении одного поколения. В отчётном году исследовались эффективность и скорость сходимости обычной и гендерной модификаций ГА, а также зависимость работы обоих вариантов ГА от параметров. Рассмотрение велось на двух классах задач: эталонные двумерные задачи оптимизации со сложным рельефом целевой функции и обратная задача по разложению контура валентной полосы комбинационного рассеяния жидкой воды на составляющие гауссовой формы. По результатам работ, гендерный вариант ГА был признан перспективным и нуждающимся в дальнейшем изучении. (Студ. Г.А.Куприянов, И.В.Исаев, И.В.Пластинин, С.А.Доленко) [• G.A.Kupriyanov, I.V.Isaev, I.V.Plastinin, T.A.Dolenko, S.A.Dolenko. Decomposition of Spectral Contour into Gaussian Bands using Gender Genetic Algorithm. The 6th International Workshop on Deep Learning in Computational Physics (DLCP-2022). Proceedings of Science, 2022, V.429, paper 009. DOI: 10.22323/1.429.0009. • G.Kuptiyanov, I.Isaev, S.Dolenko. A Gender Genetic Algorithm and Its Comparison with Conventional Genetic Algorithm. Studies in Computational Intelligence, 2023, V.1064, pp. 158-166. DOI: 10.1007/978-3-031-19032-2_16. • G.Kupriyanov, I.Isaev, I.Plastinin, T.Dolenko, S.Dolenko. Decomposition of Spectral Contour into Gaussian Bands using Gender Genetic Algorithm. 6th International Workshop on Deep Learning in Computational Physics (DLCP-2022). Book of Abstracts, p.14-15. • G.A.Kupriyanov, I.V. Isaev, I.V. Plastinin, T.A. Dolenko, S.A. Dolenko. Genetic algorithms for estimating the contributions of intramolecular resonances of water-ethanol solutions to the formation of their Raman spectra. Report Abstract. Saratov Fall Meeting 2022: XXIII Symposium on Spectroscopy and Molecular Modeling. Saratov, Russia, 2022. • Г.А.Куприянов, И.В.Исаев, С.А.Доленко. Гендерный генетический алгоритм и его сравнение с обычным генетическим алгоритмом. Интеллектуализация обработки информации: Тезисы докладов 14-й Международной конференции, Москва. М., РАН, 2022, с.176-177. (G.Kupriyanov, I.Isaev, S.Dolenko. A Gender Genetic Algorithm and its Comparison with Conventional Genetic Algorithm. Intelligent Data Processing: Theory and Applications: Book of abstracts of the 14th International Conference, Moscow, 2022. — Moscow: Russian Academy of Sciences, 2022, p.178-179.) • G.Kupriyanov, I.Isaev, I.Plastinin, T.Dolenko, S.Dolenko. Decomposition of Spectral Contour into Gaussian Bands using Gender Genetic Algorithm. 6th International Workshop on Deep Learning in Computational Physics (DLCP-2022), 6-8 июля 2022, ОИЯИ, Дубна. Устный доклад, докладчик С.А.Доленко. • G.A.Kupriyanov, I.V. Isaev, I.V. Plastinin, T.A. Dolenko, S.A. Dolenko. Genetic algorithms for estimating the contributions of intramolecular resonances of water-ethanol solutions to the formation of their Raman spectra. Saratov Fall Meeting 2022: XXIII Symposium on Spectroscopy and Molecular Modeling, 28-29 сентября 2022, Саратов, Россия. Устный доклад, докладчик Г.А.Куприянов. • Г.А.Куприянов, И.В.Исаев, С.А.Доленко. Гендерный генетический алгоритм и его сравнение с обычным генетическим алгоритмом. Международная научно-техническая конференция "Нейроинформатика-2022", 17-21 октября 2022, МФТИ, Долгопрудный. Устный доклад, докладчик Г.А.Куприянов. • Г.А.Куприянов, И.В.Исаев, С.А.Доленко. Гендерный генетический алгоритм и его сравнение с обычным генетическим алгоритмом. 14-я Международная конференция «Интеллектуализация обработки информации», 5-9 декабря 2022, ВЦ РАН, Москва. Устный доклад, докладчик Г.А.Куприянов. • Г.А.Куприянов. Исследование разнообразия реализаций генетических алгоритмов. Курсовая работа.] 10. Дополнительно к первоначальному плану были проведены работы по применению методов машинного обучения в когнитивных науках для исследования вопроса о присущей размерности пространства эмоций. Производилось отображение сигналов электромиографии (ЭМГ), записанных от лицевых мышц испытуемого, с выраженными им эмоциями, вызываемыми демонстрацией изображений-стимулов. Осуществлялась видеорегистрация лица с автоматическим распознаванием эмоций из видеопотока. Анализ данных, основанный на методах машинного обучения, подтвердил трёхмерную природу аффективного пространства эмоций. Была также продемонстрирована возможность реконструкции трёх главных компонент пространства эмоций по сигналам ЭМГ с мышц лица с помощью методов машинного обучения. (Асп. И.М.Гаджиев, С.А.Доленко) [• I.M.Gadzhiev, M.P.Knyshenko, S.A.Dolenko, A.V.Samsonovich. Inherent dimension of the affective space: Analysis using electromyography and machine learning. Cognitive Systems Research, 2022. DOI: 10.1016/j.cogsys.2022.12.008] 11. Суммарно в ходе выполнения работ по теме 6.1 в 2022 году было опубликовано 7 и принята к публикации 1 статья, опубликованы 9 тезисов докладов, сделано 11 устных докладов на конференциях, защищены 1 магистерская диссертация и 1 курсовая работа.
11 1 января 2023 г.-31 декабря 2023 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа: 1. В отчётном году исследования по реализации прогнозирования геомагнитных возмущений были продолжены в рамках нового подхода. Было принято решение проверить гипотезу о том, что магнитосфера Земли как динамическая система обладает несколькими характерными скрытыми состояниями (ХСС), которые являются достаточно устойчивыми, с относительно быстрыми переходами между ними. При этом выделение ХСС может осуществляться как на основе анализа данных адаптивными алгоритмами, так и из физических соображений. В последнем случае наиболее простым физически обоснованным подходом является выделение ХСС на основе диапазона значений какого-либо геомагнитного индекса. В этом плане наиболее естественным выглядит использование планетарного индекса Kp, который принимает небольшое количество дискретных значений в диапазоне от 0 до 9. В терминах этого индекса выглядит естественным разбиение состояния магнитосферы на несколько классов по уровню возмущённости. По результатам работ предыдущего года, а также по результатам исследования гистограмм распределения значений индекса Kp, в отчётном году было принято решение изменить границы между классами – прежде всего, для выравнивания представительности классов. В результате решалась задача классификации состояния магнитосферы по уровню индекса Kp на три класса – условно невозмущённая (Кр<=2-), умеренно возмущённая (2<Kp<=3+) и сильно возмущённая (Kp>3+), с горизонтом прогноза от 3 до 24 часов с шагом 3 часа (ввиду того, что значение индекса Kp определяется один раз за три часа). Вторым нововведением, сделанным в отчётном году по сравнению с 2022, являлось изменение метрики оценки качества классификации – от метрики F1, с одинаковым весом учитывающей точность и полноту классификации, был произведен переход к метрике F2, придающей больший вес полноте, с её вычислением только по двум классам, соответствующим возбуждённой магнитосфере. Это позволило улучшить результаты определения возбуждённых состояний магнитосферы. Наконец, тестовый набор данных был расширен до диапазона с начала 2020 по конец 2022 года, что позволило более адекватно учесть свойства текущей фазы солнечного цикла. Результаты тривиальной инерционной модели (прогноз равен последнему известному значению) удалось превзойти для всех 8 горизонтов прогнозирования от 3 до 24 часов (с шагом 3 часа). Использовались следующие модели машинного обучения: логистическая регрессия, градиентный бустинг, случайный лес, искусственные нейронные сети типа многослойный персептрон, рекуррентная нейронная сеть типа LSTM. Прогнозы удалось улучшить с помощью известного алгоритма выравнивания баланса между классами SMOTE. Дополнительного улучшения удалось добиться путём использования погружения (топологического вложения) многомерного временного ряда на глубину в 24 часа, а также путём подбора гиперпараметров модели путём кросс-валидации (перекрёстной проверки) в её специальной реализации для временных рядов. Наилучшие результаты были получены с помощью логистической регрессии с использованием SMOTE, погружения временного ряда и подбора гиперпараметров. Мера F2, усреднённая по двум классам, соответствующим возбуждённой магнитосфере, составила от 69% для горизонта 3 часа до 30% для горизонта 24 часа. Была также произведена оценка существенности входных признаков лучшей модели. Наиболее существенными оказались значения индексов Dst и Kp, модуль и z-компонента межпланетного магнитного поля, скорость и плотность солнечного ветра, что полностью согласуется с физическими представлениями о важности входных признаков задачи. (асп.И.М.Гаджиев, И.В.Исаев, С.А.Доленко) [• I.M.Gadzhiev, I.V.Isaev, O.G.Barinov, S.A.Dolenko, I.N.Myagkova. Classification Approach to Prediction of Geomagnetic Disturbances. Moscow University Physics Bulletin, 2023, V.78, Suppl.1, pp. S96–S103. DOI 10.3103/S002713492307007X. • И.М.Гаджиев, И.Н.Мягкова, О.Г.Баринов, С.А.Доленко. Прогнозирование возмущений геомагнитного поля по индексу Kp с помощью методов классификации данных: анализ важности входных признаков. Симпозиум "Физические основы прогнозирования гелиогеофизических процессов и событий" ("ПРОГНОЗ-2023"), 29-31 мая 2023 г., ИЗМИРАН, Троицк, Москва. Сборник тезисов, с.97. • I.Gadzhiev, I.Isaev, O.Barinov, S.Dolenko, I.Myagkova. Classification Approach to Prediction of Geomagnetic Disturbances. The 7th International Conference on Deep Learning in Computational Physics, June 21-23, SPbSU, St.-Petersburg, Peterhof, Russia. Book of Abstracts, p.12-13. • И.Гаджиев, И.Мягкова, И.Исаев, О.Баринов, С.Доленко. Прогнозирование категорий возмущения геомагнитного поля по индексу Kp с помощью методов классификации данных. Первая научная конференция "Проблемы космофизики" имени М.И.Панасюка, 10-13 июля 2023 г., Дубна, Россия. Тезисы доклада #74. • И.М.Гаджиев, И.Н.Мягкова, О.Г.Баринов, С.А.Доленко. Прогнозирование возмущений геомагнитного поля по индексу Kp с помощью методов классификации данных: анализ важности входных признаков. Симпозиум "Физические основы прогнозирования гелиогеофизических процессов и событий" ("ПРОГНОЗ-2023"), 29-31 мая 2023 г., ИЗМИРАН, Троицк, Москва. Устный доклад, 31 мая, докладчик И.М.Гаджиев. • I.Gadzhiev, I.Isaev, O.Barinov, S.Dolenko, I.Myagkova. Classification Approach to Prediction of Geomagnetic Disturbances. The 7th International Conference on Deep Learning in Computational Physics, June 21-23, SPbSU, St.-Petersburg, Peterhof, Russia. Устный доклад, 23 июня, докладчик И.М.Гаджиев. • И.Гаджиев, И.Мягкова, И.Исаев, О.Баринов, С.Доленко. Прогнозирование категорий возмущения геомагнитного поля по индексу Kp с помощью методов классификации данных. Первая научная конференция "Проблемы космофизики" имени М.И.Панасюка, 10-13 июля 2023 г., Дубна, Россия. Устный доклад, 11 июля, докладчик С.А.Доленко.] 2. В отчётном году была продолжена работа по осуществлению адаптивного отбора существенных входных признаков для всех рассматриваемых задач прогнозирования космической погоды с использованием методов-обёрток, на основе линейной регрессии или градиентного бустинга, и многослойных персептронов. Разработанная в 2022 году двухэтапная методика, основанная на применении метода-обёртки с последующим обучением ряда нейросетевых моделей на наборах признаков, соответствующих области множества отобранных обёрткой оптимальных признаков, применялась при решении задач прогнозирования с часовым, трёхчасовым и суточным шагами временного ряда. После завершения ремонтных работ на принадлежащем лаборатории вычислительном кластере планируется следующий этап данного исследования, с использованием в качестве алгоритма-основы непосредственно нейронных сетей. Вычислительная стоимость этого варианта существенно выше, однако предполагается, что он позволит получить наилучшие результаты в связи с возможностью построения нелинейных моделей уже на этапе отбора существенных входных признаков. (Р.Д.Владимиров, В.Р.Широкий, С.А.Доленко) [• Р.Д.Владимиров, В.Р.Широкий, И.Н.Мягкова, О.Г. Баринов, С.А.Доленко. Сравнение эффективности методов машинного обучения при исследовании важности входных признаков в задаче прогнозирования геомагнитного индекса Dst. Геомагнетизм и аэрономия, 2023, т.63, №2, с.190-201. DOI 10.31857/S0016794022100224. (R.D.Vladimirov, V.R.Shirokiy, I.N.Myagkova, O.G.Barinov, S.A.Dolenko. Comparison of the Efficiency of Machine Learning Methods in Studying the Importance of Input Features in the Problem of Forecasting the Dst Geomagnetic Index. Geomagnetism and Aeronomy, 2023, V.63, pp.161–171. DOI 10.1134/S0016793222600795) • R.Vladimirov, V.Shirokiy, O.Barinov, I.Myagkova. Determining the Significance of Input Features in Predicting Magnetic Storms Using Machine Learning Methods. In: Kryzhanovsky, B., Dunin-Barkowski, W., Redko, V., Tiumentsev, Y., Klimov, V. (eds) Advances in Neural Computation, Machine Learning, and Cognitive Research VII. NEUROINFORMATICS 2023. Studies in Computational Intelligence, 2023, V.1120, pp.370-379. Springer, Cham. DOI 10.1007/978-3-031-44865-2_40. • Р.Д.Владимиров, И.Н.Мягкова, В.Р.Широкий, О.Г.Баринов, С.А.Доленко. Отбор существенных входных признаков с помощью метода-обёртки при прогнозировании потоков релятивистских электронов на геостационарной орбите. Симпозиум "Физические основы прогнозирования гелиогеофизических процессов и событий" ("ПРОГНОЗ-2023"), 29-31 мая 2023 г., ИЗМИРАН, Троицк, Москва. Сборник тезисов, с.95. РНФ 23-21-00237 (Мягкова). • Р.Владимиров, И.Мягкова, В.Широкий, О.Баринов, С.Доленко. Сравнение результатов отбора существенных входных признаков при прогнозировании амплитуды Dst-индекса и потоков релятивистских электронов на геостационарной орбите. Первая научная конференция "Проблемы космофизики" имени М.И.Панасюка, 10-13 июля 2023 г., Дубна, Россия. Тезисы доклада #87. РНФ 23-21-00237 (Мягкова). • Р.Д.Владимиров, И.Н.Мягкова, В.Р.Широкий, О.Г.Баринов, С.А.Доленко. Отбор существенных входных признаков с помощью метода-обёртки при прогнозировании потоков релятивистских электронов на геостационарной орбите. Симпозиум "Физические основы прогнозирования гелиогеофизических процессов и событий" ("ПРОГНОЗ-2023"), 29-31 мая 2023 г., ИЗМИРАН, Троицк, Москва. Устный доклад, 30 мая, докладчик Р.Д.Владимиров. • Р.Владимиров, И.Мягкова, В.Широкий, О.Баринов, С.Доленко. Сравнение результатов отбора существенных входных признаков при прогнозировании амплитуды Dst-индекса и потоков релятивистских электронов на геостационарной орбите. Первая научная конференция "Проблемы космофизики" имени М.И.Панасюка, 10-13 июля 2023 г., Дубна, Россия. Устный доклад, 11 июля, докладчик Р.Д.Владимиров. • Р.Д.Владимиров, В.Р.Широкий, О.Г.Баринов, И.Н.Мягкова. Исследование важности входных признаков при прогнозировании геомагнитных возмущений методами машинного обучения. XXV Международная научно-техническая конференция «Нейроинформатика-2023», Россия, Москва, НИЯУ МИФИ, 23-27 октября 2023 г. Устный доклад, 26 октября, докладчик Р.Д.Владимиров.] 3. Были продолжены работы по кросс-адаптации данных различных космических аппаратов (КА), измеряющих одни и те же параметры. Данная работа представляется весьма значимой в связи с планируемым в 2026 г. выводом из эксплуатации КА ACE, поставляемые которым данные о параметрах солнечного ветра и межпланетного магнитного поля активно используются при прогнозировании геомагнитных индексов и потоков заряженных частиц на геостационарной орбите. Показано, что преобразование данных из домена КА DSCOVR в домен КА ACE позволяет дополнить имеющийся массив данных адекватными и совместимыми данными за последние несколько лет. Проведено исследование существенности входных признаков в процессе доменной адаптации; использование оптимального набора сходных признаков позволило дополнительно сократить разницу между доменами. Это позволило в значительной мере (более чем в полтора раза) скомпенсировать снижение качества прогнозирования Dst-индекса, возникающее при применении нейронных сетей, обученных на длинном массиве данных с КА ACE, к данным (значениям параметров солнечного ветра и межпланетного магнитного поля), измеренным на КА DSCOVR. Адаптация данных встроена в штатную процедуру прогнозирования геомагнитных индексов, которую в 2024 году планируется перенести для онлайн-работы на сайте Центра прогнозирования космической погоды НИИЯФ МГУ. Разработан алгоритм постепенного перевода системы прогнозирования с данных КА ACE на данные КА DSCOVR с использованием доменной адаптации. (Студ.Э.З.Каримов, В.Р.Широкий, С.А.Доленко) [• Э.З.Каримов, И.Н.Мягкова, В.Р.Широкий, О.Г.Баринов, С.А.Доленко. Существенность входных признаков для доменной адаптации данных космических аппаратов. Космические исследования, 2023, т.61, №6, с.530-537. DOI 10.31857/S0023420623600125. (E.Z.Karimov, I.N.Myagkova, V.R.Shirokiy, O.G.Barinov, S.A.Dolenko. The Significance of Input Features for Domain Adaptation of Spacecraft Data. Cosmic Research, 2023, V.61, No. 6, pp. 554–560. DOI 10.1134/S0010952523700466.) • E.Z.Karimov, V.R.Shirokiy, O.G.Barinov, I.N.Myagkova. Domain Adaptation of Spacecraft Data in Neural Network Prediction of Geomagnetic Dst Index. In: Kryzhanovsky, B., Dunin-Barkowski, W., Redko, V., Tiumentsev, Y., Klimov, V. (eds) Advances in Neural Computation, Machine Learning, and Cognitive Research VII. NEUROINFORMATICS 2023. Studies in Computational Intelligence, V.1120, pp.398-405. Springer, Cham. DOI: 10.1007/978-3-031-44865-2_43. • С.А.Доленко, Э.З.Каримов, И.Н.Мягкова, В.Р.Широкий, О.Г.Баринов. Доменная адаптация данных космических аппаратов при прогнозировании состояния магнитосферы Земли. Симпозиум "Физические основы прогнозирования гелиогеофизических процессов и событий" ("ПРОГНОЗ-2023"), 29-31 мая 2023 г., ИЗМИРАН, Троицк, Москва. Сборник тезисов, с.101. • Э.Каримов, И.Мягкова, О.Баринов, В.Широкий, С.Доленко. Доменная адаптация данных космических аппаратов и её влияние на качество прогнозирования. Первая научная конференция "Проблемы космофизики" имени М.И.Панасюка, 10-13 июля 2023 г., Дубна, Россия. Тезисы доклада #90. • С.А.Доленко, Э.З.Каримов, И.Н.Мягкова, В.Р.Широкий, О.Г.Баринов. Доменная адаптация данных космических аппаратов при прогнозировании состояния магнитосферы Земли. Симпозиум "Физические основы прогнозирования гелиогеофизических процессов и событий" ("ПРОГНОЗ-2023"), 29-31 мая 2023 г., ИЗМИРАН, Троицк, Москва. Устный доклад, 30 мая, докладчик С.А.Доленко. • Э.Каримов, И.Мягкова, О.Баринов, В.Широкий, С.Доленко. Доменная адаптация данных космических аппаратов и её влияние на качество прогнозирования. Первая научная конференция "Проблемы космофизики" имени М.И.Панасюка, 10-13 июля 2023 г., Дубна, Россия. Устный доклад, 11 июля, докладчик Э.З.Каримов. • Э.З.Каримов, В.Р.Широкий, О.Г.Баринов, И.Н.Мягкова. Доменная адаптация данных космических аппаратов при прогнозировании геомагнитного индекса Dst. XXV Международная научно-техническая конференция «Нейроинформатика-2023», Россия, Москва, НИЯУ МИФИ, 23-27 октября 2023 г. Устный доклад, 26 октября, докладчик Э.З.Каримов. • Э.З.Каримов. Использование доменной адаптации данных космических аппаратов при прогнозировании геомагнитного индекса Dst. Бакалаврская работа, физический факультет МГУ.] 4. В отчётном году проводились работы по применению методов машинного обучения для обработки данных фМРТ, в том числе для определения типа задачи, решаемой испытуемым, в рамках когнитивных исследований (задача «Когновизор»). Для этого использовался полученный лабораторией новый массив данных. Основной проблемой при работе с данными фМРТ является их чрезвычайно высокая размерность (порядка 10^6) при малом количестве испытуемых (31), а также чрезвычайно высокий объём, не позволяющий одновременно загрузить в память компьютера весь имеющийся массив данных (объём которого составил около 380 Гб). Поэтому ключевой задачей является такое понижение размерности данных, которое позволило бы в новом пространстве пониженной размерности эффективно решать поставленные задачи – задачу бинарной классификации по отличению активного состояния мозга от состояния покоя, а также задачу многоклассовой классификации по определению одного из 6 типов задания, выполняемого испытуемым. В отчётном году были решены проблемы предварительной обработки данных и приведения данных разных испытуемых к единому шаблону изображения, а также было осуществлено понижение размерности данных с помощью анализа главных компонент (АГК). Показано, что использование 1000 главных компонент позволяет описать 99.7% дисперсии данных. Поставленные задачи классификации решались с помощью логистической регрессии, градиентного бустинга в реализациях CatBoost и LightGBM, алгоритма AdaBoost и случайного леса. Наилучшие результаты были показаны логистической регрессией с использованием 1000 главных компонент. Однако эти результаты оказались невысокими: для задачи бинарной классификации ROC AUC 0.628, точность 68.3%, полнота 13.6%; для задачи многоклассовой классификации ROC AUC 0.569, что лишь незначительно превышает результаты случайного классификатора. Был сделан вывод о том, что понижение размерности должно осуществляться другими, более эффективными методами, чем АГК. В 2024 году планируется продолжить работы с использованием свёрточных нейронных сетей, для которых понижение размерности данных фактически является встроенным в саму нейросетевую архитектуру. Были также проделаны работы по подготовке визуализации положения состояния испытуемого на семантической карте состояний. (Асп.И.М.Гаджиев, С.А.Доленко, студ.А.С.Макаров.) 5. Разработанный в 2022 году алгоритм отбора существенных входных признаков при работе с мультиколлинеарными входными признаками дорабатывался и тестировался в отчётном году на примере обратных задач разведочной геофизики и задач прогнозирования космической погоды. Было подтверждено, что с помощью данного алгоритма возможно кратно уменьшить количество входных признаков без снижения качества решения обратной задачи или задачи прогнозирования. На данных обратной задачи разведочной геофизики было также показано, что при некоторых значениях параметров обучение нейронной сети на множестве признаков, отобранных данным алгоритмом, показывает меньшую погрешность решения обратной задачи по сравнению с обучением на полном исходном наборе признаков. По результатам работ был также сделан вывод о том, что в процессе дальнейшей доработки алгоритма следует а) протестировать его работу ещё на 2-3 классах задач и б) продолжить исследование различных метрик взаимосвязи входных признаков с выходным и между собой. Эти работы планируются на 2024 год. (Студ. Н.О.Щуров, И.В.Исаев, С.А.Доленко.) [• Н.О.Щуров, И.В.Исаев, И.Е.Оборнев, С.А.Доленко. Итеративный отбор существенных признаков в условиях их мультиколлинеарности при решении обратной задачи разведочной геофизики. XXI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Сборник тезисов, с.188. М., МГППУ, 2023. • Н.Щуров, И.Исаев, И.Мягкова, О.Баринов, С.Доленко. Итеративный отбор существенных признаков в условиях их мультиколлинеарности при прогнозировании временных рядов. Первая научная конференция "Проблемы космофизики" имени М.И.Панасюка, 10-13 июля 2023 г., Дубна, Россия. Тезисы доклада #107. • N.Shchurov, I.Isaev, O.Barinov, I.Myagkova, S.Dolenko. Iterative Selection of Essential Input Features under Conditions of their Multicollinearity in Space Weather Time Series Forecasting. Pattern Recognition and Information Processing (PRIP’2023). Artificial Universe: New Horisont [Electronic resource]: Proceedings of the 16th International Conference, October 17–19, 2023, Belarus, Minsk, Belarusian State University. Eds. A.Nedzved, A.Belotserkovsky. Minsk: BSU, 2023, pp.316-319. ISBN 978-985-881-522-6. • Н.О.Щуров, И.В.Исаев, И.Е.Оборнев, С.А.Доленко. Итеративный отбор существенных признаков в условиях их мультиколлинеарности при решении обратной задачи разведочной геофизики. XXI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Устный доклад, 28 марта, докладчик Н.О.Щуров. • Н.Щуров, И.Исаев, И.Мягкова, О.Баринов, С.Доленко. Итеративный отбор существенных признаков в условиях их мультиколлинеарности при прогнозировании временных рядов. Первая научная конференция "Проблемы космофизики" имени М.И.Панасюка, 10-13 июля 2023 г., Дубна, Россия. Стендовый доклад, 11 июля, докладчик С.А.Доленко. • N.Shchurov, I.Isaev, O.Barinov, I.Myagkova, S.Dolenko. Iterative Selection of Essential Input Features under Conditions of their Multicollinearity in Space Weather Time Series Forecasting. 16th International Conference on Pattern Recognition and Information Processing (PRIP’2023), October 17–19, 2023, Belarus, Minsk, Belarusian State University. Устный доклад, 17 октября, докладчик С.А.Доленко.] 6. В отчётном году продолжались работы по использованию методов машинного обучения для решения обратных задач. Рассматривался широкий спектр обратных задач оптической спектроскопии: мониторинг выведения углеродных наноагентов из тела человека путём решения обратных задач флуоресцентной спектроскопии методами машинного обучения; разработка мультимодального наносенсора ионов металлов на основе использования свёрточных нейронных сетей для обработки двумерных карт флуоресценции (матриц возбуждение-поглощение) и решения обратной задачи по определению концентраций ионов в растворе; решение обратных задач спектроскопии растворов с помощью методов машинного обучения с использованием комплексирования данных различных типов спектроскопии. Комплексирование физических методов рассматривалось также при решении обратных задач разведочной геофизики. Был подтвержден сделанный ранее основной вывод – комплексирование физических методов эффективно, если использование данных комбинируемых методов по отдельности даёт сравнимую погрешность решения обратной задачи. Если погрешность на данных одного метода существенно ниже, чем на данных другого, как правило, комплексирование данных этих методов не позволяет превзойти результаты «сильного» метода. (Студ. А.А.Гуськов, студ. А.Д.Першин, И.В.Исаев, К.А.Лаптинский, С.А.Доленко.) [• O.E.Sarmanova, A.D.Kudryashov, K.A.Laptinskiy, S.A.Burikov, M.Yu.Khmeleva, A.A.Fedyanina, S.A.Dolenko, P.V.Golubtsov, T.A.Dolenko. Applications of fluorescence spectroscopy and machine learning methods for monitoring of elimination of carbon nanoagents from the body. Optical Memory and Neural Networks (Information Optics), 2023, V.32, No,1, pp. 20-33. DOI: 10.3103/S1060992X23010046. • O.E.Sarmanova, G.N.Chugreeva, K.A.Laptinskiy, S.A.Burikov, S.A.Dolenko, T.A.Dolenko. Decoding Fluorescence Excitation-Emission Matrices of Carbon Dots Aqueous Solutions with Convolutional Neural Networks to Create Multimodal Nanosensor of Metal Ions. Moscow University Physics Bulletin, 2023, V.78, Suppl.1, pp. S202–S209. DOI 10.3103/S0027134923070287. • А.А.Гуськов, И.В.Исаев, С.А.Буриков, К.А.Лаптинский, С.А.Доленко. Спектроскопия растворов: решение обратных задач методами машинного обучения с использованием комплексирования данных физических методов. XXI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Сборник тезисов, с.187. М., МГППУ, 2023. • O.E.Sarmanova, G.N.Chugreeva, K.A.Laptinskiy, S.A.Burikov, S.A.Dolenko, T.A.Dolenko. Decoding fluorescence excitation-emission matrices of carbon dots aqueous solutions with convolutional neural networks to create multimodal nanosensor of metal ions. The 7th International Conference on Deep Learning in Computational Physics, June 21-23, SPbSU, St.-Petersburg, Peterhof, Russia. Book of Abstracts, p.20. • А.Д.Першин, И.В.Исаев, И.Е.Оборнев, С.А.Доленко. Исследование комплексирования физических методов при нейросетевом решении обратной задачи разведочной геофизики с переменными свойствами среды. XXI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Сборник тезисов, с.185. М., МГППУ, 2023. • А.А.Гуськов, И.В.Исаев, С.А.Буриков, К.А.Лаптинский, С.А.Доленко. Спектроскопия растворов: решение обратных задач методами машинного обучения с использованием комплексирования данных физических методов. XXI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Устный доклад, 28 марта, докладчик А.А.Гуськов. • O.E.Sarmanova, G.N.Chugreeva, K.A.Laptinskiy, S.A.Burikov, S.A.Dolenko, T.A.Dolenko. Decoding fluorescence excitation-emission matrices of carbon dots aqueous solutions with convolutional neural networks to create multimodal nanosensor of metal ions. The 7th International Conference on Deep Learning in Computational Physics. Стендовый доклад, 22 июня, докладчик С.А.Доленко. • А.Д.Першин, И.В.Исаев, И.Е.Оборнев, С.А.Доленко. Исследование комплексирования физических методов при нейросетевом решении обратной задачи разведочной геофизики с переменными свойствами среды. XXI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Устный доклад, 28 марта, докладчик А.Д.Першин. • А.Д.Першин. Комплексирование физических методов при нейросетевом решении обратных задач разведочной геофизики. Бакалаврская работа, физический факультет МГУ.] 7. Были продолжены начатые в 2022 году разработка и исследование гендерной модификации генетического алгоритма (ГГА), его проверка и использование при решении задач разложения сложного спектрального контура на полосы гауссовой формы. Рассматривались несколько модификаций ГГА: с введением различия между стратегиями отбора для разных гендеров (турнирный отбор для мужских особей и «колесо рулетки» для женских), с введением различия между гендерами в оператор мутации (с разной вероятностью мутации разных разрядов хромосомы), с комбинацией обеих модификаций. Результаты ГГА со всеми тремя модификациями сравнивались с ГГА без модификаций и с обычным ГА. Результаты для модельных задач и для задачи разложения спектрального контура получились различными. Следует продолжить исследования по определению оптимальных модификаций ГГА и их оптимальных параметров. (Студ. Г.А.Куприянов, И.В.Исаев, И.В.Пластинин, С.А.Доленко) [• G.Kupriyanov, I.Isaev, S.Dolenko. Study of Modifications of Gender Genetic Algorithm. In: Kryzhanovsky, B., Dunin-Barkowski, W., Redko, V., Tiumentsev, Y., Klimov, V. (eds) Advances in Neural Computation, Machine Learning, and Cognitive Research VII. NEUROINFORMATICS 2023. Studies in Computational Intelligence, V.1120, pp.279-289. Springer, Cham. DOI: 10.1007/978-3-031-44865-2_30. • G.A.Kupriyanov, I.V.Isaev, I.V.Plastinin, T.A.Dolenko, S.A.Dolenko. Decomposition of Spectral Band into Gaussian Contours Using an Improved Modification of the Gender Genetic Algorithm. Moscow University Physics Bulletin, 2023, V.78, Suppl.1, pp. S236–S242. DOI 10.3103/S0027134923070044. • Г.А.Куприянов, С.А.Доленко, И.В.Исаев. Исследование некорректности обратной задачи по разложению произвольного контура на полосы гауссовой формы. XXI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Сборник тезисов, с.188-189. М., МГППУ, 2023. • S.A.Dolenko, G.A.Kupriyanov, I.V.Isaev, I.V.Plastinin, T.A.Dolenko. Decomposition of Spectral Contour into Gaussian Bands using Improved Modification of Gender Genetic Algorithm. The 7th International Conference on Deep Learning in Computational Physics, June 21-23, SPbSU, St.-Petersburg, Peterhof, Russia. Book of Abstracts, p.8-9. • Г.А.Куприянов, С.А.Доленко, И.В.Исаев. Исследование некорректности обратной задачи по разложению произвольного контура на полосы гауссовой формы. XXI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Устный доклад, 28 марта, докладчик Г.А.Куприянов. • S.A.Dolenko, G.A.Kupriyanov, I.V.Isaev, I.V.Plastinin, T.A.Dolenko. Decomposition of Spectral Contour into Gaussian Bands using Improved Modification of Gender Genetic Algorithm. The 7th International Conference on Deep Learning in Computational Physics, June 21-23, SPbSU, St.-Petersburg, Peterhof, Russia. Устный доклад, 22 июня, докладчик С.А.Доленко. • Г.А.Куприянов, И.В.Исаев, С.А.Доленко. Исследование модификаций гендерного генетического алгоритма. XXV Международная научно-техническая конференция «Нейроинформатика-2023», Россия, Москва, НИЯУ МИФИ, 23-27 октября 2023 г. Устный доклад, 24 октября, докладчик Г.А.Куприянов.] 8. Дополнительно к запланированному на 2023 год были проведены работы по сравнительному исследованию методов отбора входных признаков (ВП) на основе анализа весов нейронной сети (АВНС). На примере задачи по определению типа газа по данным полупроводниковых газовых сенсоров, работающих в динамическом температурном режиме, сравнивались 4 метода анализа существенности ВП: метод фиксации значений ВП и метод перемешивания значений ВП, использованные в качестве референсных методов, а также стандартный метод АВНС и метод АВНС, основанный на глубоком разложении Тейлора. Оба метода АВНС показали сравнимые результаты, превышающие результаты референсных методов, при отборе 50% признаков. (Студ. Ю.М.Витюгова, А.О.Ефиторов, В.Р.Широкий.) [• Ю.М.Витюгова, А.О.Ефиторов, В.Р.Широкий. Сравнение методов отбора входных признаков на основе анализа весов нейронной сети. XXV Международная научно-техническая конференция "Нейроинформатика-2023". Сборник научных трудов. М., НИЯУ МИФИ, 2023, с.44-53. • Ю.М.Витюгова, А.О.Ефиторов, В.Р.Широкий. Сравнение методов отбора входных признаков на основе анализа весов нейронной сети. XXV Международная научно-техническая конференция "Нейроинформатика-2023". Россия, Москва, НИЯУ МИФИ, 23-27 октября 2023 г. Устный доклад, 23 октября, докладчик Ю.М.Витюгова. • Ю.М.Витюгова. Анализ весов нейронной сети при обработке данных в физике. Бакалаврская работа, физический факультет МГУ.] 9. Дополнительно к запланированному на 2023 год были проведены работы по поиску оптимального способа отображения сигналов электромиограммы мышц лица в аффективное пространство эмоций человека с помощью методов машинного обучения. Наилучшие результаты были получены с помощью градиентного бустинга при использовании погружения (топологического вложения) входного временного ряда на 10 отсчётов. (Асп. И.М.Гаджиев, студ. А.С.Макаров, С.А.Доленко.) [• I.Gadzhiev, A.Makarov, D.Tikhomirova, S.Dolenko, A.Samsonovich. Mapping Action Units to Valence and Arousal Space using Machine Learning. In: Samsonovich, A.V. and Liu, T. (eds). Biologically Inspired Cognitive Architectures 2023. Proceedings of the 14th Annual Meeting of the BICA Society. Studies in Computational Intelligence, V. 1130, pp. 342-350. Cham, Switzerland: Springer Nature, 2024. DOI 10.1007/978-3-031-50381-8_36. Принято к публикации. • I.Gadzhiev, A.Makarov, D.Tikhomirova, S.Dolenko, A.Samsonovich. Mapping Action Units to Valence and Arousal Space using Machine Learning. Annual International Conference on Brain-Inspired Cognitive Architectures for Artificial Intelligence. The 14th Annual Meeting of the BICA Society (BICA*AI 2023), Ningbo, China, October 13-15, 2023. Стендовый виртуальный доклад, 8 октября 2023, докладчик И.М.Гаджиев. • А.С.Макаров. Использование методов машинного обучения для отображения сигналов ЭМГ мышц лица в пространство эмоций человека. Курсовая работа, физический факультет МГУ. 10. Суммарно в ходе выполнения работ по теме 6.1 в 2023 году было опубликовано 11 и принята к публикации 1 статья, опубликованы 14 тезисов докладов, сделано 17 устных и 3 стендовых доклада на конференциях, защищены 3 бакалаврских и 1 курсовая работа.
12 1 января 2024 г.-31 декабря 2024 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа:
13 1 января 2025 г.-31 декабря 2025 г. Разработка нейросетевых методов обработки данных физического эксперимента
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".