Математическое моделирование волновых процессов в задачах дистанционного зондированияНИР

Mathematical modeling of wave process for the remote sounding problem

Соисполнители НИР

МГУ имени М.В. Ломоносова Координатор

Источник финансирования НИР

госбюджет, раздел 0110 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2016 г.-31 декабря 2016 г. Математическое моделирование волновых процессов в задачах дистанционного зондирования
Результаты этапа: На основе теории сингулярных интегральных уравнений разработан вычислительный алгоритм для задачи отражения Н-поляризованного трёхмерного электромагнитного поля от границы раздела сред, содержащей локально неоднородной импедансный участок. Создан программный комплекс расчёта электродинамических характеристик рассеянного поля. В случае Е-поляризации исследованы наводимые поля на границе раздела сред и диаграммы направленности отражённого поля в дальней зоне для различных геометрических характеристик отражающей поверхности и частотного диапазона. Для обеспечения компиляции кода на суперкомпьютерах были проделаны следующие действия: 1. Поскольку раздел файловой системы на вычислитель-ном узле где происходит запуск задачи часто не совпадает с каталогом пользователя на интерфейсной машине, был создан каталог _scratch/opt, в который затем устанавливается всё программное обеспечение и библиотеки, необходимые для организации работы эксперимента. Всё разворачивается так, как будто это каталог /usr файловой системы UNIX. Этот каталог должен находиться в части файловой системы, доступной узлам кластера. 2. Модифицировались переменные окружения в файлах .profile так, чтобы динамически подгружаемые библиотеки и программы искались из каталогов _scratch/opt/bin и _scratch/opt/lib и у них приоритет был выше, чем у стандартных системных библиотек. 3. В домашнем каталоге в каталог src/dependent_soft распаковываются исходные коды программного обеспечения которое обеспечивает работоспособность и компилируемость кода, реализующего эксперимент на вычислительной системе. Там же создаётся Makefile (аналогично подходу portage в Gento Linux), который в правильном порядке компилирует необходимое программное обеспечение.
2 1 января 2017 г.-31 декабря 2017 г. Математическое моделирование волновых процессов в задачах дистанционного зондирования
Результаты этапа: Рассмотрена задача отражения трехмерного электромагнитного поля от локально неоднородной границы раздела сред. На основе метода сингулярных интегральных уравнений построен вычислительный алгоритм. Исследованы интегральные характеристики полей в дальней зоне для различных электродинамических параметров, характеризующих рассматриваемую модель. Цель проведенного тестирования - уточнить структуру задержек, чтобы полуавтоматически обнаружить аномалии в коммуникациях, тем самым дать полезный инструмент для балансировки нагрузки в параллельных программах, для решения задачи назначений вычислений на узлы вычислительного кластера, а также дать инструмент системным администраторам для выявления несоответствий спецификации производителя вследствие некорректной работы оборудования или изменившихся условий эксплуатации всей системы целиком. Наработки авторов собраны в проект с открытым исходным кодом ``HPC cluster benchmarking toolkit''. Результаты тестирования сохраняются в виде множества матриц задержек для каждой упорядоченной пары MPI-процессов. В контексте подхода анализа параллельного приложения на основе сбора трасс такие матрицы называются коммуникационными. Анализируемые данные представляют собой трехмерный <<куб данных>>. Так, в результате работы network_test получаются <<сырые>> данные, которые затем вовлечены в дальнейшую обработку. Исходя из специфики полученных результатов разработан инструмент Network Viewer, позволяющий работать как в 2D режиме для демонстрации задержек между узлами на одной длине сообщений,так и в 3D режиме для анализа динамики задержек с ростом длины сообщений. Разумно было бы сократить размер указанных трехмерных описаний. Одним из путей сокращения описания результатов тестирования является нахождение групп схожих значений. Для решения данной задачи используется кластерный анализ. Для кластеризации использовались алгоритмы агломеративной кластеризации, дивизивной кластеризации, а также оконного взвешивания по размеру передаваемого сообщения. В связи с большой модульностью системы необходимо иметь возможность собрать набор компонентов, необходимый для конкретной задачи. Для этого при конфигурации сборки можно выбрать необходимые компоненты и отсечь ненужные зависимости. Это позволяет проводить тестирование и сбор результатов отдельно от их визуализации. Таким образом от вычислительного комплекса не требуется наличие графических библиотек и фреймворков для отрисовки интерфейса. Их можно скомпилировать отдельно на другом компьютере. Также разработан прототип приложения для анализа очереди задач, управляемых системой ведения очередей slurm, c целью подбора оптимального лимита времени при постановки задачи по тестированию в очередь суперкомпьютера. На суперкомпьютере "Ломоносов 2" развернута инфраструктура в виде набора SHELL скриптов и специализированных Makefile-ов для управления компиляцией кода Европейской модели для моделирования климата MPI-ESM, а также запусками расчётных экспериментов. Используется в том числе в исследованиях по усвоению данных в математических моделях прогнозирующих изменения климата.
3 1 января 2018 г.-31 декабря 2018 г. Математическое моделирование волновых процессов в задачах дистанционного зондирования
Результаты этапа: Рассмотрена задача отражения поля плоской E- и Н-поляризованной трёхмерной электромагнитной волны от идеально проводящей границы раздела сред, содержащей локальную хорошо проводящую неоднородность. Для построения численного алгоритма краевая задача для системы уравнений Максвелла в бесконечной области с нерегулярной границей сведена к решению системы сингулярных интегральных уравнений, которая решена методом аппроксимации и коллокации. Элементы полученной комплексной матрицы вычислены с помощью специально разработанного алгоритма. С использованием решения системы сингулярных интегральных уравнений получены интегральное представление для отражённого электромагнитного поля и расчётные формулы для диаграммы направленности отражённого электромагнитного поля в дальней зоне. Предложен подход, который в дальнейшем позволит создать систему выдачи рекомендаций пользователю о возможности замены некоторых фрагментов в пакете прикладных программ с целью дальнейшей оптимизации, в том числе параллельной реализации. Построение такой системы можно разделить на несколько этапов: 1) Создание базы фрагментов кода, на основании которой будет производиться поиск; 2) Создание базы оптимальных функциональных эквивалентов для предложения замены найденных фрагментов. 3) Осуществление поиска схожих фрагментов по созданной базе в каком-либо пакете прикладных программ. Предложенный подход был протестирован на пакетах прикладных программ, описанных во введении: OpenFOAM, GROMACS и MPI-ESM. Разработаны методы предобработки пакетов прикладных программ, предложена метрика вычисления схожести между участками кода, основанная на нечётком сравнении 2-х синтаксических деревьев. Изучено применение популярных методов машинного обучения к задаче прогнозирования моментов стартов задач пользователей на вычислительном кластере. В качестве исходных данных были взяты сведения о задачах пользователей за год с машины BlueGene/P, установленной на факультете ВМК МГУ.
4 1 января 2019 г.-31 декабря 2019 г. Математическое моделирование волновых процессов в задачах дистанционного зондирования
Результаты этапа: Проведены вычислительные эксперименты в задаче отражения трёхмерного электромагнитного поля от нерегулярной границы раздела сред для различной формы и протяжённости локальной неоднородности границы и для различных электромагнитных проницаемостей среды в резонансном частотном диапазоне. Доработана система тестирования коммуникационной среды network-test2: добавлен режим анализа данных, который позволяет автоматически находить позиции "шагов", в длительностях задержек при передаче. Использованы методы корелляционного анализа. Разработан интерфейс для системы Uniclust, позволяющий моделировать прохождение потока задач через системы ведения очередей нескольких вычислительных кластеров.
5 1 января 2020 г.-31 декабря 2020 г. Математическое моделирование волновых процессов в задачах дистанционного зондирования
Результаты этапа: Исследованы процессы отражения плоских трёхмерных электромагнитных волн от локально неоднородной границы раздела двух сред. Построены численные алгоритмы, основанные на решении систем сингулярных интегральных уравнений. Исследованы ядра интегральных уравнений Фредгольма, которые успешно используются при решении задач дифракции волн в частично заполненных волноводах и на периодических решетках. Доработаны системы тестирования коммуникационной среды network-tests2 за счёт уточнения режимов тестирования с учётом графических процессоров. Создан программный код, осуществляющий нагрузочное тестирование вычислительного кластера с большим количеством GPU (Graphics Processing Unit), распределенных по узлам кластера. В результате собирается информация о задержках во времени при передаче данных разного размера между всеми GPU в системе. Разработано два режима тестирования "all to all" и "one to one". В первом режиме все GPU передают данные всем GPU одновременно. Во втором режиме в один момент времени происходит передача только между двумя GPU. По результатам тестирования, полученным с вычислительного кластера К60 (ИПМ РАН), было показано, что коммутационная среда суперкомпьютера при передаче информации между GPU не является однородной не только для передачи через сеть, но и для GPU в рамках одного узла вычислительного кластера.

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".