Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры.НИР

Supercomputer ecodesign: algorithms, programming technologies, architectures

Соисполнители НИР

МГУ имени М.В.Ломоносова Координатор

Источник финансирования НИР

госбюджет, раздел 0706 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2019 г.-31 декабря 2019 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры.
Результаты этапа: В результате годовой работы в рамках первого этапа кафедральной темы был предложен новый подход к оценке эффективности функционирования суперкомпьютерной систем. В основе данного подхода лежит введённая авторами работы функция потери качества планирования суперкомпьютера. Предложенный метод был применен для целевой оптимизации процессов планирования потока задач на суперкомпьютерах "Ломоносов" и "Ломоносов-2", входящих в суперкомпьютерный комплекс МГУ. Кроме того было проведено исследование реализаций графовых алгоритмов на современных высокопроизводительных архитектурах. Было показано, что векторная архитектура NEC SX-Aurora TSUBASA последнего поколения позволяет выполнять различные алгоритмы обработки графов большого размера крайне эффективно. Разработанные реализации ряда графовых алгоритмов, оптимизированные в соответствии с наиболее важными свойствами архитектуры SX-Aurora, показали в 15 раз лучшую производительности по сравнению с оптимизированными параллельными реализациями для архитектуры Intel Skylake и до 5 раз лучшей производительности по сравнению с реализациями библиотеки NVGRAPH для архитектуры Pascal GPU. Еще один результат был получен в области моделирования беспроводных сенсорных сетей (БСС) — важного компонента интернета вещей, который по оценкам экспертов в ближайшем будущем станет одним из главных источников больших данных (Big Data). Одним из авторов работы был разработан симулятор БСС с цепочечной маршрутизацией на основе протокола PEGASIS. Симулятор учитывает наличие фазы сна узлов сети. Были исследованы такие показатели работы сети как расход энергии и скорость сбора информации. Полученные результаты вычислительных экспериментов помогают оценить разницу значений этих параметров при различных соотношениях фазы сна и фазы активности узла
2 1 января 2020 г.-31 декабря 2020 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры.
Результаты этапа: 1.Предложены подходы к эффективной реализации набора фундаментальных графовых алгоритмов для векторных систем с быстрой памятью на примере современной архитектуры NEC SX-Aurora TSUBASA. 2.Рассмотрены подходы к оптимизации графовых алгоритмов для векторных систем, в том числе: выбор оптимальных алгоритмов, подходящих для векторизации, и их соответствующая модификация, повышение локальности обходов графов, улучшение шаблона доступа к памяти, балансировку параллельной работы между векторными ядрами и векторными инструкциями, и многие другие. 3. Исследованы существующие и предложены новые подходы к анализу эффективности, профилировке и поиску узких мест реализаций графовых алгоритмов для векторных систем, позволяющие контролировать процесс оптимизации и создания эффективных реализаций для векторных систем на основе качественных и количественных характеристик. 4. Исследованы методов построения и оптимизации глубоких сверточных нейронных сетей для многопроцессорных высокопроизводительных вычислительных систем, проведена практическая реализация рассмотренных и вновь разрабатываемых методов на суперкомпьютерах МГУ. 5. Исследованы подходы к оптимизации алгоритма Катмулла-Кларка иерархического разбиения полигональных моделей.
3 1 января 2021 г.-31 декабря 2021 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры.
Результаты этапа: В результате выполнения данной НИР были получены следующие результаты: - впервые предложены алгоритмы распределенной обработки графов для современных векторных ускорителей NEC SX-Aurora TSUBASA; - распараллелены этапы предварительной обработки данных в инструменте анализа суперкомпьютерных логов ClusterLogs - предложен метод оптимизации гиперпараметров глубоких нейросетей с помощью мини-бенчмарков; - разработан инструмент отладки протоколов сбора данных в беспроводных сенсорных сетях.
4 1 января 2022 г.-31 декабря 2022 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры
Результаты этапа: В результате выполнения данной НИР были получены следующие результаты: - Исследованы параллельные версии алгоритма DBSCAN, работающие как на общей так и на распределенной памяти, с целью внедрения их в автоматическую систему категоризации текстовых сообщений. Предложена модификация одной из параллельных реализаций DBSCAN, позволяющая значительно повысить параллельное ускорение для данной задачи. - Предложен подход к описанию протоколов маршрутизации данных в беспроводных сенсорных сетях, облегчающий переход от компьютерной симуляции к натурному тестированию - Выполнен анализ нескольких семейств популяционных алгоритмов оптимизации и предложена модель организации данного типа алгоритмов. Разработан прототип библиотеки для работы с популяционными алгоритмами на базе предложенной модели. - Предложен метод оптимизации архитектуры нейросетей, основанный на сжатии нейросетевых архитектур в процессе эволюционного поиска. Сжатие нейросетевых моделей производится с использованием L1/L2 регуляризации. Дана теоретическая оценка ускорения эволюционного процесса с использованием предложенного метода. Проведено экспериментальное исследование предложенной реализации. Показано, что полученное ускорение достигается с незначительной потерей точности результата - Предложен подход оптимизации использования ресурсов суперкомпьютерного центра
5 1 января 2023 г.-31 декабря 2023 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры
Результаты этапа: 1) Предложен алгоритм параллельного обучения нейросети, направленный на уменьшение длительности коммуникаций обучающих процессов. Основная идея алгоритма заключается в разделении коммуникаций на локальные и глобальные и применении разных методов организации параллельного обучения на этих двух уровнях. Для организации коммуникаций между процессами, расположенных на разных вычислительных узлах, использовались методы параллельного обучения: Local-SGD, Gossip и Sparsification. С помощью вычислительных экспериментов было показано, что предложенный метод позволяет сократить время обучения нейронных сетей, при этом точность модели при использовании данного метода выше, чем при использовании алгоритмов параллельного обучения, имеющих схожую степень ускорения коммуникаций. 2) Функционал библиотеки роевых алгоритмов Insectae дополнен тремя новыми параллельными алгоритмами оптимизации. Выбор технологий распараллеливания и распределения задач в кластере был сделан на основе сравнительного анализа эффективности существующих технологий в при- менении к рассматриваемому классу задач. Для удобства пользователей в библиотеку добавлен набор тестовых задач и базовые средства визуализации. 3) Завершена интеграция модифицированного параллельного алгоритма DBSCAN c разработанным ранее фреймворком ClusterLogs, обеспечивающим автоматизированный и адаптивный метод кластеризации сообщений об ошибках 4) Изучена возможность оптимизации работы с памятью при решении систем алгебраических линейных уравнений с использованием разреженной матрицы. Предложено два новых формата хранения разреженной матрицы на основе широко используемого CSR формата. Полученная оптимизация позволила существенно сократить время операции умножения матрицы на вектор, а также позволила ускорить решение систем линейных алгебраических уравнений, использующих данную операцию в качестве основного вычислительного блока 5) Проведено сравнительное исследование эффективности индексации облаков точек с помощью решётки и kd-дерева в двумерном случае в приложении к задаче поиска k соседей.
6 1 января 2024 г.-31 декабря 2024 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры
Результаты этапа: 1. Проведены исследования методов индексации элементов облаков точек, выравнивания облаков точек и выделения геометрических примитивов в облаках точек.
7 1 января 2025 г.-31 декабря 2025 г. Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".

Прикрепленные файлы

№ Имя Описание Имя файла Размер Добавлен