|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры.НИР
Supercomputer ecodesign: algorithms, programming technologies, architectures
- Руководитель НИР: Воеводин В.В.
- Ответственный исполнитель: Попова Н.Н.
- Участники НИР: Афанасьев И.В., Белов Н.А., Желтков А.А., Жуков К.А., Иванов Д.А., Клейменов А.А., Леоненков С.Н., Мазеев А.В., Николашкин А.Г., Никольский И.М., Паокин А.В., Тимохин И.А., Хамитов К.Г., Чепурнов А.В., Шайхисламов Д.И., Шегай М.В., Шубин М.В.
- Подразделение: Кафедра суперкомпьютеров и квантовой информатики
- Срок исполнения: 1 января 2019 г. - 31 декабря 2028 г.
- Номер договора (контракта, соглашения): 7.1.19
- Номер ЦИТИС: АААА-А19-119030590041-5
- Тип: Прикладная
- Приоритетное направление научных исследований: Программное и математическое обеспечение эффективного решения актуальных задач на современных вычислительных системах
- Приоритеты и перспективы НТР Российской Федерации согласно Стратегии НТР РФ: переход к передовым цифровым, интеллектуальным технологиям
- ПН России: Информационно-телекоммуникационные системы
- Направление технологического прорыва России: Стратегические информационные технологии
- Критическая технология России: Технологии информационных, управляющих, навигационных систем
-
Рубрики ГРНТИ:
- 27.41.23 Машинные, графические и другие методы вычислительной математики
- 27.41.41 Алгоритмы решения задач вычислительной и дискретной математики
- 27.41.77 Решение математических задач при помощи моделирующих систем
- Классификатор OECD: Информатика – приложения
-
Ключевые слова:
роевые алгоритмы, анализ логов, алгоритмы линейной алгебры, разреженные матрицы, облака точек, суперкомпьютерный кодизайн
point cloud, sparse matrices, log analysis, swarm algorithms, supercomputer codesign, linear algebra algorithms -
Описание:
Потенциал современных вычислительных систем огромен, и поиск методов его эффективного использования является отдельной и крайне сложной задачей. Для ее решения требуется проводить глубокий совместный анализ особенностей аппаратный платформ, алгоритмов решения задачи и реализаций этих алгоритмов. Предлагаемый в данной заявке проект направлен на развитие технологий суперкомпьютерного кодизайна. Технологии суперкомпьютерного кодизайна – это совокупность методов, позволяющих согласовать метрики алгоритмов, программ и параметров архитектуры суперкомпьютеров для достижения заданной цели (максимум производительности, минимум энергопотребления, максимум локальности данных, минимум занимаемой памяти, минимум обмена данными, максимум эффективности использования суперкомпьютера). Согласованное изучение алгоритмов, технологий параллельного программирования и архитектуры вычислительных систем составляет базу данного проекта. Направление является исключительно актуальным, во многом определяющим успешность вычислительных технологий в экзафлопсную эру.
-
Abstract:
The potential of modern computer systems is huge, and the search for methods of its effective use is a separate and extremely difficult task. To solve this problem it's required to conduct in-depth complex analysis of the features of the hardware platforms, problem solving algorithms and implementations of these algorithms. Proposed project is aimed at the development of supercomputer codesign technologies. Supercomputer codesign technologies are a set of methods that allow to coordinate metrics of algorithms, programs and parameters of supercomputer architecture to achieve our goal (maximum performance, minimum power consumption, maximum data locality, minimum memory, minimum data exchange, maximum efficiency in the use of a supercomputer). Consistent study algorithms, parallel programming technologies and computational architecture form the basis of this project. The direction is definitely actual, in many respects defining success of computing technologies in the exaflops era.
-
Планируемые результаты:
- Исследование и разработка методов планирования потоков задач в крупных суперкомпьютерных центрах с учетом заданных целевых функций качества. - Исследование методов кодизайн-проектирования для суперкомпьютерного решения ресурсоемких задач биоинформатики. - Разработка и исследование нейросетевых моделей и методов их реализации на высокопроизводительных вычислительных системах. - Исследование методов решения, технологий программирования и анализа эффективности параллельных приложений, интенсивно работающих с данными (data-intensive applications). - Исследование и прототипирование технологий виртуализации для массового использования высокопроизводительных вычислительных систем в средах с неоднородной программной инфраструктурой.
-
Научный задел:
1. Проведено исследование потоков задач суперкомпьютеров "Ломоносов" и "Ломоносов-2" cуперкомпьютерного комплекса МГУ 2. Проведено сравнительное тестирование графовых алгоритмов на вычислительных архитектурах NEC SX-Aurora TSUBASA, P100 GPU (NVGRAPH) и Intel Skylake 3. В результате проведения НИР Суперкомпьютерные технологии, системы и приложения (2014-2018 годы) была предложена новая модель, основанная на сетях взаимодействующих процессов, предназначенная для исследования поведения параллельных программ на суперкомпьютерных системах.
- Добавил в систему: Врагова Елена Юрьевна
Соисполнители НИР
| МГУ имени М.В.Ломоносова | Координатор |
Источник финансирования НИР
| госбюджет, раздел 0706 (для тем по госзаданию) |
Этапы НИР
| # | Сроки | Название |
| 1 | 1 января 2019 г.-31 декабря 2019 г. | Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры. |
| Результаты этапа: В результате годовой работы в рамках первого этапа кафедральной темы был предложен новый подход к оценке эффективности функционирования суперкомпьютерной систем. В основе данного подхода лежит введённая авторами работы функция потери качества планирования суперкомпьютера. Предложенный метод был применен для целевой оптимизации процессов планирования потока задач на суперкомпьютерах "Ломоносов" и "Ломоносов-2", входящих в суперкомпьютерный комплекс МГУ. Кроме того было проведено исследование реализаций графовых алгоритмов на современных высокопроизводительных архитектурах. Было показано, что векторная архитектура NEC SX-Aurora TSUBASA последнего поколения позволяет выполнять различные алгоритмы обработки графов большого размера крайне эффективно. Разработанные реализации ряда графовых алгоритмов, оптимизированные в соответствии с наиболее важными свойствами архитектуры SX-Aurora, показали в 15 раз лучшую производительности по сравнению с оптимизированными параллельными реализациями для архитектуры Intel Skylake и до 5 раз лучшей производительности по сравнению с реализациями библиотеки NVGRAPH для архитектуры Pascal GPU. Еще один результат был получен в области моделирования беспроводных сенсорных сетей (БСС) — важного компонента интернета вещей, который по оценкам экспертов в ближайшем будущем станет одним из главных источников больших данных (Big Data). Одним из авторов работы был разработан симулятор БСС с цепочечной маршрутизацией на основе протокола PEGASIS. Симулятор учитывает наличие фазы сна узлов сети. Были исследованы такие показатели работы сети как расход энергии и скорость сбора информации. Полученные результаты вычислительных экспериментов помогают оценить разницу значений этих параметров при различных соотношениях фазы сна и фазы активности узла | ||
| 2 | 1 января 2020 г.-31 декабря 2020 г. | Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры. |
| Результаты этапа: 1.Предложены подходы к эффективной реализации набора фундаментальных графовых алгоритмов для векторных систем с быстрой памятью на примере современной архитектуры NEC SX-Aurora TSUBASA. 2.Рассмотрены подходы к оптимизации графовых алгоритмов для векторных систем, в том числе: выбор оптимальных алгоритмов, подходящих для векторизации, и их соответствующая модификация, повышение локальности обходов графов, улучшение шаблона доступа к памяти, балансировку параллельной работы между векторными ядрами и векторными инструкциями, и многие другие. 3. Исследованы существующие и предложены новые подходы к анализу эффективности, профилировке и поиску узких мест реализаций графовых алгоритмов для векторных систем, позволяющие контролировать процесс оптимизации и создания эффективных реализаций для векторных систем на основе качественных и количественных характеристик. 4. Исследованы методов построения и оптимизации глубоких сверточных нейронных сетей для многопроцессорных высокопроизводительных вычислительных систем, проведена практическая реализация рассмотренных и вновь разрабатываемых методов на суперкомпьютерах МГУ. 5. Исследованы подходы к оптимизации алгоритма Катмулла-Кларка иерархического разбиения полигональных моделей. | ||
| 3 | 1 января 2021 г.-31 декабря 2021 г. | Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры. |
| Результаты этапа: В результате выполнения данной НИР были получены следующие результаты: - впервые предложены алгоритмы распределенной обработки графов для современных векторных ускорителей NEC SX-Aurora TSUBASA; - распараллелены этапы предварительной обработки данных в инструменте анализа суперкомпьютерных логов ClusterLogs - предложен метод оптимизации гиперпараметров глубоких нейросетей с помощью мини-бенчмарков; - разработан инструмент отладки протоколов сбора данных в беспроводных сенсорных сетях. | ||
| 4 | 1 января 2022 г.-31 декабря 2022 г. | Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры |
| Результаты этапа: В результате выполнения данной НИР были получены следующие результаты: - Исследованы параллельные версии алгоритма DBSCAN, работающие как на общей так и на распределенной памяти, с целью внедрения их в автоматическую систему категоризации текстовых сообщений. Предложена модификация одной из параллельных реализаций DBSCAN, позволяющая значительно повысить параллельное ускорение для данной задачи. - Предложен подход к описанию протоколов маршрутизации данных в беспроводных сенсорных сетях, облегчающий переход от компьютерной симуляции к натурному тестированию - Выполнен анализ нескольких семейств популяционных алгоритмов оптимизации и предложена модель организации данного типа алгоритмов. Разработан прототип библиотеки для работы с популяционными алгоритмами на базе предложенной модели. - Предложен метод оптимизации архитектуры нейросетей, основанный на сжатии нейросетевых архитектур в процессе эволюционного поиска. Сжатие нейросетевых моделей производится с использованием L1/L2 регуляризации. Дана теоретическая оценка ускорения эволюционного процесса с использованием предложенного метода. Проведено экспериментальное исследование предложенной реализации. Показано, что полученное ускорение достигается с незначительной потерей точности результата - Предложен подход оптимизации использования ресурсов суперкомпьютерного центра | ||
| 5 | 1 января 2023 г.-31 декабря 2023 г. | Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры |
| Результаты этапа: 1) Предложен алгоритм параллельного обучения нейросети, направленный на уменьшение длительности коммуникаций обучающих процессов. Основная идея алгоритма заключается в разделении коммуникаций на локальные и глобальные и применении разных методов организации параллельного обучения на этих двух уровнях. Для организации коммуникаций между процессами, расположенных на разных вычислительных узлах, использовались методы параллельного обучения: Local-SGD, Gossip и Sparsification. С помощью вычислительных экспериментов было показано, что предложенный метод позволяет сократить время обучения нейронных сетей, при этом точность модели при использовании данного метода выше, чем при использовании алгоритмов параллельного обучения, имеющих схожую степень ускорения коммуникаций. 2) Функционал библиотеки роевых алгоритмов Insectae дополнен тремя новыми параллельными алгоритмами оптимизации. Выбор технологий распараллеливания и распределения задач в кластере был сделан на основе сравнительного анализа эффективности существующих технологий в при- менении к рассматриваемому классу задач. Для удобства пользователей в библиотеку добавлен набор тестовых задач и базовые средства визуализации. 3) Завершена интеграция модифицированного параллельного алгоритма DBSCAN c разработанным ранее фреймворком ClusterLogs, обеспечивающим автоматизированный и адаптивный метод кластеризации сообщений об ошибках 4) Изучена возможность оптимизации работы с памятью при решении систем алгебраических линейных уравнений с использованием разреженной матрицы. Предложено два новых формата хранения разреженной матрицы на основе широко используемого CSR формата. Полученная оптимизация позволила существенно сократить время операции умножения матрицы на вектор, а также позволила ускорить решение систем линейных алгебраических уравнений, использующих данную операцию в качестве основного вычислительного блока 5) Проведено сравнительное исследование эффективности индексации облаков точек с помощью решётки и kd-дерева в двумерном случае в приложении к задаче поиска k соседей. | ||
| 6 | 1 января 2024 г.-31 декабря 2024 г. | Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры |
| Результаты этапа: 1. Проведены исследования методов индексации элементов облаков точек, выравнивания облаков точек и выделения геометрических примитивов в облаках точек. | ||
| 7 | 1 января 2025 г.-31 декабря 2025 г. | Суперкомпьютерный кодизайн: алгоритмы, технологии программирования, архитектуры |
| Результаты этапа: | ||
Прикрепленные к НИР результаты
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".