|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
Параллельные вычисленияучебный курс
- Автор: Лукьяненко Д.В.
- Год создания: 2015
- Организация: МГУ имени М.В. Ломоносова
- Описание: Курс "Параллельные вычисления" с одной стороны посвящён рассмотрению базовых параллельных алгоритмов решения вычислительно ёмких прикладных задач математической физики, а с другой стороны - их практической программной реализации. При этом программной реализации в курсе уделяется подавляющая часть времени. Это связано с тем, что зачастую, даже если параллельный алгоритм решения какой-либо задачи является достаточно простым и интуитивно понятным, его программная реализация может содержать огромное количество различных нюансов. Их разбору и уделяется основное время в курсе. При этом, показывается, что возможности используемых для расчётов многопроцессорных систем зачастую требуют и существенной модификации параллельных алгоритмов с целью их наиболее эффективной практической программной реализации. Особенности программной реализации изучаемых алгоритмов демонстрируются с использованием языка программирования Python и пакета mpi4py, который для организации взаимодействия различных вычислительных процессов позволяет использовать технологию передачи сообщений MPI. Технология MPI на данный момент является основным средством программирования в параллельных вычислениях с распределённой памятью. При этом примеры программ строятся таким образом, что они могут быть легко переписаны с использованием языков программирования C/С++/Fortran. Более того, выбор используемого для написания параллельных программ остаётся на выбор обучающегося. Структура курса следующая. В лекциях 1-3 на примере реализации одного итерационного метода решения систем линейных алгебраических уравнений (СЛАУ) разбираются простейшие параллельные алгоритмы умножения матрицы на вектор, транспонирования матрицы и скалярного произведения векторов. Изучаемые на этих лекциях MPI-функции предоставляют достаточно широкий базовый функционал, который позволяет реализовывать большинство параллельных алгоритмов, которые могут встретиться на практике. На лекции 4 обсуждаются вопросы эффективности и масштабируемости параллельных программ. На примере реализованных на лекции 3 программ решения СЛАУ делается вывод о необходимости существенной модификации уже реализованных параллельных алгоритмов с целью понижения накладных расходов по взаимодействию вычислительных узлов. На лекции 5 рассматриваются более продвинутый алгоритм умножения матрицы на вектор, который естественным образом приводит к необходимости использования дополнительных групп процессов и коммуникаторов. В лекции 6 рассматриваются вопросы использования виртуальных топологий, которые в определённых ситуациях могут ещё более существенным образом понизить накладные расходы по взаимодействию вычислительных узлов. В лекции 7 рассматривается параллельный вариант метода прогонки для решения СЛАУ с трёхдиагональной матрицей, как пример распараллеливания алгоритма, базовая последовательная версия которого не распараллеливается, но после определённой модификации которой появляется возможность реализовать её параллельную версию. Лекции 8-10 посвящены базовым подходам распараллеливания алгоритмов решения задач для уравнений в частных производных. При программной реализации этих подходов активно используются уже изученные ранее в курсе инструменты (в частности, виртуальные топологии). На лекциях 11-12 обсуждаются более тонкие вопросы оптимизации – асинхронные операции и отложенные запросы на взаимодействие. Эти операции применяются для модификации некоторых ранее написанных программ, что ещё повышает эффективность параллельных программных реализаций. Лекция 13 посвящена основам гибридных технологий параллельного программирования MPI + OpenMP, MPI + CUDA и MPI + CUDA + OpenMP. В Лекции 14 подводятся итоги и обсуждаются наиболее распространённые причины плохой масштабируемости параллельных программ. В итоге, демонстрируется, что комбинация всего множества рассмотренных в курсе инструментов позволяет создавать достаточно эффективные программные реализации алгоритмов параллельных вычислений. Для проведения тестовых расчётов задач курса используется персональный компьютер с многоядерным процессором. Для обсуждения вопросов эффективности и масштабируемости программных реализаций используется суперкомпьютер «Ломоносов-2» Центра коллективного пользования сверхвысокопроизводительными вычислительными ресурсами МГУ имени М.В. Ломоносова. Плейлист видеозаписей курса, созданных порталом Teach-In, доступен по ссылке: https://www.youtube.com/playlist?list=PLcsjsqLLSfNCxGJjuYNZRzeDIFQDQ9WvC
- Добавил в систему: Лукьяненко Дмитрий Витальевич
Преподавание курса
- 1 сентября 2023 - 31 декабря 2023 Лукьяненко Дмитрий Витальевич
- МГУ имени М.В. Ломоносова, Физический факультет, Отделение прикладной математики, Кафедра математики
- обязательная, вариативной части, лекции, 36 часов
- Автор: Лукьяненко Д.В.
- 21 февраля 2023 - 1 марта 2023 Лукьяненко Дмитрий Витальевич
- МГУ имени М.В. Ломоносова, Физический факультет, Отделение прикладной математики, Кафедра математики
- в Филиал МГУ в Баку (государственная организация, университет, Азербайджан)
- обязательная, по выбору (спецкурс), лекции, 36 часов
- Автор: Лукьяненко Д.В.
- 1 сентября 2022 - 31 декабря 2022 Лукьяненко Дмитрий Витальевич
- МГУ имени М.В. Ломоносова, Физический факультет, Отделение прикладной математики, Кафедра математики
- обязательная, вариативной части, лекции, 36 часов
- Автор: Лукьяненко Д.В.
- 1 сентября 2021 - 31 декабря 2021 Лукьяненко Дмитрий Витальевич
- МГУ имени М.В. Ломоносова, Физический факультет, Отделение прикладной математики, Кафедра математики
- обязательная, вариативной части, лекции, 36 часов
- Автор: Лукьяненко Д.В.
- 1 сентября 2020 - 31 декабря 2020 Лукьяненко Дмитрий Витальевич
- МГУ имени М.В. Ломоносова, Физический факультет, Отделение прикладной математики, Кафедра математики
- обязательная, по выбору (спецкурс), лекции, 36 часов
- Автор: Лукьяненко Д.В.
- 1 сентября 2019 - 31 декабря 2019 Лукьяненко Дмитрий Витальевич
- МГУ имени М.В. Ломоносова, Физический факультет, Отделение прикладной математики, Кафедра математики
- обязательная, по выбору (спецкурс), лекции, 36 часов
- Автор: Лукьяненко Д.В.
- 1 сентября 2018 - 31 декабря 2018 Лукьяненко Дмитрий Витальевич
- МГУ имени М.В. Ломоносова, Физический факультет, Отделение прикладной математики, Кафедра математики
- обязательная, по выбору (спецкурс), лекции, 36 часов
- Автор: Лукьяненко Д.В.
- 1 сентября 2017 - 29 декабря 2017 Лукьяненко Дмитрий Витальевич
- МГУ имени М.В. Ломоносова, Физический факультет, Отделение прикладной математики, Кафедра математики
- обязательная, по выбору (спецкурс), лекции, 36 часов
- Автор: Лукьяненко Д.В.
- 1 сентября 2016 - 31 декабря 2016 Лукьяненко Дмитрий Витальевич
- МГУ имени М.В. Ломоносова, Физический факультет
- обязательная, вариативной части, лекции, 36 часов
- Автор: Лукьяненко Д.В.
- 1 сентября 2016 - 31 декабря 2016 Якобовский Михаил Владимирович
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики, Кафедра суперкомпьютеров и квантовой информатики
- из ИПМ им. М.В. Келдыша РАН (государственная организация, центр, Россия)
- обязательная, базовой части, лекции
- Автор: Лукьяненко Д.В.
- 1 сентября 2015 - 30 декабря 2015 Лукьяненко Дмитрий Витальевич
- МГУ имени М.В. Ломоносова, Физический факультет
- обязательная, по выбору (спецкурс), лекции, 36 часов
- Автор: Лукьяненко Д.В.