|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
Разработка и реализация высокопроизводительной параллельной платформы для проведения суперкомпьютерных расчетов жидкокристаллических структур на архитектурах с массовым параллелизмомНИР
Development and implementation of high-performance parallel platform for supercomputer simulations of liquid crystal structures on architectures with massive parallelism
- Руководитель НИР: Воеводин В.В.
- Участники НИР: Алексеев А.А., Афанасьев И.В., Емельяненко А.В., Леоненков С.Н., Никитенко Д.А., Шайхисламов Д.И., Швецов С.А.
- Подразделение: 4.08.Лаборатория параллельных информационных технологий
- Срок исполнения: 2 декабря 2019 г. - 1 декабря 2021 г.
- Номер договора (контракта, соглашения): 20-37-70036
- Номер ЦИТИС: АААА-А20-120012790102-3
- Тип: Фундаментальная
- Приоритетное направление научных исследований: Фундаментальные проблемы высокопроизводительных вычислений и обработки данных
- ПН России: Информационно-телекоммуникационные системы
- Направление технологического прорыва России: Стратегические информационные технологии
-
Рубрики ГРНТИ:
- 50.41.25 Прикладное программное обеспечение
-
Ключевые слова:
высокопроизводительные вычисления, анализ эффективности, теория эластического континуума, поле директора, параллельное программирование, монте карло, оптимизация производительности, суперкомпьютер, жидкие кристаллы
director field, monte carlo, parallel programming, elastic continuum theory, high-performance computing, performance optimization, efficiency analysis, supercomputers, liquid crystals -
Описание:
Вопрос исследования структур жидкокристаллических материалов в настоящее время востребован во многих прикладных и научных областях. В частности, подобные исследования необходимы для развития сенсорных технологий, технологий создания лазерных генераторов и других областей, связанных с электрооптическими и хемооптическими элементами. При этом практический интерес представляют собой жидкокристаллические капли большого диаметра, расчет структур которых до сих пор представляет собой колоссальную вычислительную проблему. На создание платформы, позволяющей решить эту глобальную задачу, и направлен данный проект. В рамках данного исследования будут разработаны фундаментальные принципы построения, разработана архитектура и реализована высокопроизводительная параллельная платформа для проведения расчета структур жидкокристаллических капель. На примере решения этой вычислительной задачи будут предложены и реализованы методы анализа и тонкой оптимизации производительности приложений для графических ускорителей. Будут проведено исследование способов эффективного переноса предложенных решений на различные архитектуры с массовым параллелизмом (например, графические устройства NVIDIA разных поколений, современные высокопроизводительные векторные процессоры NEC, кластерные системы различной архитектуры). В рамках высокопроизводительной параллельной платформы будут также реализованы и эффективно использованы новые методы расчетов жидкокристаллических структур с применением адаптивных сеток и стохастически аппроксимирующего Монте-Карло. На основе предложенных решений будут выполнены уникальные по сложности и детализированности расчеты структур жидкокристаллических капель, востребованные в технологиях производства синтетических материалов. Полученный опыт создания высокопроизводительной параллельной платформы позволит разработать общую методику построения подобных платформ для проведения суперкомпьютерных расчетов жидкокристаллических структур на архитектурах с массовым параллелизмом. В результате выполнения проекта будет создано программное решение, которое позволит существенно ускорить процесс проведения расчетов жидкокристаллических капель, востребованных на практике в различных сферах науки и технологии, а также будут предложены методы, которые позволят облегчить выполнение подобных расчетов в смежных исследованиях.
-
Abstract:
The question of studying the structures of liquid crystal materials is currently in demand in many applied and scientific fields. In particular, such studies are necessary for the development of sensor technologies, technologies for creating laser generators and other fields related to electro-optical and chemo-optical elements. This being said, liquid crystal droplets of large diameter are of practical interest, however the calculation of their structures is still a huge computational problem. This project is aimed at developing a platform to solve this global problem. In the framework of this study, fundamental principles of construction as well as architecture of high-performance parallel platform for calculating the structures of liquid crystal drops will be developed, and its implementation will be created. Using the task of calculating liquid crystal structures as an example, methods for analysis and fine optimization of GPU-based application performance will be proposed and implemented. A study will be made of how to effectively transfer proposed solutions to various architectures with massive parallelism (for example, different generations of NVIDIA graphics devices, modern high-performance NEC vector processors, cluster systems of various architectures). As part of the high-performance parallel platform, new methods for calculating liquid crystal structures using adaptive grids and Stochastic Approximation Monte Carlo will also be implemented and effectively used. Based on the proposed solutions, unique simulations of liquid crystal droplets, which are in demand in technologies for the production of synthetic materials, will be performed. The experience gained while creating proposed high-performance parallel platform will allow us to develop a common methodology for constructing such platforms for conducting supercomputer calculations of liquid crystal structures on architectures with massive parallelism. As a result of the project, a software solution will be created that will significantly speed up the process of calculating liquid crystal droplets, which are in demand in various fields of science and technology, and also methods that facilitate the implementation of such calculations in related researches will be developed.
-
Планируемые результаты:
В результате выполнения всего проекта ожидаются следующие основные результаты. Будет выполнен детальный анализ производительности существующей программной реализации на основе графических ускорителей для проведения расчета структур жидкокристаллических капель. В результате данного анализа будут определены основные узкие места программы, которые снижают общую эффективность ее выполнения. Будет проведена разносторонняя оптимизация производительности существующей реализации. В частности, будет улучшено взаимодействие с памятью GPU-устройств, а также распределение вычислений по потокам в узких местах, выделенных на основе проведенного ранее анализа. Будет выполнена адаптация существующей программной реализации к особенностям современных программных и аппаратных GPU-решений, что позволит еще больше улучшить качество утилизации графических ускорителей. Будет исследована возможность распараллеливания вычислений на несколько графических ускорителей, а также проведена адаптация существующего решения для применения на кластерных системах. Отметим, что второй пункт работ является логическим продолжением первого и поэтому будет проводиться только в том случае, если первый пункт работ покажет улучшение производительности. Для проведения экспериментов будут использованы ресурсы Суперкомпьютерного комплекса МГУ, в частности, суперкомпьютер петафлопсного уровня производительности Ломоносов-2. Помимо проведения расчетов на кластерных системах, будут проведены и другие исследования применимости разработанных решений на различных архитектурах с массовым параллелизмом. Например, предполагается проверить эффективность и работоспособность созданной реализации на других типах графических ускорителей, а также векторных процессорах нового поколения. Эффективное портирование разработанного решения позволит сделать его доступным большему кругу специалистов, заинтересованных в проведении расчетов структур жидкокристаллических капель. Также будет расширена функциональность, реализованная в существующем приложении. Будет реализованы новые методы расчетов жидкокристаллических структур с применением адаптивных сеток, а также исследованы подходы к адаптации стохастически аппроксимирующего метода Монте-Карло. Это позволит заметно расширить класс задач, эффективно решаемых с помощью предложенной программной реализации. Программное решение, полученное после тонкой оптимизации производительности, расширения доступного функционала и портирования на различные архитектуры с массовым параллелизмом, ляжет в основу разработки и реализации высокопроизводительной параллельной платформы для проведения расчета структур жидкокристаллических капель. Данная платформа будет предоставлять удобное и эффективное программное решение, доступное широкому кругу специалистов. Данное решение будет отчуждаемым и применимым для решения различных классов задач. С помощью разработанной платформы будут проведены реальные расчеты жидкокристаллических структур, востребованных на практике. В частности, планируется выполнить расчеты структуры осажденных на волокно жидкокристаллических капель со слабыми и сильными гомеотропными граничными условиями. Будет проведено масштабное тестирование и апробация разработанных решений на реальных данных суперкомпьютера петафлопсного уровня производительности. Это позволит оценить применимость, работоспособность и эффективность использованных методов и подходов. На основе полученного опыта и созданных решений, будет разработана общая методика построения подобных высокопроизводительных параллельных платформ для проведения суперкомпьютерных расчетов жидкокристаллических структур на архитектурах с массовым параллелизмом. Эта методика будет включать фундаментальные принципы, которые необходимо соблюдать при построении таких платформ; описание подходов, которые могут быть применимы для повышения производительности приложений, разработанных для проведения подобных расчетов; набор рекомендаций для разработки эффективного, удобного и переносимого решения, а также для проведения его апробации и тестирования.
-
Научный задел:
Коллектив авторов из НИВЦ МГУ имеет многолетний успешный опыт сопровождения и эксплуатации больших суперкомпьютерных систем. Данный коллектив успешно выполнил множество проектов, направленных на анализ и повышение эффективности функционирования суперкомпьютеров и выполняемых на них приложений. В рамках этих проектов были исследованы вопросы эффективной утилизации суперкомпьютерных ресурсов, мониторинга производительности и работоспособности суперкомпьютеров, изучения эффективности как последовательных, так и параллельных приложений, применения методов машинного обучения для анализа структуры потока приложений, и т.д. Также коллектив авторов обладает немалым опытом в области анализа производительности приложений, использующих графические ускорители и векторные процессоры. В частности, ими был разработан набор высокоэффективных GPU-реализаций различных распространенных графовых алгоритмов для работы с графами чрезвычайно большого размера. Также они принимали активное участие в проекте, направленном на детальное исследование потенциала векторной обработки данных на архитектурах с массовым параллелизмом. Участники проекта с Физического факультета МГУ давно занимаются исследованиями жидких кристаллов теоретическими и экспериментальными методами. Одна из главных особенностей этого научного коллектива – наличие опыта разработки, использования и сочленения различных методов, описывающих объекты на разном масштабе. В лаборатории жидких кристаллов Емельяненко А.В. был разработан алгоритм расчета структуры поля директора в сложных геометриях, включая ПДЖК-капли, основанный на теории эластического континуума Озеена-Зохера-Франка. Метод был реализован с использованием технологии параллельного программирования NVIDIA CUDA. С начала 2019 года коллективами авторов из НИВЦ МГУ и Физического факультета МГУ ведется активная совместная работа по изучению свойств приложений и программных пакетов, используемых для решения научных задач компьютерного моделирования мягких сред.
- Добавил в систему: Воеводин Вадим Владимирович
Источник финансирования НИР
| грант РФФИ |
Этапы НИР
| # | Сроки | Название |
| 1 | 2 декабря 2019 г.-30 ноября 2020 г. | Разработка и реализация высокопроизводительной параллельной платформы для проведения суперкомпьютерных расчетов жидкокристаллических структур на архитектурах с массовым параллелизмом |
| Результаты этапа: В рамках первого этапа данного проекта были получены следующие результаты. Был выполнен анализ производительности существующей реализации GPU-приложения для проведения расчета структур и свойств ЖК капель. Он показал, что основу приложения составляют 5 вычислительно-затратных ядер, схожих по своей структуре. Поэтому далее был проведен более детальный анализ одного из этих ядер. Были предложены возможные подходы к оптимизации данного ядра, направленные, в первую очередь, на улучшение организации доступа в память и повышение загрузки GPU-устройств. На основе предложенных подходов были определены конкретные способы оптимизации для ускорения выполнения приложения на GPU-устройствах: внедрение мультизадачности, изменение числа используемых регистров, улучшение шаблона доступа к глобальной памяти, уменьшение размерности используемых данных без потери точности. Эти варианты оптимизации были далее применены к выбранному вычислительному ядру, и результаты были проверены на GPU P100, V100 и RTX 2080Ti. Было продемонстрировано существенное ускорение приложения (так, для GPU P100 было получено ускорение от 2 до 3.6 раз для сеток различных размеров). После этого предложенные оптимизации (кроме улучшения шаблона доступа к памяти) были успешно применены также и ко всем остальным вычислительно-затратным ядрам. Также была исследована возможность переноса приложения на другие типы архитектур – векторные процессоры NEC SX-Aurora и процессоры Intel Xeon с векторными расширениями AVX-512 (использовались Intel Xeon Gold 6126, установленные на суперкомпьютере Ломоносов-2). Проведенные работы по переносу выбранного вычислительного ядра показали, что можно не только перенести приложение, но и существенно оптимизировать его выполнение под каждую из типов архитектур. Отметим, что многие направления оптимизации оказались схожими для всех типов архитектур, однако техническая реализация в каждом случае зачастую существенно отличалась. Далее было выполнено тестирование полученных результатов и сравнение производительности решений для всех трех архитектур (GPU, NEC SX-Aurora, Intel Xeon). Результаты сравнения показали, что наилучшая производительность достигается на GPU V100, а GPU RTX 2080Ti демонстрирует большую производительность, чем NEC на маленьких и средних размерах сетки, в то время как на больших сетках полученная производительность на данных архитектурах практически идентична. По сравнению с вышеперечисленными аппаратными платформами производительность NVIDIA Tesla P100 довольно мала – меньше в 2-3 раза, производительность же Intel Xeon Gold 6126 еще меньше – в 9-10 раз. Отдельно была исследована возможность распараллеливания приложения на несколько графических ускорителей. Было показано, что наиболее логичным и эффективным в данном случае является распараллеливание по независимым задачам и запускам внутри задач. Такое распараллеливание позволяет получить линейное ускорение, что было проверено на 16 GPU V100. Отметим, что при таком подходе процесс распараллеливания независим от используемой архитектуры, поэтому он аналогичным образом может быть реализован и на других архитектурах. Также была расширена функциональность приложения за счет реализации новых методов расчетов жидкокристаллических структур с применением адаптивных сеток. Данные методы позволяют существенно повышать детализацию сеток в местах с пространственными неоднородностями без кардинального повышения времени выполнения приложения. Проведенное тестирование показало корректность поведения программы расчетов с адаптивной сеткой. Также были предложены возможные направления оптимизации производительности данных методов. На основе разработанных методов была реализована пилотная версия высокопроизводительной параллельной платформы для проведения расчета структур и свойств жидкокристаллических капель. Для этого были сформулированы требования к данной платформе, разработана и описана ее общая архитектура и алгоритм работы. Также составлен список работ, необходимых для реализации платформы, существенная часть их которых уже выполнена (в частности, реализованы тесты корректности и производительности платформы и составлено обучающее руководство пользователя). С учетом полученного опыта при разработке платформы, были определены фундаментальные принципы построения подобных платформ для проведения расчетов ЖК структур в целом, что будет использовано на следующем этапе при разработке общей методики построения таких платформ. Были также проведены расчеты структуры осажденных на волокно жидкокристаллических капель со слабыми гомеотропными граничными условиями, а также осажденных на поверхность жидкокристаллических капель. Данные исследования, актуальные как в фундаментальном, так и в прикладном значении, востребованы на практике для создания различных ЖК устройств. По результатам проведенных расчетов были написаны две публикации (одна опубликована, вторая сдана в редакцию). | ||
| 2 | 1 декабря 2020 г.-1 декабря 2021 г. | Разработка и реализация высокопроизводительной параллельной платформы для проведения суперкомпьютерных расчетов жидкокристаллических структур на архитектурах с массовым параллелизмом |
| Результаты этапа: На текущем, втором этапе данного проекта были получены следующие результаты. Была выполнена адаптация стохастически аппроксимирующего метода Монте-Карло для применения в рамках существующей реализации для расчета жидкокристаллических структур. Данный метод представляет практический интерес для моделирования жидкокристаллических систем в рамках разрабатываемого комплекса и не заменяет собой основной метод оптимизации – отжиг Монте-Карло с критерием Метрополиса, а является дополнительным инструментом исследования. В рамках данного этапа этот метод был реализован, а также была успешно протестирована его корректность и производительность. Полученная реализация показала свою применимость и полезность на практике. По результатам работы по данному направлению готовится публикация. Была проведена тонкая оптимизация производительности всех существующих и новых методов расчетов жидкокристаллических структур, разработанных для графических ускорителей в рамках данного проекта. В частности, разработанные на первом этапе оптимизации были применены со всем вычислительным ядрам приложения, была оптимизирована работа всех основных вычислительных ядер в областях, выходящих за пределы триангулированного объема жидкокристаллической капли, а также проведена алгоритмическая оптимизация, позволившая сократить количество операций копирования в CUDA-ядрах, отвечающих за расчет энергии дефектов и принятие шага. Это позволило добиться ускорения до двух раз по сравнении с версией программы, полученной на первом этапе. По результатам проведенных работ была подготовлена и опубликована статья. Также был выполнен перенос и оптимизация всех вычислительных ядер приложения для работы на архитектурах с массовым параллелизмом, а именно, на процессорах NEC SX-Aurora TSUBASA и на современных кластерных системах. Была проведена оценка их корректности и производительности, которая показала, что полученные решения работают корректно, обладают достаточно высокой производительностью и потому могут представлять практический интерес для пользователей приложения. Была выполнена программная реализация финальной версии высокопроизводительной параллельной платформы для проведения расчета структур жидкокристаллических капель на графических ускорителях. Данная платформа выполнена в виде отчуждаемого программного пакета, содержащего код основной программы для проведения расчетов, код вспомогательных программ для подготовки и обработки входных и выходных данных, обучающее руководство с набором необходимых инструкций и рекомендаций по работе с данным программным комплексом, а также набор тестов и примеров для проверки пользователями корректности и производительности пакета. Данная платформа была также адаптирована для проведения расчетов на архитектурах с массовым параллелизмом (процессорах NEC SX-Aurora TSUBASA и кластерных системах); в частности, она была апробирована на суперкомпьютере Ломоносов 2 петафлопсного уровня производительности. Также были определены механизмы предоставления доступа к этой платформе сторонним пользователям, а также приобретена и подготовлена рабочая станция с новейшей графической картой NVIDIA А100, что позволит расширить число заинтересованных пользователей, а также упростить для них процесс ознакомления и тестирования этого решения. Была проведена апробация разработанной платформы на практике, которая показала, что корректировка алгоритмов работы с платформой не требуется, а сама платформа является отчуждаемой и готова для предоставления доступа к ней сторонним пользователям. На основе реализованной платформы были проведены расчеты структуры осажденных на волокно жидкокристаллических капель с сильными гомеотропными граничными условиями. Данные исследования востребованы на практике для быстрого контроля качества поверхности синтетических волокон оптическими методами. Была разработана общая методика построения подобных высокопроизводительных параллельных платформ для проведения суперкомпьютерных расчетов жидкокристаллических структур на архитектурах с массовым параллелизмом. Данная методика включает описание фундаментальных принципов, которые необходимо учитывать при реализации таких платформ, описание методов для повышения производительности приложений для графических ускорителей, использующих методы Монте-Карло в континуальном поле, а также набор рекомендаций для разработки эффективного, удобного и переносимого решения, проведения его апробации и тестирования. | ||
Прикрепленные к НИР результаты
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".