ИСТИНА

Архитектура суперкомпьютерных центров совершенствуется с каждым годом. Это приводит к тому, что эффективность выполнения приложений деградирует, поскольку все сложнее становится учитывать возрастающее многообразие аппаратных особенностей суперкомпьютеров, каждая из которых может кардинальным образом влиять на скорость расчетов. На данный момент эффективность на уровне 3-5 процентов уже является нормой; однако подобное неоптимальное использование вычислительных ресурсов приводит к серьезным временны́м и, в конечном итоге, финансовым потерям. Требуется разработка прототипов программно-технических решений, которые позволят проводить разносторонний анализ эффективности как отдельных пользовательских приложений, так и суперкомпьютерного центра в целом. Целью прикладного научного исследования является создание научных и программно-технических решений в области обеспечения эффективности суперкомпьютерных центров малого, среднего и высокого уровней производительности, а также перспективных центров сверхвысокого уровня производительности. В результате выполнения проекта будут разработаны прототипы программно-технических решений, которые будут охватывать наиболее значимые аспекты функционирования большого суперкомпьютерного комплекса с точки зрения его использования, администрирования и поддержки его функционирования.

Supercomputer center architecture is improving every year. This leads to the fact that the application efficiency is degraded because it becomes more difficult to take into account the increasing number of supercomputer hardware features, each of which may significantly influence the execution time. At the moment, the efficiency at the level of 3-5% is already normal; however, such a non-optimal use of computer resources causes serious time and, eventually, financial losses. We need to develop prototypes of software and hardware solutions that will enable to carry out comprehensive analysis of the effectiveness of both user applications and supercomputer center in general. The aim of applied research is to provide scientific and software-hardware solutions enabling efficiency of supercomputer centers of small, medium and high levels of performance as well as advanced ultra-high performance level centers. As a result of the project, prototypes of software-hardware solutions will be developed that will cover the most important aspects of the operation of a large supercomputer system in terms of its use, administration and support.

В результате выполнения проекта будут получены следующие результаты: 1. Будут разработаны методики оценки технических характеристик функционирования суперкомпьютерных центров. По данным методикам будут выполнены соответствующие оценки, отражающие общий объем данных, которые необходимо собирать и анализировать для получения детальной информации о состоянии современных суперкомпьютеров. 2. Будут разработаны прототипы программно-технических решений по созданию системы обеспечения эффективности функционирования суперкомпьютерных центров. Данные прототипы программно-технических решений будут охватывать наиболее значимые аспекты функционирования большого суперкомпьютерного комплекса с точки зрения его использования, администрирования и поддержки его функционирования. 3. Будут определены технические требования к разработанным решениям, составлено описание принципов функционирования созданных решений, разработаны методы программной реализации отдельных программных компонентов системы обеспечения эффективности функционирования суперкомпьютерных центров.

Одной из наиболее значимых задач, выполняемых коллективом исполнителей, является работа по сопровождению и обеспечению эффективной эксплуатации вычислительного комплекса МГУ имени М.В.Ломоносова. В ходе работ по поддержке функционирования комплекса коллектив ежедневно сталкивается со всем многообразием возможных сложностей и ошибок, встающих как перед начинающими пользователями и программистами, так и перед опытными специалистами в области математического моделирования, численного решения задач и параллельной обработки данных. Обширный опыт преодоления нештатных ситуаций самого разного масштаба определяет мощный, качественный задел для исследований в области обеспечения эффективности суперкомпьютерных центров во всех аспектах их функционирования. Коллектив исполнителей обладает большим опытом успешного выполнения научно-исследовательских работ и разработки системного и прикладного программного обеспечения. Имеются существенные наработки в области анализа информационной структуры программ, мониторинга и анализа производительности приложений в вычислительных системах, организации вычислений в масштабных распределенных средах. В частности, был успешно выполнен совместный российско-европейский проект HOPSA (HOlistic Performance System Analysis – http://www.vi-hps.org/projects/hopsa/overview). Основным полученным результатом является разработанный в рамках проекта экспериментальный образец комплекса технологий и программных средств, ориентированный на всестороннее изучение динамических свойств суперкомпьютерных приложений, основанный на данных системного мониторинга. Индустриальный партнер проекта – ОАО «Т-Платформы» обладает необходимым опытом и ресурсами для создания научно-технической продукции в области суперкомпьютерных технологий. Период деятельности компании «Т-Платформы» в суперкомпьютерной отрасли – более 10 лет. В настоящее время ОАО «Т-Платформы» является одним из лидеров российского рынка высокопроизводительных вычислений.

Достижения за 2015 год: На основе определенной в прошлом году архитектуры разработаны все 10 компонент общего прототипа программной системы обеспечения эффективности функционирования суперкомпьютерных центров. Таким образом, разработана вся функциональность по 4-м основным подзадачам: 1) обеспечение надежности и работоспособности систем; 2) анализ эффективности приложений и суперкомпьютерных центров в целом; 3) визуализация полученных результатов; 4) тотальный мониторинг состояния суперкомпьютерных центров. Достижения за 2016 год: Разработан независимый банк типичных нештатных ситуаций. Проведена интеграция разработанных компонент и выполнена реализация общего прототипа программного комплекса. Успешно проведены экспериментальные исследования общего прототипа. В рамках данных исследований предложен набор рекомендаций по оптимизации и расширению функциональности общего прототипа, на основе которых выполнены доработки различных частей прототипа. После выполнения данных работ выполнена корректировка программной документации. Разработаны методики оценки объемов данных, циркулирующих и обрабатываемых разработанным прототипом, а также пригодности задействованных в разработанном прототипе подходов. По данным методикам выполнены оценки, которые показывают применимость предложенных решений на современных и будущих суперкомпьютерах. Выполнено обобщение полученных в рамках проекта результатов, а также разработаны рекомендации по практическому применению и коммерциализации результатов. Разработан проект технического задания на проведение ОКР.