ИСТИНА

В рамках современных суперкомпьютерных центров одновременно работает множество исследовательских групп, за работой которых стоит решение реальных прикладных задач. Вместе с ростом возможностей и масштабов суперкомпьютеров, растет и число, и сложность суперкомпьютерных приложений. Современный суперкомпьютер представляет собой большой и сложный вычислительный комплекс, состоящий из десятков тысяч компонент. При этом он обладает сложной архитектурой и зачастую является неоднородным, что усложняет мониторинг состояния вычислительной системы. В условиях одновременного использования вычислительных ресурсов множеством пользователей эффективность каждого запуска приложения пользователем оказывает влияние и на работу в рамках решаемой прикладной задачи, и на работу соседних проектов, и на работы всей вычислительной системы в целом. При этом пользователи, как правило, не имеют возможности оценить историю запусков своих программ и характер использования ресурсов, часто история запусков доступна за крайне ограниченный интервал и содержит лишь базовую информацию о запусках. Предлагаемые в рамках данного проекта работы направлены на исследование принципов анализа и разработку конкретных методик работы с банком интегральных характеристик выполненных приложений и инструментария работы с ним. Принципиально важно, что разрабатываемые методы должны удовлетворять следующим основополагающим требованиям. 1) Возможность анализировать характеристики выполнения любых ранее выполненных задач на суперкомпьютерной системе, включая серии запусков. Для передовых вычислительных систем число задач может достигать десятков тысяч в сутки. 2) Учет особенностей требований к анализу всеми категориями пользователей: от начинающих исследователей до администраторов и держателей суперкомпьютеров. 3) Возможность и практичность массового применения разработанных методов пользователями суперкомпьютерных систем в каждодневной практике в режиме 24/7. Имея данные по всем запускам задач, появляется возможность исследования закономерностей и тенденций в использовании ресурсов отдельным пользователем, отдельным прикладным пакетом, в рамках отдельного проекта или раздела суперкомпьютера, вплоть до всего суперкомпьютерного центра в целом, определяя возможность повышения эффективной отдачи от использования вычислительных ресурсов на всех уровнях.

На первом этапе, в 2017 году, планируется получить следующие результаты: 1) Выделен набор ключевых интегральных характеристик приложений, отражающих степень и характер использования вычислительных ресурсов: данные от системы мониторинга, данные от СУПЗ, отчеты о результатах глубокого анализа приложения, вспомогательные теги и др. 2) Разработаны базовые методы анализа истории выполнения приложений для всех категорий пользователей. 3) Определен необходимый формат хранения выделенных характеристик. 4) Разработана структура банка интегральных характеристик выполненных приложений. 5) Исследованы требования к web- инструменту, реализующему разработанные методы анализа (Никитенко Д.А., Теплов А.М., Воеводин Вад.В.). 6) Реализован базовый прототип web-инструментария, реализующий разработанные методы. 7) Исследованы и реализованы методы автоматизированного внесения данных по всем выполняющимся задачам пользователей СКЦ МГУ. Банк наполнен интегральными характеристиками на основании имеющихся данных системного мониторинга и логов СУПЗ. 8) Проведена интеграция минимум с одним инструментом анализа эффективности отдельных приложений. 9) Пользователям СКЦ предоставлен доступ к прототипу. 10) Текущие результаты по проекту представлены не менее чем на одной научной конференции.

Коллектив исполнителей данного проекта уже более 15 лет успешно работает в области высокопроизводительных вычислений и имеет богатый опыт успешно выполненных проектов. Одной из важнейших задач, которая выполняется коллективом каждодневно, является работа по сопровождению вычислительных систем суперкомпьютерного комплекса Московского университета (http://parallel.ru/cluster/), в котором на данный момент насчитывается сразу несколько вычислительных систем, входящие в рейтинг Топ50 наиболее мощных вычислительных систем СНГ (http://top50.supercomputers.ru). Помимо работ по сопровождению и администрирования суперкомпьютерного парка Московского университета, коллектив имеет богатый опыт успешного участия и выполнения научно-исследовательских работ. Octoshell — система управления доступом к Суперкомпьютерному комплексу. Разработанный программный комплекс создан на основе разработанной модели в рамках гранта РФФИ 13-07-00750. В данный момент Octoshell активно используется в суперкомпьютерном центре Московского университета, обеспечивая поддержку работы исследовательских проектов из более чем 350 организаций. В Octoshell зарегистрированы и имеют возможность работать более 3000 пользователей, а службой поддержки за год решается около 1000 обращений пользователей. Выполнение работ в рамках гранта РФФИ 13-07-00786. В результате выполненных исследований разработана методика описания типовых причин и признаков производительности, основанная на исследовании поведения динамических характеристик выполнения приложений. Разработан подход, получивший название Job Digest, позволивший получать данные системного мониторинга по каждой отдельной задаче после ее окончания по запросу. По запросу создается отчет о ходе выполнения задачи, в котором присутствует ряд графиков-значений предопределенных датчиков из доступных от системы мониторинга и краткая сводная информация по задаче.