ИСТИНА |
Войти в систему Регистрация |
|
ИСТИНА ИНХС РАН |
||
С появлением суперкомпьютеров петафлопсного уровня производительности всё более актуальным становится вопрос определения потенциала масштабируемости приложений, то есть, того, сколько процессоров вычислительной системы данное приложение может использовать с сохранением приемлемого уровня эффективности. При выполнении гранта РФФИ N 10-07-00586-а "Исследование предельных параметров масштабируемости программ при использовании кластерных и реконфигурируемых (FPGA) суперкомпьютеров максимального уровня производительности" была разработана методика исследования предельных параметров масштабируемости, основанная на инструментальных средствах, использующих исходный текст программы. Однако далеко не всегда исходный текст программы доступен на этапе анализа. К тому же, внесение любых исправлений в исходный текст может повлиять на исполнение программы. Поэтому в данной работе предлагается использовать для определения потенциала масштабируемости приложений данные о динамике выполнения программы, получаемые от низкоуровневых системных программных средств. Будут исследованы возможные источники таких данных, выделены наиболее важные выдаваемые ими характеристики с точки зрения определения потенциала масштабируемости приложений. На основе исследования групп выделенных характеристик можно будет делать выводы о наличии или отсутствии различных причин, влияющих на масштабируемость приложений. В результате работы предполагается создание технологии, позволяющей по ряду запусков параллельной программы определить её потенциал масштабируемости, выявить основные факторы, мешающие масштабируемости приложения, а также предсказать основные характеристики выполнения программы на сверхбольших конфигурациях целевого суперкомпьютера. Запланированные исследования будут проводиться на вычислительных системах Суперкомпьютерного комплекса Московского университета, включающего самый мощный в России суперкомпьютер "Ломоносов" с пиковой производительностью 1.7 PFlop/s.
Проведены исследования доступных инструментальных средств для определения динамических характеристик выполнения параллельных программ. Выполнен анализ возможностей каждого инструментального средства. Выбраны наиболее подходящие инструментальные средства для целей данного исследования. Выделены факторы, в наибольшей степени влияющие на масштабируемость параллельных программ на суперкомпьютерах максимального уровня производительности. Для каждого из выделенных факторов, в наибольшей степени влияющих на масштабируемость параллельных программ на суперкомпьютерах максимального уровня производительности, определены наборы динамических характеристик выполнения параллельных программ, на основании которых можно делать вывод о наличии и степени влияния данного фактора. Создана методика исследования масштабируемости приложений с использованием динамических характеристик выполнения параллельных программ. Исследованы возможности построения методов предсказания основных характеристик выполнения программы на сверхбольших конфигурациях целевого суперкомпьютера. Выполнена апробация разработанных в данном исследовании методов на реальных прикладных задачах и суперкомпьютерах максимального уровня производительности.
грант РФФИ |
# | Сроки | Название |
1 | 1 января 2013 г.-31 декабря 2013 г. | Определение потенциала масштабируемости приложений с использованием динамических характеристик выполнения параллельных программ |
Результаты этапа: Выполнен аналитический обзор доступных инструментальных средств для определения динамических характеристик выполнения параллельных программ. Осуществлён выбор наиболее подходящих для целей данного исследования инструментальных средств. Для исследования динамических характеристик выполнения параллельных программ предлагается использовать подход, называемый Job Digest, созданный ранее при участии исполнителей настоящего проекта. Составлен перечень определяемых инструментальными средствами динамических характеристик выполнения параллельных программ, включающий основные характеристики, выдаваемые в отчёте Job Digest. Получено описание факторов, в наибольшей степени влияющих на масштабируемость параллельных программ на суперкомпьютерах максимального уровня производительности. Рассмотрены следующие факторы: латентность коммуникационной сети, пропускная способность коммуникационной сети, топология коммуникационной сети, использование при работе жёсткого диска, характеристики оперативной памяти, объём и характеристики кэш-памяти, разбалансированность вычислений, предел декомпозиции данных. Для каждого фактора приводятся примеры графиков, полученных с помощью выбранных инструментальных средств, иллюстрирующие то, каким образом и по каким данным рассматриваемый фактор может быть обнаружен. | ||
2 | 1 января 2014 г.-31 декабря 2014 г. | Определение потенциала масштабируемости приложений с использованием динамических характеристик выполнения параллельных программ |
Результаты этапа: Разработана методика исследования масштабируемости приложений с использованием динамических характеристик выполнения параллельных программ. Методика базируется на расширенном понятии масштабируемости как свойства параллельной программы, характеризующего зависимость изменения динамических характеристик работы этой программы от изменения параметров ее запуска. Созданная методика исследования масштабируемости заключается в объединении всех доступных данных о работе параллельной программы и анализе влияния как каждого фактора, так и их совокупности, на качество выполнения параллельной программы. Методика основана на том, что рассматриваются в совокупности все динамические характеристики выполнения параллельного приложения. Таким образом, данные о масштабируемости параллельной программы становятся представимы в виде векторной функции от нескольких переменных. Аргументами такой функции являются значения изменяющихся параметров запуска, оказывающих влияние на качество выполнения программы, а значения функции представимы в виде вектора, каждый из элементов которых является значением динамической характеристики выполнения параллельной программы. К этим динамическим характеристикам нужно отнести как интегральные характеристики (время выполнения, ускорение, эффективность, производительность), так и динамические характеристики, являющиеся значением данных системы мониторинга (кэш-промахи, загрузка сетей передачи данных, значения интенсивности использования своп-памяти и т.д.). Анализ собранных таким образом данных заключается в выявлении корреляций между отдельными интегральными характеристиками качества выполнения программы и характеристиками из данных системного мониторинга. Другой частью создаваемой методики для исследования масштабируемости с использованием динамических характеристик выполнения параллельных программ является более глубокий анализ системного мониторинга по каждой отдельной динамической характеристике. Это позволяет оценить степень влияния каждого отдельного фактора на масштабируемость всей программы. Для каждого из выделенных факторов, в наибольшей степени влияющих на масштабируемость параллельных программ на суперкомпьютерах максимального уровня производительности, определен набор динамических характеристик выполнения параллельных программ, на основании которых можно делать вывод о наличии и степени влияния данного фактора. Проанализированы факторы, относящиеся к использованию коммуникационной сети (латентность коммуникационной сети, пропускная способность коммуникационной сети, топология коммуникационной сети), к использованию компонентов вычислительного узла компьютера (использование при работе жесткого диска, характеристики оперативной памяти, объем и характеристики кэш-памяти) и факторы, связанные с характеристиками используемого алгоритма или исследуемой параллельной программы (дисбаланс загрузки, предел декомпозиции данных). Результаты анализа проиллюстрированы данными, полученными с помощью систем мониторинга работы приложений, работающих на суперкомпьютерах СКИФ МГУ «Чебышев» и «Ломоносов». | ||
3 | 1 января 2015 г.-31 декабря 2015 г. | Определение потенциала масштабируемости приложений с использованием динамических характеристик выполнения параллельных программ |
Результаты этапа: На третьем этапе выполнения проекта исследованы возможности построения методов предсказания основных характеристик выполнения программы на сверхбольших конфигурациях целевого суперкомпьютера. Прогноз строится либо на основе теоретических оценок характеристик алгоритма, либо же на основе данных реальных вычислений. Наиболее точный прогноз масштабируемости может быть построен только при грамотном комбинировании этих источников данных. Проведена апробация всех разработанных в данном проекте методов и подходов на специально разработанных тестах, известных тестовых наборах и реальных прикладных задачах с использованием суперкомпьютера "Ломоносов", входящего в состав Суперкомпьютерного комплекса Московского университета. |
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".