![]() |
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
Современные вычислительные системы содержат в себе огромное количество одновременно работающих процессорных элементов. Это ведёт к усложнению связей между процессорными элементами и, в конечном итоге, к сложностям в программировании таких систем. В рамках данного проекта представлена система тестирования коммуникационной среды и визуализация результатов тестирования. Система тестирования в основном была разработана вне рамок данного проекта, а этот проект в основном сосредоточен на визуализации результатов и дальнейшем их анализе. Здесь применены алгоритмы кластеризации, для определения особенностей в информации; алгоритмы на графах для сопоставления и выяснения “скрытых” топологических особенностей архитектуры вычислительной системы; методы оптимизации для минимизации “дефекта” при отображении топологии вычислительной системы в 3D; алгоритм выбора пар узлов для избегания блокирования вычислительного кластера целиком на момент тестирования коммуникационной среды. На примере задач биоинформатики определены пути дальнейшего использования результатов выполнения проекта при написании параллельных программ. Все алгоритмы были опробованы на данных полученных с многопроцессорных систем BlueGene/P и “Ломоносов”. Исходные коды выложены в общий доступ в рамках проектов с открытым исходным кодом размещённых на gitHub и Sourceforge.
Разработан алгоритм автоматического определения топологии вычислительного кластера по результатам предварительного тестирования коммуникационной среды с помощью тестирующего приложения, написанного на языке программирования C, в приложении используется библиотека MPI. Приложение организует нагрузку на коммуникации, по задержкам при передачи сообщений можно судить о расстоянии между узлами кластера и отдельными процессорами. Алгоритм позволяет автоматически обнаруживать и группировать процессоры, которые работают на общей памяти, а также прочие объекты, обладающие свойством локальности. Разработан алгоритм, который позволяет сравнивать полученную топологию с топологией, описанной в спецификации многопроцессорной системы. Алгоритм позволяет осуществлять отображение наблюдаемых задержек на специфицированную архитектуру, где известны не только способы связи узлов кластера, но и скорости передачи по каналам связи. Алгоритм позволяет судить, во сколько раз реальная пропускная способность отличается от идеальной, описанной в спецификации, и где именно в многопроцессорной системе это происходит. Разработан алгоритм, отображающий топологию вычислительного кластера в трёхмерное пространство. При этом, в длине отображаемых дуг, сохраняется информация об относительных величинах задержек при передаче данных между процессорами. Разработан алгоритм, который позволяет перебрать все возможные пары узлов в многопроцессорной системе коллективного использования (с системами ведения очередей задач пользователей) так, чтобы процесс тестирования многопроцессорной системы минимально мешал работе других пользователей системы. Алгоритм осуществляет выбор некоторых узлов кластера и ставит тестирующее приложение network_tests2, запускаемое для выбранных узлов, в очередь кластера. Одновременно в очереди могут находиться несколько таких задач. После каждого запуска получаются файлы с результатами тестирования для определенной части вычислительной системы. Собирая такие кусочки, можно получить полную картину о коммуникационной среде кластера без приостановления работы других пользователей на нем. С целью задела на будущее разработана математическая модель выбора узлов кластера для операций ввода-вывода в параллельной программе. Алгоритм, предлагаемый в модели, опирается на сведения о коммуникационной среде вычислительного кластера и стоимости операций чтения/записи в файл в распределённой файловой системе, связанной с кластером. Также был исследован подход по представлению параллельных программ в терминах вычислений управляемых потоками данных (data flow). Показано, что при распараллеливании задачи построения множественного выравнивания, на примере распараллеливания алгоритма CluswtalW2, необходима реализация data flow.
МГУ имени М.В.Ломоносова | Координатор |
грант РФФИ |
# | Сроки | Название |
1 | 16 октября 2012 г.-31 декабря 2012 г. | Методы анализа пропускной способности коммуникационной среды вычислительного кластера |
Результаты этапа: | ||
2 | 1 января 2013 г.-31 декабря 2013 г. | Методы анализа пропускной способности коммуникационной среды вычислительного кластера |
Результаты этапа: |
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".