|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
Модификация системы ведения очередей Slurm c целью обеспечения прогнозавремени нахождения задачи в очереди по статистическим даннымтезисы доклада
- Авторы: Ширяев А.Ю., Резай М., Ященко И.С., Сальников А.Н.
- Сборник: Параллельные вычислительные технологии – XVII всероссийская научнаяконференция с международным участием, ПаВТ’2023, г. Санкт-Петербург,28–30 марта 2023 г. Короткие статьи и описания плакатов
- Тезисы
- Год издания: 2023
- Издательство: Изд-во ЮУрГУ
- Местоположение издательства: Челябинск
- Первая страница: 249
- Последняя страница: 249
- DOI: 10.14529/pct2023
- Аннотация: Современные вычислительные комплексы (суперкомпьютеры) являются многокомпонентными и многопользовательскими системами, как правило имеющими кластерную архитектуру и управляемыми системами ведения очередей.Пользователи таких вычислительных комплексов как правило учёные или сотрудники конструкторских бюро или сотрудники отделов разработки врупных компаний. Задачи таких пользователей как правило ресурсоёмки и имеют свойство заканчивать выполнение на машине раньше своего директивного срока. Кроме всего прочего системные администраторы вычислительного комплекса могут проводить сложные административные политики. Как правило очереди задач на вычислительных комплексах достаточно длинны, и иногда до старта задачи на выполнение приходится ожидать днями или даже неделями.В статье далее представлен программный комплекс, который включает cервер на языке программирования python, клиентскую часть в форме специальнго параметра передаваемого системе ведения очередей, специальный plugin к slurm, который непосредственно собирает статистику и передаёт её серверу. Сервер взаимодействует с plugin-ом коллекционирует статистику, и обеспечивает запуск алгоритмов машинного обучения и дообучения которые строят модель очереди задач вычислительного кластера. После обучения, сервер используя модель выдаёт прогноз.Для обеспечения интерфейса пользователя была модифицирована программа sbatch являющаяся частью программного обеспечения Slurm Workload Manager. Сбор статистики и определение множества ресурсов осуществляется за счёт интеграции со стандартным plugin spank, является частью API Slurm Workload Manager.
- Добавил в систему: Сальников Алексей Николаевич