|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
Исследование параллельного алгоритма предобработки и кластеризации журналов большого объёма с применением суперкомпьютеровдипломная работа (Магистр)
- Научный руководитель: Жуков Константин Андреевич
- Автор: Воробьев М.Ю.
- Тип: Магистр
- Организация, в которой проходила защита: МГУ имени М.В. Ломоносова
- Год защиты: 2021
- Аннотация: В настоящее время суперкомпьютеры содержат большое число составных частей, что влечёт за собой регулярные сбои. Системные журналы — важная часть выявле- ния и классификации этих сбоев для своевременного их устранения. Масштабность систем возросла настолько, что ручной анализ полученного объёма системных жур- налов становится проблематичным. Например, в эксперименте ЦЕРН ATLAS объём данных может превышать 30 млн сообщений об ошибках в год. Анализ и обработка журналов событий — важная часть мониторинга современных комплексных вы- числительных инфраструктур, для чего создаются соответствующие программные средства. Однако, в случаях особо большого объёма данных программные средства не дают результата за приемлемое время, что тоже сказывается на удобстве анализа. Одним из способов ускорения обработки являются параллельные алгоритмы. В данной работе предлагается способ распараллеливания фреймворка кластеризации ClusterLogs. Выявлены части данного фреймворка, выполнение которых занимает больше всего времени. Произведён анализ времени работы фреймворка ClusterLogs на вычислительном кластере «Полус».
- Добавил в систему: Жуков Константин Андреевич