|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ИНХС РАН |
||
Анализ методов глубокого обучения для определения аномальных записей в лог-файлахдипломная работа (Бакалавр)
- Научный руководитель: Лапонина О.Р.
- Автор: Гаспарян София Артаковна
- Тип: Бакалавр
- Организация, в которой проходила защита: МГУ имени М.В. Ломоносова
- Год защиты: 2024
- Аннотация: Выпускная квалификационная работа Гаспарян С.А. посвящена использованию алгоритмов глубокого обучения для анализа записей в лог-файлах. Автором проанализированы особенности различных типов нейронных сетей, таких как RNN, LSTM, автоэнкодеры, трансформеры и модель BERT. Автором также рассмотрены существующие датасеты лог-файлов. Самый распространенный датасет для анализа лог- данных- датасет HDFS (Hadoop Distributed File System). Для поиска аномальных логов автором выбрана платформа LogBERT- платформа на основе модели BERT для обнаружения аномалий в данных логов, использующая парсер Drain для уточнения последовательности логов. Также автором использовалась DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning. Результаты сравнения, полученные автором, следующие. LogBERT выявляет большее количество как истинно положительных, так и истинно отрицательных результатов, что говорит о том, что он лучше распознает аномалии, но за счет большего количества ложноположительных ошибок. LogBERT обладает меньшей точностью, однако его более высокая скорость распознавания говорит о том, что он лучше улавливает реальные аномалии. LogBERT значительно превосходит DeepLog по показателю оценки F1, который обеспечивает баланс точности и запоминания и особенно важен в тех случаях, когда распределение классов несбалансированное. DeepLog показывает очень высокую точность, что означает, что он очень точно предсказывает аномалию (очень мало ложных срабатываний), но его отзыв довольно низкий, значит он пропускает много реальных аномалий. Таким образом, Гаспарян получен результат, что DeepLog идеально подходит для приложений, где важно свести к минимуму количество ложных тревог, а LogBERT лучше подходит для ситуаций, когда отсутствие реальных обнаруженных аномалий может привести к более печальному исходу, чем простое наличие ложных тревог.
- Добавил в систему: Лапонина Ольга Робертовна