Аннотация:Состязательными примерами называют данные, к которым путем некоторой процедуры добавлено возмущение, приводящее к неправильной классификации. Применение состязательных примеров является одним из самых распространенных типов атаки на системы машинного обучения. Такие атаки универсальны и практичны. Поэтому для улучшения безопасности систем машинного обучения необходимо повышать их устойчивость к подобным атакам.
В данной работе рассматривается задача обнаружения состязательных примеров в нейронных сетях. Она заключается в разработке методов детекции состязательных примеров в данных, подающихся на вход классификаторам на нейронных сетях. Описаны некоторые способы детекции состязательных примеров, продемонстрированы результаты их практического применения. На основе полученных результатов проведен сравнительный анализ методов, даны оценки их эффективности и универсальности.