Аннотация:В данной работе рассматривается метод информационного узкого места и его применение к сверточным нейронным сетям. Благодаря этому подходу появляется возможность исследовать такие свойства нейронных сетей как сжатие с потерями и сохранение релевантной информации о метке класса на каждом слое. Также рассматривается метод самодистилляции, позволяющий извлекать дополнительную информацию о метках класса по ходу обучения.