Описание:Курс начинается с описания вариантов физической энтропии, в том числе энтропии Больцмана и Гиббса. Основное внимание уделяется энтропии Шеннона. Определяется энтропия вероятностного вектора и энтропия счетного разбиения вероятностного пространства, а также условная энтропия, изучаются их свойства, рассматривается информационный смысл. Затем изучается роль энтропии в теории динамических систем, определяется энтропия Колмогорова-Синая и средства ее вычисления, доказывается теорема Шеннона-Макмиллана-Бреймана.