Из этого следует, что при равновероятности знаков алфавита энтропия определяется исключительно числом знаков m алфавита и по существу является характеристикой только алфавита.

Властивості ентропії

Вступ

Час – 2 год.

Навчальні питання

Лекція 4. Властивості ентропії

1.... Властивості ентропії 1

2.... Ентропія при безперервному повідомленні 4

Література.

1. Дмитриев В.И. Прикладная теория информации. Учебник для студентов ВУЗов по специальности «Автоматизированные системы обработки информации и управления». – М.: Высшая школа, 1989 – 320 с.

 

 

При равновероятности знаков алфавита Рi = 1/m из формулы Шеннона получают:

.

Если же знаки алфавита неравновероятны, то алфавит можно рассматривать как дискретную случайную величину, заданную статистическим распределением частот ni появления знаков хi (или вероятностей pi =ni /n) табл. 2.1:

 

Таблица 2.1.

Знаки хi x1 x2 . . . xm
Частоты ni n1 n2 . . . nm

 

Такие распределения получают обычно на основе статистического анализа конкретных типов сообщений (например, русских или английских текстов и т.п.).

Поэтому, если знаки алфавита неравновероятны и хотя формально в выражение для энтропии входят только характеристики алфавита (вероятности появления его знаков), энтропия отражает статистические свойства некоторой совокупности сообщений.

На основании выражения

,

величину log 1/pi можно рассматривать как частную энтропию, характеризующую информативность знака хi, а энтропию H - как среднее значение частных энтропий.

Функция (pi × log pi) отражает вклад знака хi в энтропию H. При вероятности появления знака pi=1 эта функция равна нулю, затем возрастает до своего максимума, а при дальнейшем уменьшении pi стремится к нулю (функция имеет экстремум, рис. 2.1).

 

 

Рис. 2.1. Графики функций log 1/pi и ‑pi×log pi

 

Для определения координат максимума этой функции нужно найти производную и приравнять ее к нулю.

Из условия находят: pi e = 1, где е- основание натурального логарифма.

Таким образом, функция: (pi log pi) при pi = 1/e = 0,37 имеет максимум: , т.е. координаты максимума (0,37; 0,531)

Энтропия Нвеличина вещественная, неотрицательная и ограниченная, т.е. Н ³ 0 (это свойство следует из того, что такими же качествами обладают все ее слагаемые pi log 1/pi).

Энтропия равна нулю, если сообщение известно заранее (в этом случае каждый элемент сообщения замещается некоторым знаком с вероятностью, равной единице, а вероятности остальных знаков равны нулю).

Энтропия максимальна,если все знаки алфавита равновероятны, т.е. Нmax = log m.

Таким образом, степень неопределенности источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению неопределенности.

Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния.

Действительно, в первом случае результат практически предрешен (реализация состояния, вероятность которого равна 0,99), а во втором случае неопределенность максимальна, поскольку никакого обоснованного предположения о результате выбора сделать нельзя. Ясно также, что весьма малое изменение вероятностей состояний вызывает соответственно незначительное изменение неопределенности выбора.