Из этого следует, что при равновероятности знаков алфавита энтропия определяется исключительно числом знаков m алфавита и по существу является характеристикой только алфавита.

Властивості ентропії

Вступ

Час – 2 год.

Навчальні питання

Лекція 4. Властивості ентропії

1.... Властивості ентропії 1

2.... Ентропія при безперервному повідомленні 4

Література.

1. Дмитриев В.И. Прикладная теория информации. Учебник для студентов ВУЗов по специальности «Автоматизированные системы обработки информации и управления». – М.: Высшая школа, 1989 – 320 с.

При равновероятности знаков алфавита Р_i = 1/m из формулы Шеннона получают:

.

Если же знаки алфавита неравновероятны, то алфавит можно рассматривать как дискретную случайную величину, заданную статистическим распределением частот n_i появления знаков х_i (или вероятностей p_i =n_i /n) табл. 2.1:

Таблица 2.1.

Такие распределения получают обычно на основе статистического анализа конкретных типов сообщений (например, русских или английских текстов и т.п.).

Поэтому, если знаки алфавита неравновероятны и хотя формально в выражение для энтропии входят только характеристики алфавита (вероятности появления его знаков), энтропия отражает статистические свойства некоторой совокупности сообщений.

На основании выражения

,

величину log 1/p_i можно рассматривать как частную энтропию, характеризующую информативность знака х_i, а энтропию H - как среднее значение частных энтропий.

Функция (p_i × log p_i) отражает вклад знака х_i в энтропию H. При вероятности появления знака p_i=1 эта функция равна нулю, затем возрастает до своего максимума, а при дальнейшем уменьшении p_i стремится к нулю (функция имеет экстремум, рис. 2.1).

Рис. 2.1. Графики функций log 1/p_i и ‑p_i×log p_i

Для определения координат максимума этой функции нужно найти производную и приравнять ее к нулю.

Из условия находят: p_i e = 1, где е- основание натурального логарифма.

Таким образом, функция: (p_i log p_i) при p_i = 1/e = 0,37 имеет максимум: , т.е. координаты максимума (0,37; 0,531)

Энтропия Н ‑ величина вещественная, неотрицательная и ограниченная, т.е. Н ³ 0 (это свойство следует из того, что такими же качествами обладают все ее слагаемые p_i log 1/p_i).

Энтропия равна нулю, если сообщение известно заранее (в этом случае каждый элемент сообщения замещается некоторым знаком с вероятностью, равной единице, а вероятности остальных знаков равны нулю).

Энтропия максимальна,если все знаки алфавита равновероятны, т.е. Н_max = log m.

Таким образом, степень неопределенности источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению неопределенности.

Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния.

Действительно, в первом случае результат практически предрешен (реализация состояния, вероятность которого равна 0,99), а во втором случае неопределенность максимальна, поскольку никакого обоснованного предположения о результате выбора сделать нельзя. Ясно также, что весьма малое изменение вероятностей состояний вызывает соответственно незначительное изменение неопределенности выбора.