Фундаментальные свойства энтропии

При равновероятности знаков алфавита Pi = 1/N из формулы Шеннона получают:

Из этого следует, что при равновероятности символов алфавита энтропия определяется исключительно числом символов алфавита и по существу является характеристикой только числа символов алфавита.

Если же знаки алфавита неравновероятны, то алфавит можно рассматривать как дискретную случайную величину, заданную статистическим распределением частот появления знаков X_i(или вероятностей P_i =n_i / n) табл. 1:

Таблица 1.

Такие распределения получают обычно на основе статистического анализа конкретных типов сообщений (например, русских или английских текстов и т.п.).

Поэтому, если знаки алфавита неравновероятны и хотя формально в выражение для энтропии входят вероятности появления его знаков, энтропия отражает статистические свойства некоторой совокупности сообщений.

Еще раз вернемся к понятию энтропии источника сообщений.

В выражении для энтропии

величина log 1/Pi представляет частную энтропию, характеризующую информативность знака х_i, а энтропия Н - есть среднее значение частных энтропий. Таким образом еще раз подчеркнем, что энтропия H источника выражает СРЕДНЮЮ энтропию на один символ алфавита.

Функция (Pi • log Pi) отражает вклад знака Xi в энтропию Н. При вероятности появления знака Pi=1 эта функция равна нулю, затем возрастает до своего максимума, а при дальнейшем уменьшении Pi стремится к нулю