Свойства условной энтропии

Покажем, в каких пределах может изменятся энтропия объединения двух сигналов: X и Y. Выражение для условной энтропии в развернутой форме имеет вид

(3.18)

Известно, что для независимых случайных событий условные вероятности равны безусловным. Предположив, что составляющие X и Y сигнала (X, Y) независимы, тогда в формуле (3.18) возможна замена p(x_i|y_j)=p(x_i) и она может быть преобразована к виду

Учитывая, что , имеем

Таким образом, условная энтропия при независимых сигналах равна безусловной энтропии, и в этом случае формулы (3.16) и №.17) примут одинаковый вид: H(X, Y)=H(X)+H(Y).

Рассмотрим теперь другой крайний случай, когда сигналы X и Y полностью зависимы, т.е. если получена конкретная реализация сигнала X, то тем самым известна и реализация сигнала Y.

Пусть сигнал X принял значение x_k. При этом известно, что сигнал Y с необходимостью примет значение y_s. Это значит, что условная вероятность p(y_s|x_k)=1, все остальные условные вероятности p(y_j|x_i), (j, i)≠(s, k), примут нулевое значение. Тогда в формулу (3.18) будут входить слагаемые двух видов: либо p(x_i)∙1∙log1, либо p(x_i)∙0∙log0. И в этом и в другом случае эти слагаемые равны нулю, поэтому H(Y|X)=0.

Рассуждая аналогично, можно показать, что при полностью зависимых сигналах X и Y энтропия H(X|Y)=0.

Таким образом, в случае полной зависимости сигналов X и Y энтропия их объединения равна энтропии одного из этих сигналов H(X, Y)=H(X)=H(Y), т. е. каждый сигнал содержит всю информацию относительно другого сигнала.

Уяснению соотношений между рассмотренными энтропиями дискретных источников информации (ансамблей) способствует их графическое отображение (рис. 3.2).

Рис. 3.2

Условное графическое представление H(X), H(Y), H(X, Y), H(Y|X) и H(X|Y).

Пример 3.3. Определить энтропию H(X), H(Y), H(X|Y), H(X, Y), если задана матрица вероятностей состояний системы, объединяющей источники x и y:

Вычисляем безусловные вероятности состояний каждой системы как суммы совместных вероятностей по строкам и столбцам заданной матрицы:

Определяем условные вероятности

Проверим результат по формуле