Информационные пределы избыточности.
Сравнивая полученные значения, можно сделать следующий вывод
Hmax(A) > H(A) > HЭ(A).(3).
Как отмечалось выше, средняя энтропия источника сообщений может быть различной в зависимости от статистических характеристик элементов сообщения. Энтропия максимальна и определяется выражением
I(X) = log2 M
если элементы сообщений являются равновероятными и взаимно независимыми. Если поступление элементов сообщений не равновероятно, то энтропия в этом случае определяется выражением (2).
Еще меньшей будет энтропия при наличии коррелятивных связей между элементами сообщений (см. неравенство 3). Причем энтропия уменьшается при усилении коррелятивных связей.
Сообщение, энтропия которых является максимальной, считается оптимальным с точки зрения передачи наибольшего количества информации.
Мерой количественной оценки того, насколько данное реальное сообщение по своей энтропии отличается от соответствующего ему оптимального сообщения, является коэффициент сжатия
(4)
где Н(А) – реальная энтропия, Нмах(А) – максимальная энтропия.
Если неоптимальное и оптимальное сообщения характеризуются одинаковой энтропией, то справедливо равенство
(5)
где n, n1 – число разрядов неоптимального и оптимального сообщений соответственно.
При этом число разрядов неоптимального сообщения всегда будет больше числа разрядов оптимального. Таким образом, коэффициент сжатия можно выразить
(6)
Другой информационной характеристикой, являющейся мерой информационного предела избыточности, является коэффициент избыточности
(7).
Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми элементами, так и от степени неравновероятности отдельных элементов. Если источник «без памяти», то последовательно передаваемые элементы являются независимыми, и все элементы – равновероятны, то коэффициент избыточности равен нулю.
Избыточность приводит к увеличению времени передачи сообщений, излишней загрузке канала связи. Однако не всегда надо стремиться избавиться от избыточности. Некоторая избыточность вводится специально, чтобы обеспечить требуемую достоверность передачи информации по каналу связи с помехами (избыточное помехоустойчивое кодирование).