Избыточность.

Энтропия представляет собой среднее количество информации (в битах), приходящееся на один знак, отсюда: если Н(а) снижается, то падает среднее количество информации на одно элементарное сообщение а_i. Это рассматривают как снижение информационной емкости сообщений и появление избыточности. В связи с этим появляется возможность передачи сообщений в сокращенном виде без потерь информации .

Например, при передаче телеграмм мы исключаем из текста союзы, предлоги, знаки препинания, ибо они легко восстанавливаются при чтение переданного текста.

Избыточность:

где Н_i (а) – реальная энтропия

Н₀ (а) – энтропия в предложений, что все знаки его (а_i) равновероятны.

r – Коэффициент сжатия.

Искажение избыточности приводит к сокращению времени передачи одной и той же информации.

Сжатие сообщений можно осуществить посредством соответствующего «оптимального « кодирования.

Наиболее известны коды Шеннона – Фено и Хаффмена. Смысл такого кодирования в том, что более часто встречающимся знакам (вероятности появления их велики) присваиваются короткие кодовые комбинации, редко встречающимся – длинные. Этим достигаются два преимущества снижается число используемых бита один знак в среднем, и становятся более помехозащищенными ценные знаки (с малой вероятностью появления), так как более длинную кодовую комбинацию поразить труднее (чем короткую).