Надлишковість джерела.

Надлишковими в джерелі вважаються повідомлення, що несуть малу, а іноді й нульову кількість інформації. Час на їх передавання витрачається, а інформації передається мало.

Наявність надлишковості означає, що частину повідомлень можна і не передавати каналом зв'язку, а відновити з інших прийнятих повідомлень за відомими статистичними зв'язками. Кількісно надлишковість оцінюється коефіцієнтом %, що Називається коефіцієнтом надлишковості і визначається за формулою:

де Н(А) – ентропія джерела; Н_max(А) =log₂M_a, - максимальна ентропія джерела, що може видавати М_а повідомлень. Основними причинами надлишковості є: 1) різні ймовірності окремих повідомлень; 2) наявність статистичних зв'язків між повідомленнями джерела.

Приклад. Обчислити коефіцієнт надлишковості двійкового джерела повідомлень, якщо Р(а₁) = 0,1.