Канала с помехами. Теоремы Шеннона.

Скорость передачи информации и пропускная способность

Если на вход дискретного канала поступает в среднем V_м символов в единицу времени, то можно определить скорость передачи информации С по каналу с шумом:

(10)

V_M - скорость манипуляции (Бод).

Для канала без помех скорость передачи информации совпадала с информационной производительностью источника сообщений

(11)

где H(x) – энтропия источника информации. Скорость передачи информации - среднее количество информации передаваемое в единицу времени.

Максимальная скорость манипуляции двоичных сигналов определяется шириной полосы пропускания канала связи и равна:

(12)

Пропускная способность канала связи– характеризует его потенциальные возможности по осуществлению быстрой передачи информации.

Под пропускной способностью С_мах понимается максимально возможная скорость передачи информации, которая может быть достигнута в канале с заданными свойствами при заданном уровне помехи:

(13)

Величина С_мах характеризует канал связи и определяется его свойствами:

- полосой пропускания;

- типом и интенсивностью помех.

Однако экстремум достигается в выражении (13) при работе от определнного источника и отыскивается подбором нужного априорного распределения Р(Х)

(14)

Рассмотрим пропускную способность каналов различных типов.

1. Двоичный канал без помех. В таком канале условная энтропия равна нулю, а максимум достигается при равновероятном появлении сигналов

(15)

Согласно формуле (15) в полосе частот 1 Гц за 1 с. в двоичном канале без помех передается не более двух бит информации.

2. М-ичный канал без помех. В данном канале условная энтропия также равна нулю, а пропускная способность определяется выражением (16)

(16)

3. Двоичный симметричный канала. Условием симметрии является

Найдем условную энтропию H(Y/X)

Можно сделать вывод, что в симметричном канале условная энтропия от априорного распределения Р(Х) не зависит. В самом деле

Максимум энтропии достигается при условии равновероятности сигналов

(17)

4. М-ичный симметричный канал. Для такого канала

Используя методику для вывода выражения (17) получаем

(18)

5. Двоичный канал со стиранием. Пропускная способность такого канала определяется следующим выражением

(19)

где P(Q) – вероятность стирания.

Для дискретных каналов с помехами были доказаны две теоремы Шеннона.

Теорема Шенона: если поток информации вырабатываемый источником достаточно близок к пропускной способности канала, то всегда можно найти такой способ кодирования, который обеспечивает передачу всех сообщений вырабатываемых источником, а вероятность ошибочного опознания любого из переданных сообщений будет сколь угодно малой.