Без помех. Теоремы Шеннона для канала без помех.

Скорость передачи и пропускная способность дискретного канала

Пусть задан канал, на вход которого подаются дискретные сообщения Х, образующие первичный алфавит X1, X2, …, Xn. Последние кодируются с помощью преобразователя П1 и преобразуются в кодированные символы S. Для кодирования используется некоторый алфавит символов S1, S2, …, Sm (см. рис. 5)

 

 

Рис. 5. Дискретный канал передачи информации.

Говоря о каналах передачи информации, нельзя не отметить ряд следующий информационных характеристик канала. К ним относятся:

- скорость передачи информации;

- пропускная способность канала.

Среднее количество информации, передаваемое по каналу в единицу времени, называется скоростью передачи.

Наибольшее значение скорости передачи для данного канала называется пропускной способностью этого канала.

 
 

Скорость передачи информации

где Н(Х) – средняя энтропия одного сообщения; tэ – средняя длительность сообщения; Vx – скорость выдачи символов сообщения источником.

Под длительностью сообщенияпонимают интервал времени, в который появляются сообщения на выходе источника информации. Средняя длительность tпри отсутствии статистических зависимостей между сообщениями определяется выражением

(8)

где Р(Хi) и t(Xi) – априорная вероятность и длительность i-го сообщения; n – количество сообщений , передаваемых источником.

Пропускная способность канала определяется следующим образом

(9)

Скорость передачи информации в общем случае зависит от статистических свойств сообщения, метода кодирования и свойств канала.

Пропускная способность – характеристика канала и она не зависит от фактической скорости передачи информации.

Рассмотрим информационную модель канала без помех.

В канале без помех каждому определенному входному сигналу всегда будет соответствовать один и тот же сигнал на выходе канала, т.е. входные и выходные сигналы связаны однозначной функциональной зависимостью (рис. 6.).

       
   
Y1 Y2     Yn

 


Рис. 6. Канал без помех.

В этом случае среднее количество информации, переносимое одним символом равно энтропии символа на входе канала (выходе источника сообщений).

I(X) = H(X)(10)