Момент очередного отсчета определяется выполнением равенства 5 страница

Стационарный дискретный двоичный канал без памяти однозначно определяется четырьмя условными вероятностями: р(0/0), р(1/0), р(0/1), р(1/1). Такую модель канала принято изображать в виде графа, представленного на рис. 4.2, где р(0/0) и р(1/1) — вероятности неискаженной передачи символов, а р(0/1) и р(1/0) — вероятности искажения (трансформация) символов 0 и 1 соответственно.

Если вероятности искажения символов можно принять равными, т. е.то такой канал называют двоичным симметричным каналом [при р(0/1)р(1/0) канал называется несимметричным]. Символы на его выходе правильно принимают с вероятностью ρ и неправильно — с вероятностью 1—p = q. Математическая модель упрощается.

Именно этот канал исследовался наиболее интенсивно не столько в силу своей практической значимости (многие реальные каналы описываются им весьма приближенно), сколько в силу простоты математического описания.

Важнейшие результаты, полученные для двоичного симметрического канала, распространены на более широкие классы каналов.

Следует отметить еще одну модель канала, которая в последнее время приобретает все большее значение. Это дискретный канал со стиранием. Для него характерно, что алфавит выходных символов отличается от алфавита входных символов. На входе, как и ранее, символы 0 и 1, а на выходе канала фиксируются состояния, при которых сигнал с равным основанием может быть отнесен как к единице, так и к нулю. На месте такого символа не ставится ни нуль, ни единица: состояние отмечается дополнительным символом стирания S. При декодировании значительно легче исправить такие символы, чем ошибочно определенные.

На рис. 4 3 приведены модели стирающего канала при отсутствии (рис. 4.3, а) и при наличии (рис. 4.3, 6) трансформации символов.

Скорость передачи информации по дискретному каналу. Характеризуя дискретный канал связи, используют два понятия скорости передачи: технической и информационной.

Под технической скоростью передачи VT, называемой также скоростью манипуляции, подразумевают число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала.

С учетом возможных различий в длительностях символов скорость

где — среднее значение длительности символа.

При одинаковой продолжительности τ всех передаваемых символов = τ.

Единицей измерения технической скорости служит бод — скорость, при которой за одну секунду передается один символ.

Информационная скорость, или скорость передачи информации, определяется средним количеством информации, которое передается по каналу в единицу времени. Она зависит как от характеристик данного канала связи, таких, как объем алфавита используемых символов, техническая скорость их передачи, статистические свойства помех в линии, так и от вероятностей поступающих на вход символов и их статистической взаимосвязи.

При известной скорости манипуляции VT скорость передачи информации по каналу Ī(V,U) задается соотношением

где I(V,U) — среднее количество информации, переносимое одним символом.

Пропускная способность дискретного канала без помех. Для теории и практики важно выяснить, до какого предела и каким путем можно повысить скорость передачи информации по конкретному каналу связи. Предельные возможности канала по передаче информации характеризуются его пропускной способностью.

Пропускная способность канала Сд равна той максимальной скорости передачи информации по данному каналу, которой можно достигнуть при самых совершенных способах передачи и приема:

При заданном алфавите символов и фиксированных основных характеристиках канала (например, полосе частот, средней и пиковой мощности передатчика) остальные характеристики должны быть выбраны такими, чтобы обеспечить наибольшую скорость передачи по нему элементарных сигналов, т. е. обеспечить максимальное значение VТ. Максимум среднего количества информации, приходящейся на один символ принятого сигнала I(V,U), определяется на множестве распределений вероятностей между символами .

Пропускная способность канала, как и скорость передачи информации по каналу, измеряется числом двоичных единиц информации в секунду (дв. ед./с).

Так как в отсутствие помех имеет место взаимно-однозначное соответствие между множеством символов {ν} на выходе канала и {u} на его входе, то I(V,U) = =I(U,V) = H(U). Максимум возможного количества информации на символ равен log m, где m — объем алфавита символов, откуда пропускная способность дискретного канала без помех

Следовательно, для увеличения скорости передачи информации по дискретному каналу без помех и приближения ее к пропускной способности канала последовательность букв сообщения должна подвергнуться такому преобразованию в кодере, при котором различные символы в его выходной последовательности появлялись бы по возможности равновероятно, а статистические связи между ними отсутствовали бы. Доказано (см. § 5.4), что это выполнимо для любой эргодической последовательности букв, если кодирование осуществлять блоками такой длины, при которой справедлива теорема об их асимптотической равновероятности.

Расширение объема алфавита символов m приводит к повышению пропускной способности канала (рис. 4.4), однако возрастает и сложность технической реализации.

Пропускная способность дискретного канала с помехами. При наличии помех соответствие между множествами символов на входе и выходе канала связи перестает быть однозначным. Среднее количество информации I(V,U), передаваемое по каналу одним символом, определяется в этом случае соотношением

Если статистические связи между символами отсутствуют, энтропия сигнала на выходе линии связи равна

При наличии статистической связи энтропию определяют с использованием цепей Маркова. Поскольку алгоритм такого определения ясен и нет необходимости усложнять изложение громоздкими формулами, ограничимся здесь только случаем отсутствия связей.

Апостериорная энтропия характеризует уменьшение количества переданной информации вследствие возникновения ошибок. Она зависит как от статистических свойств последовательностей символов, поступающих на вход канала связи, так и от совокупности переходных вероятностей, отражающих вредное действие помехи.

Если объем алфавита входных символов u равен m1, а выходных символов υ — m2, то

Подставив выражения (4.18) и (4.19) в (4.17) и проведя несложные преобразования, получим

Скорость передачи информации по каналу с помехами

Считая скорость манипуляции VT предельно допустимой при заданных технических характеристиках канала, величину I(V,U) можно максимизировать, изменяя статистические свойства последовательностей символов на входе канала посредством преобразователя (кодера канала). Получаемое при этом предельное значение СД скорости передачи информации по каналу называют пропускной способностью дискретного канала связи с помехами:

где р{u} — множество возможных распределений вероятностей входных сигналов.

Важно подчеркнуть, что при наличии помех пропускная способность канала определяет наибольшее количество информации в единицу времени, которое может быть передано со сколь угодно малой вероятностью ошибки.

В гл. 6 показано, что к пропускной способности канала связи с помехами можно приблизиться, кодируя эргодическую последовательность букв источника сообщений блоками такой длины, при которой справедлива теорема об асимптотической равновероятности длинных последовательностей.

Произвольно малая вероятность ошибки оказывается достижимой только в пределе, когда длина блоков становится бесконечной.

При удлинении кодируемых блоков возрастает сложность технической реализации кодирующих и декодирующих устройств и задержка в передаче сообщений, обусловленная необходимостью накопления требуемого числа букв в блоке. В рамках допустимых усложнений на практике при кодировании могут преследоваться две цели: либо при заданной скорости передачи информации стремятся обеспечить минимальную ошибку, либо при заданной достоверности — скорость передачи, приближающуюся к пропускной способности канала.

Предельные возможности канала никогда не используются полностью. Степень его загрузки характеризуется коэффициентом использования канала

где — производительность источника сообщений; СД — пропускная способность канала связи.

Поскольку нормальное функционирование канала возможно, как показано далее, при изменении производительности источника в пределах,теоретически может изменяться в пределах от 0 до 1.

Пример 4.4. Определить пропускную способность двоичного симметричного канала (ДСК) со скоростью манипуляции VT в предположении независимости передаваемых символов.

Запишем соотношение (4.19) в следующем виде:

Воспользовавшись обозначениями на графе (рис. 4.5), можем записать

Так как

то

Величина HU(V) не зависит от вероятностей входных символов, что является следствием симметрии канала.

Следовательно, пропускная способность

Максимум H(V) достигается при равенстве вероятностей появления символов, он равен 1. Отсюда

График зависимости пропускной способности ДСК от ρ показан на рис. 4.6. При увеличении вероятности трансформации символа с 0 до 1/2 СД(р) уменьшается от 1 до 0. Если ρ = 0, то шум в канале отсутствует и его пропускная способность равна 1. При р=1/2 канал бесполезен, так как значения символов на приемной стороне с равным успехом можно устанавливать по результатам подбрасывания монеты (герб—1, решетка — 0). Пропускная способность канала при этом равна нулю.

 

 

§ 4.4. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКА НЕПРЕРЫВНЫХ СООБЩЕНИЙ

 

Эпсилон - производительность непрерывного источника сообщений. Под конкретным непрерывным сообщением (t) подразумевают некоторую реализацию случайного процесса длительностью Т. Источник непрерывных сообщений характеризуется ансамблем его реализаций. Наиболее плодотворной оказалась модель непрерывного сообщения в виде эргодического случайного процесса.

Для определения производительности источника непрерывных сообщений воспользуемся подходом и результатами § 3.7, где определена ε-энтропия случайной величины.

Под ε-производительностью источника непрерывных сообщений Ηε(z) понимают минимальное количество информации, которое необходимо создать источнику в единицу времени, чтобы любую реализацию (t) можно было воспроизвести с заданной вероятностью ε.

Допустим, что (t) воспроизводится реализацией uT(t). Наблюдаемые реализации следует рассматривать, как сигналы, обладающие ограниченным, хотя возможно и достаточно широким спектром F [28, 8].

При достаточно большой длительности Т как (t), так и uT(t) могут быть представлены N-мерными (N = 2FT) векторами () и (), координатами которых являются отсчеты. Ансамбли сообщений {(t)} и воспроизводящих сигналов {uT(t)} характеризуют при этом N-мерными случайными векторами Ζ и U, составляющими которых являются соответственно случайные величины Ζ1, Z2, .., ZN и U1, U2, .., UN. Статистическое описание каждого из ансамблей задается N-мерными плотностями распределения вероятностей ρ(Ζ) = ρ() и p(U) = p(). Связь между ансамблями отражают условные плотности распределений pu(Z)= = ρ(/) и pz(U) = p(/), а также совместная плотность распределения вероятностей p(Z,U) = p(;).

Распространяя формулу (4.20) на N-мерные случайные векторы Ζ и U для количества информации одного из них относительно второго, получим

где интегралы являются N-мерными.

Используем, как и ранее, среднеквадратический критерий верности (Z,U), который в рассматриваемом случае имеет вид

где p(Z,U)ZU представляет собой квадрат расстояния l(Z,U) в N-мерном евклидовом пространстве.

Количество информации, приходящееся в среднем на один отсчет дискретизованных сигналов ZT(t) и UT(t), определяется выражением

Тогда в соответствии с определением для ε-пропорциональности источника непрерывных сообщений Нε(Z) запишем

при выполнении условия

Величина ν характеризует скорость формирования источником отсчетов (ν = =2F).

Пример 4.5. Определить ε-производительность источника, формирующего со скоростью ν1 некоррелированные отсчеты стационарного нормального случайного сигнала с дисперсией σ2.

Воспользовавшись полученным в (3.65) значением ε-энтропии для нормально распределенной случайной величины, найдем

Возможности воспроизведения любого сообщения zT(t) с заданной верностью можно дать геометрическое толкование. Поскольку все реализации эргодического процесса достаточно большой длительности являются типичными и обладают практически одной и той же средней мощностью, концы соответствующих им векторов в N-мерном пространстве сообщений составляют непрерывное множество точек, равноудаленных от начала координат (гиперсферу).

Конечное подмножество воспроизводящих сигналов UT(t) размещается в центрах непересекающихся правильных сферических N-угольников (ε-областей), на которое гиперсфера разбивается без промежутков. Размеры ε-областей определены заданной верностью воспроизведения сообщений. Если источником реализуется сообщение z*T(t), конец вектора которого должен попасть в ε-область сигнала u*T(t), то воспроизводится сигнал u*T(t).

Следует отметить, что заданная верность воспроизведения будет достигнута с вероятностью, близкой к единице, только при достаточно большой длительности сообщений, когда погрешностью от замены непрерывных реализаций последовательностями отсчетов можно будет пренебречь. Для уменьшения указанной погрешности при ограниченной длительности сообщений Т необходимо увеличивать число отсчетов N. В пределе при N→∞ получим непрерывные реализации.

В вычислении ε - производительности источника и геометрическом толковании возможности воспроизведения сообщений с заданной верностью принципиально ничего не изменяется. Следует лишь учесть, что N-мерное евклидово пространство сообщений становится гильбертовым и мерой близости двух сигналов должно быть расстояние в этом пространстве.

 

§ 4.5. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ НЕПРЕРЫВНЫХ КАНАЛОВ СВЯЗИ

 

Модели непрерывных каналов связи. Каналы, используемые для передачи непрерывных сигналов, принято называть непрерывными. Такие каналы до сих пор находят широкое применение, например, в технике телефонной связи, радиовещании.

Реальные непрерывные каналы представляют собой сложные инерционные нелинейные объекты, характеристики которых случайным образом изменяются во времени. Для анализа таких каналов разработаны математические модели различных уровней сложности и степени адекватности реальным каналам. Модели, получившие наиболее широкое распространение, — это разновидности гауссова канала.

Под гауссовым каналом понимают математическую модель реального канала, построенную при следующих допущениях:

1) основные физические параметры канала являются известными детерминированными величинами;

2) полоса пропускания канала ограничена частотой FK герц;

3) в канале действует аддитивный гауссовый белый шум — аддитивная флуктуационная помеха ограниченной мощности с равномерным частотным спектром и нормальным распределением амплитуд.

Предполагается также, что по каналу передаются сигналы с постоянной средней мощностью, статистические связи между сигналами и шумом отсутствуют, ширина спектра сигнала и помехи ограничена полосой пропускания канала.

При рассмотрении информационных характеристик канала (скорости передачи, пропускной способности, коэффициента использования) основное внимание будет уделено гауссовому каналу.

Скорость передачи информации по непрерывному каналу.Скорость передачи информации по непрерывному каналу — это количество информации, которое передается в среднем принятыми непрерывными сигналами υ(t), относительно переданных u(t) в единицу времени.

Поскольку полоса пропускания канала всегда ограничена, непрерывные сообщения на достаточно продолжительном интервале времени Т с некоторой погрешностью могут быть представлены последовательностями отсчетов. С учетом наличия корреляционных связей между отсчетами и конечной верности воспроизведения, обусловленной воздействием помехи, для средней скорости Ĩ(VU) передачи информации дискретизованным сигналом получаем

где I(VU) определяется выражением, аналогичным (4.25).

По мере увеличения длительности Т эта скорость возрастает, так как при каждом новом отсчете реализации уточняются. В пределе при Т→∞ N-мерные распределения становятся бесконечномерными и выражение (4.27) будет определять скорость передачи информации по непрерывному каналу:

Переход к пределу при Т→∞ также означает усреднение скорости по всем возможным сигналам.

Степень вредного воздействия помехи с известными статистическими свойствами на различные ансамбли входных сигналов различна. Вследствие этого различны и значения скорости передачи информации.

Пропускная способность непрерывного канала связи. Максимально возможную скорость Сн передачи информации по непрерывному каналу с известными техническими характеристиками называют пропускной способностью непрерывного канала:

где максимум находят по всем возможным ансамблям входных сигналов.

Определим скорость передачи информации по гауссову каналу.

Пусть по гауссову каналу передается непрерывный сигнал uT(t) из ансамбля {uT(t)} со средней мощностью Рu, равной дисперсии σ. На выходе канала получим сигнал vT(t) из ансамбля {vT(t)}, искаженный гауссовой помехой ξ(t), среднюю мощность которой обозначим Ρξξ = σ).

Будем считать, что длительность Т сигнала uT(t) достаточно велика, чтобы с приемлемой погрешностью можно было заменить uт(t) и νт (t) последовательностями отсчетов, взятых через интервалы Δt = 1/(2Fк), где Fк — полоса пропускания канала.

В соответствии с (4.17) выражение для среднего количества информации, передаваемой сигналом vT(t), принимает вид

где Н(V) и HU(V) — априорная и апостериорная энтропии N-мерного случайного вектора V, составляющими которого являются случайные величины V1, V2, ...,VN.

Поскольку помеха в канале аддитивна и статистически не связана с входным сигналом, справедливо равенство

Величина Н(Ξ) в (4.30) представляет собой энтропию N-мерного случайного вектора помехи Ξ, составляющими которого являются случайные величины Ξ1, Ξ2, ..., ΕΝ.

Учитывая, что значения белого шума в моменты отсчетов будут некоррелированными, запишем

где h(ξ) — дифференциальная энтропия одного отсчетного значения помехи.

Для помехи с нормальным распределением и дисперсией σона составит (3.49)

Будем считать, что отсчетные значения входных функций uT(t) независимы. При воздействии на них независимых значений помехи отсчетные значения выходных сигналов VT(t) также независимы.

Тогда H(V) можно выразить через дифференциальную энтропию h(V) одного отсчета выходного сигнала:

Подставив (4.32) и (4.33) в (4.29), получим

Соответственно скорость передачи информации по непрерывному каналу связи

Определим теперь пропускную способность гауссова канала.

Найдем ансамбль входных сигналов, при котором обеспечивается максимальное значение h(V) в выражении (4.35).

Так как выходные сигналы образуются в результате суммирования входных сигналов и помехи, средние мощности которых ограничены, то и средняя мощность выходных сигналов ограничена. Для таких сигналов, как было установлено (см. § 3.5), наибольшее значение h(V) достигается при распределении V по нормальному закону. Известно также, что сумма двух нормально распределенных случайных величин имеет такую же функцию распределения с суммарной дисперсией. Отсюда следует, что при нормально распределенной помехе ξ выходной сигнал V будет распределен по нормальному закону лишь при нормально распределенном входном сигнале u.

Наибольшее значение энтропии h(V), а следовательно, и максимальная скорость передачи информации могут быть достигнуты при использовании нормальных центрированных случайных сигналов. Центрированность сигнала при заданной средней мощности соответствует максимальному значению дисперсии.

Они также должны иметь широкий и равномерный энергетический спектр, поскольку только в этом случае можно говорить о независимости отсчетов и использовать соотношение (2.23).

Таким образом, для более полного использования возможностей канала передаваемый сигнал должен обладать свойствами помехи, т. е. должен быть шумоподобным.

Максимальная величина дифференциальной энтропии

Подставляя (4.36) в (4.35), получаем выражение для пропускной способности гауссова канала:

Выясним, как зависит пропускная способность гауссова канала от ширины полосы пропускания FK.

Из выражения (4.37) следует, что эта зависимость нелинейна, поскольку FK также влияет на мощность помехи. Учитывая равномерность энергетического спектра белого шума, представим его мощность Рчерез удельную мощность Р0 на единицу частоты.

Выражение (4.37) примет вид

Рост пропускной способности канала при неограниченном расширении его полосы пропускания ограничен пределом СM:

Обозначивпо правилу Лопиталя определяем предел Сн при :

О характере зависимостиможно судить по графику, представленному на рис. 4.7.

 

§ 4.6. СОГЛАСОВАНИЕ ФИЗИЧЕСКИХ ХАРАКТЕРИСТИК СИГНАЛА И КАНАЛА

 

Конкретный канал связи обладает определенными физическими параметрами, от которых зависит возможность передачи по нему тех или иных сигналов. Независимо от назначения непрерывного канала его можно характеризовать тремя основными параметрами: временем, в течение которого он предоставляется для передачи сигнала Тк, шириной полосы пропускания сигнала FK и допустимым превышением сигнала над помехой в канале Hк. Превышение Hк характеризуется разностью максимально допустимого сигнала в канале Pu max и уровня помех Р(в логарифмическом масштабе). Для проводных каналов превышение в основном определяется пробивным напряжением и уровнем перекрестных помех, для радиоканалов — возможностями выявления сигнала на соответствующих расстояниях.