Момент очередного отсчета определяется выполнением равенства 1 страница

Результаты дискретизации приведены на том же рис.2.12.

При аппаратной реализации данного алгоритма следует иметь в виду, что вследствие наличия операции дифференцирования сигнала он неэффективен при наличии высокочастотных помех.

§ 2.10. КВАНТОВАНИЕ СИГНАЛОВ

Поскольку математической моделью непрерывного сигнала является случайный процесс U(t), мгновенное значение сигнала U = U(t_i) представляет собой случайную величину. Диапазон ее изменения, называемый непрерывной шкалой мгновенных значений сигнала, ограничен значениями u_min и u_max, что отражает условие физической реализуемости сигнала. Непрерывную шкалу мгновенных значений u_n= u_max – u_min сигнала разбивают на n интервалов, называемых шагами квантования. Границами шагов квантования являются значения u₀ = u_min , u₁ , ..., u_n-1 , u_n=u_max. Из множества мгновенных значений, принадлежащих i-му шагу квантования (u_i-1u<u_i), только одно значение u'_i является разрешенным (i-й уровень квантования). Любое другое из указанного множества значений округляется до u'_i . Совокупность величин u'_i(i=1, 2, ..., n) образует дискретную шкалу уровней квантования. Если эта шкала равномерна, т. е. разность значений u'_i = u'_i - u'_i-1 постоянна на всем протяжении непрерывной шкалы мгновенных значений сигнала u, квантование называют равномерным. Если постоянство значений Δu'_i не выдерживается — квантование неравномерное. Благодаря простоте технической реализации равномерное квантование получило наиболее широкое распространение.

В результате замены мгновенного значения сигнала U соответствующим уровнем квантования u'_i возникает погрешность δ_i = u - u'_i, которую называют ошибкой квантования. Эта погрешность является случайной величиной. Нас чаще всего интересует ее максимальное значение d_M = mах|d_i| и средне - квадратическое отклонение σ для всего диапазона изменения мгновенных значений сигнала. Используются также приведенные значения этих величин

С позиций минимизации наибольшей возможной ошибки квантования непрерывную шкалу мгновенных значений сигнала целесообразно разбить на n одинаковых шагов квантования Δ = (u_max — u_min)/n и уровни квантования разместить в середине каждого шага (рис 2.13) При этом максимальная ошибка квантования не превышает 0.5Δ. Если каждый уровень квантования выбран равным нижней (верхней) границе шага квантования, максимальная ошибка квантования возрастает до величины Δ.

Среднеквадратическое отклонение ошибки квантования для i-ro шага σ_i зависит не только от шага Δi и расположения в нем i-ro уровня квантования, но и от закона распределения мгновенных значений сигнала в пределах этого шага:

где р(u) — функция плотности вероятности мгновенных значений сигнала U.

Считая шаги квантования малыми по сравнению с диапазоном изменения сигнала, плотность р(u) в пределах каждого i-го шага можно принять постоянной и равной некоторому среднему значению, например р(u'_i). При таких предположениях минимальная среднеквадратическая ошибка σ_i достигается при расположении уровня квантования в середине шага:

Преобразовав подкоренное выражение к виду

отмечаем, что дисперсия ошибки квантования на i-м шаге равна Δ²_i/12 равномерно распределенного на этом шаге сигнала, умноженной на вероятность

р(u'_i)D_i попадания мгновенного значения сигнала в пределы данного шага. Дисперсия полной ошибки квантования σ² для всей непрерывной шкалы мгновенных значений сигнала определяется как математическое ожидание дисперсий Δ²_i/12 на отдельных шагах квантования:

При одинаковых шагах квантования (Δ_i = Δ)

Так как принимаем

то

Таким образом, при квантовании с постоянным шагом и размещении уровней квантования в середине шага (равномерное квантование) среднеквадратическая ошибка квантования, как для равномерного, так и для произвольного распределения мгновенных значений сигнала одинакова:

Шум квантования. При квантовании сигнала по уровню случайный процесс заменяется ступенчатой зависимостью U'(t). Изменяющуюся во времени ошибку квантования d(t), также представляющую собой случайный процесс, называют шумом квантования:

Сохраняя ранее введенные предположения (о малости шага квантования и равномерности распределения в нем мгновенных значений сигнала) и считая случайные процессы U(t) и d(t) эргодическими, среднеквадратическую ошибку равномерного квантования σ можно определить по реализации δι(t) (рис. 2.14). В пределах каждого шага квантования Δ зависимость δι(t) заменяется прямой t×tgb₁, где β — переменный угол наклона прямой. При размещении уровней квантования в середине каждого шага математическое ожидание ошибки квантования равно нулю, а ее среднеквадратическое значение определяется выражением

Так как

что соответствует ранее полученному значению [см. (2.44)].

При заданной допустимой среднеквадратической ошибке квантования и отсутствии помех число уровней квантования находим из соотношения

Однако при неравномерном законе распределения мгновенных значений сигнала квантование с постоянным шагом не является оптимальным по критерию минимума среднеквадратической ошибки σ. Квантуя участки с менее вероятными значениями сигнала с большим шагом, указанное значение среднеквадратической ошибки можно уменьшить.

Пример 2.8. Показать, что при квантовании сигнала u(t), имеющего плотность распределения значений р(u), с постоянным шагом Δ, значение которого много меньше диапазона изменения u(t), среднеквадратическая ошибка квантования σ достигает минимума при расположении уровня квантования в середине шага.

Дисперсия ошибки квантования в пределах i-го шага в соответствии с (2.38) может быть записана в виде

где u'_i – i-й уровень квантования.

Приравнивая нулю производную этого выражения, находим условие минимума:

откуда

при одинаковых знаках имеем u_i = u_i-1, что соответствует случаю отсутствия квантования (Δ = 0). Приняв разные знаки, получаем

что и требовалось показать.

§ 2.11. КВАНТОВАНИЕ СИГНАЛОВ ПРИ НАЛИЧИИ ПОМЕХ

В реальных условиях на квантуемый сигнал всегда воздействует помеха. Поэтому целесообразно минимальный шаг квантования выбирать с учетом вероятностных характеристик этой помехи.

Предположим, что помеха аддитивна. Тогда мгновенное значение сигнала и, попадавшее ранее в i-й шаг квантования и сопоставлявшееся с уровнем квантования u'_i, в результате действия помехи примет значение u + ξ и может быть поставлено в соответствии другому уровню квантования u'_k. Такой исход приведет к искажению информации и вероятность его не должна превышать допустимого значения [24].

Обозначим через р_i(k) условную вероятность сопоставления значения сигнала и уровню квантования и'_k, вместо уровня u'_i при условии, что u принадлежит i-му шагу квантования. При наличии помехи р_i(k)>0, а р_i(i)<1.

Полная вероятность того, что величина u + x останется в пределах i-го шага квантования,

Вероятность p_i можно найти также, используя плотность вероятности f(u, ξ) системы двух случайных величин u и ξ:

где S — область интегрирования.

Поскольку нами учитываются мгновенные значения сигнала, принадлежащие i-му шагу квантования, границами интегрирования по u являются значения u_i и u_i-1. Верхняя x_max и нижняя x_min границы интегрирования по ξ определяются из условия, что алгебраическая сумма сигнала и помехи не должны выйти за пределы i-го шага квантования:

откуда

Таким образом, область интегрирования представляет собой параллелограмм ABCD (рис. 2.15).

Считая помеху некоррелированной с сигналом, запишем

где р(x) — плотность распределения помехи.

Ограничимся далее случаем равномерного квантования сигнала, мгновенные значения которого в диапазоне от u_min до u_max распределены равномерно, т. е.

Методику определения p_i(i) рассмотрим в предположении воздействия помехи, распределенной по закону равномерной плотности, а затем перейдем к практически более важному случаю воздействия помехи с нормальным законом распределения.

Итак,

где а/2 — амплитуда помехи, симметричной относительно мгновенного значения сигнала.

При указанных условиях результаты расчета инвариантны относительно шага квантования и зависят от соотношения а и Δ = Δ_i.

Определим p_i(i) при α<Δ. Область интегрирования (рис. 2.16) разбиваем на отдельные участки и проставляем пределы интегрирования с учетом того, что знаменатель выражения (2.51) равен /(u_max - u_min). Тогда

Построив области интегрирования, тем же путем можно найти ρ_i(i) при Δ<a<2Δ и a>2Δ:

На рис. 2.17 представлен график ρ_i(i) = f(a/Δ), из которого, в частности, следует, что Δ нецелесообразно выбирать меньше а, поскольку при a/Δ>1 резко возрастает вероятность неправильного квантования сигнала.

Аналогично рассчитывают зависимость ρ_i(ί) = f(σ_п/Δ) (рис. 2.18) для случая воздействия на сигнал помехи, распределенной по нормальному закону:

где σ_п — среднеквадратическое отклонение помехи ξ.

Сравнение графиков на рис. 2.17 и 2.18 показывает, что по вероятности правильного квантования ρ_i(i) воздействие помехи с нормальным законом распределения эквивалентно воздействию равномерно распределенной помехи при соотношении a = 3σ_п.

§ 2.12. ГЕОМЕТРИЧЕСКАЯ ФОРМА ПРЕДСТАВЛЕНИЯ СИГНАЛОВ

В соответствии с обобщенной теорией сигналов при выбранной совокупности ортонормированных функций y_k(IkN) сигнал u(t) на ограниченном интервале времени Т полностью определяется совокупностью безразмерных коэффициентов C₁, ..., C_k, ..., C_N. Эти коэффициенты можно рассматривать как координаты точки в геометрическом пространстве с N взаимно перпендикулярными осями, обозначенными как ψ₁, ..., y_k, ..., ψ_N. Такое многомерное пространство принято называть пространством сигналов.

Если каждое из совокупности чисел C₁, ..., C_k, ..., С_N умножить на орт соответствующей оси, то получим координаты вектора сигнала u(t) в N-мерном векторном евклидовом пространстве сигналов. При этом длина l (норма ççuçç) вектора, проведенного из начала координат к точке, изображающей сигнал,

Расстояние d между двумя точками пространства с координатами C₁, ..., C_k, …, C_N и C¢₁, ..., C¢_k, ..., C¢_N определяем по формуле:

При геометрическом представлении непрерывного сигнала u_c(t) с ограниченным спектром F_c на интервале времени Tс в качестве координат сигнала используется совокупность N = 2FcT_c отсчетов, получаемых в соответствии с теоремой Котельникова. Число измерений пространства обычно оказывается очень большим [34].

Если сигнал имеет размерность напряжения (или тока), то квадрат длины вектора определяет удельную энергию сигнала (выделяющуюся на резисторе с сопротивлением в 1 Ом).

Выразим ее через отсчеты функции u_c(t):

Обозначим 2pF_ct = z. При этом dz = 2pF_cdt. Раскрывая подынтегральное выражение в правой части равенства и принимая во внимание, что при k ¹ l

а

получим

или

где Р_c — средняя мощность сигнала.

Так как u_c (kt) мы приняли за координаты сигнала, то в соответствии с (2.55) левая часть выражения (2.57) представляет собой квадрат длины вектора сигнала, поэтому

Отметим, что при одной и той же средней мощности сигнала удаленность конца соответствующего ему вектора от начала координат тем больше, чем больше его длительность и ширина спектра.

Рассмотрим, как будет изменяться положение конца вектора передаваемого сигнала в результате воздействия на него в канале связи аддитивной помехи в виде «белого шума» с ограниченным спектром.

Помеха геометрически представляется в виде случайного вектора, координатами которого являются случайные величины. Он не занимает определенного положения в пространстве, но при известном распределении координат помехи может быть подсчитана вероятность попадания конца вектора помехи в заданный объем пространства.

Если воздействие помехи выражается в изменении значений отсчетов сигнала, то координатами случайного вектора являются значения помехи в те же моменты времени. Принимая длительность помехи и ширину ее спектра равными соответственно Тс и Fc, помехи можно отобразить в том же N-мерном пространстве сигналов.

На практике и в теории наиболее часто мы имеем дело с помехой u_x(t), распределенной по нормальному закону с нулевым средним значением. Будем считать, что этот закон одинаков для всех моментов отсчета. Тогда все направления вектора помехи равновероятны. При этом область наиболее вероятного нахождения конца вектора помехи оказывается N-мерной сферой, радиус которой в соответствии с (2.58)

где Ρ_x — средняя мощность помехи за время Т_c.

Если сигнал и помеха некоррелированы, вектор помехи располагается преимущественно перпендикулярно вектору сигнала. На рис. 2.19 расположение указанных векторов условно изображено в трехмерном пространстве. Конец результирующего вектора с высокой вероятностью располагается в одной из точек окружности, лежащей в плоскости, перпендикулярной вектору сигнала u_c(t). Длина результирующего вектора

Таким образом, в результате действия помехи появляется неопределенность в положении результирующего вектора. Так как распределение помехи, как правило, не ограничено, то его конец может оказаться в любой точке пространства. При определенной средней мощности передачи совокупность вектора передаваемых сигналов (код) выбирают, исходя из характера помехи и требуемой верности. В пространстве сигналов каждому указанному вектору отводится собственная область пространства такая, чтобы вероятность попадания конца вектора за пределы этой области была меньше заданной.

Аналогично геометрическому отображению дискретно-непрерывных сигналов в евклидовом пространстве непрерывные сигналы u(t) представляются в гильбертовом пространстве. Оно имеет бесконечное число измерений и может отображать все непрерывные функции времени, заданные на определенном интервале [0,T]. Длину l_г вектора (норма) в этом пространстве находят по формуле

Для расстояния между векторами u(t) и u(t) соответственно имеем

Помехи, как и ранее, представляют случайными векторами.

Для геометрического отображения чисто дискретных сигналов, получающихся путем дискретизации и квантования по уровню, используются дискретные линейные векторные пространства. Размерность пространства соответствует числу отсчетов. Координаты сигнала принимают конечное число различных значений, кратных величине кванта Δ. Поэтому концы векторов сигналов располагаются в вершинах правильной точечной решетки. Частным случаем такой решетки является, например, N-мерный единичный куб, позволяющий представить совокупность комбинаций двоичного кода в пространстве Хэмминга, о чем подробнее сказано в гл. 6 (см.§ 6.3).

При прохождении по каналу связи сигналы подвергаются преобразованиям (дискретизации, модуляции и т.п.). Поэтому используются представления сигналов в различных пространствах (пространстве сообщений, пространстве передаваемых сигналов, пространстве модулированных сигналов, пространстве принимаемых сигналов).

Преобразования сигналов при этом рассматриваются как отображение одних векторных пространств другими.

Геометрические представления сигналов имеют весьма существенное значение при решении задач теории информации. Они позволяют наглядно изобразить процессы воздействия помехи на передаваемый сигнал, способствуют анализу путей устранения последствий такого воздействия, облегчают формирование и запоминание простых фундаментальных соотношений между основными параметрами сигнала и канала.

Контрольные вопросы

1. В чем сущность процессов дискретизации и квантования?

2. Охарактеризуйте преимущества дискретной и цифровой передач информации.

3. Сформулируйте общую постановку задачи дискретизации.

4. Каковы основные методы получения координат сигнала?

5. Сравните интерполяционные и экстраполяционные способы восстановления сигнала.

6. Что понимают под среднеквадратическим критерием восстановления сигнала?

7. Сформулируйте теорему Котельникова.

8. Поясните физически возможность замены непрерывной функции с ограниченным спектром совокупностью отсчетов.

9. Каковы теоретические неудобства использования функции с ограниченным спектром в качестве модели сигнала?

10. В чем трудности технической реализации способа передачи непрерывных сигналов, основанного на теореме Котельникова?

11. Какова процедура равномерной дискретизации по критерию наибольшего отклонения?

12. Укажите преимущества и недостатки адаптивной дискретизации.

13. Запишите выражение для среднеквадратической ошибки равномерного квантования.

14. Что такое шум квантования?

15. Как рассчитать шаг квантования сигнала при наличии помехи?

16. Какие совокупности координат сигнала используются при его геометрическом представлении?

17. Запишите соотношения для определения расстояния между концами векторов, отображающих сигналы в евклидовом и гильбертовом пространствах.

18. Какова практическая значимость геометрического представления сигналов?

ГЛАВА 3. КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ

§ 3.1. ЭНТРОПИЯ КАК МЕРА НЕОПРЕДЕЛЕННОСТИ ВЫБОРА

Ранее отмечалось, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности. В данной главе ставятся задачи установления количественных мер неопределенности и информации и выяснения их основных свойств.

Начнем рассмотрение с источника информации, который может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Такой источник называют дискретным источником информации. При этом принято говорить, что различные состояния реализуются вследствие выбора их источником. Каждому состоянию источника и ставится в соответствие условное обозначение в виде знака (в частности, буквы) из алфавита данного источника: u₁, u₂, ..., u_N.

Для получения результата выбора источником и конкретного состояния можно высказать ряд предположений, базирующихся на априорных сведениях об источнике информации. Поскольку одни состояния выбираются источником чаще, а другие реже, то в общем случае он характеризуется ансамблем U, т. е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу:

причем

Обе формы записи используются в дальнейшем на равных основаниях.

Опираясь на эти сведения, введем сначала меру неопределенности выбора состояния источника. Ее можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояния источника. Мера должна удовлетворять ряду естественных условий. Одним из них является необходимость монотонного возрастания с увеличением возможностей выбора, т. е. числа возможных состояний источника N, причем недопустимые состояния (состояния с вероятностями, равными нулю) не должны учитываться, так как они не меняют неопределенности.

Ограничиваясь только этим условием, за меру неопределенности можно было бы взять число состояний, предположив, что они равновероятны. Однако такая мера противоречит некоторым интуитивным представлениям. Например, при N=1, когда неопределенность отсутствует, она давала бы значение, равное единице. Кроме того, такая мера не отвечает требованию аддитивности, состоящему в следующем.

Если два независимых источника с числом равновероятных состояний N и Μ рассматривать как один источник, одновременно реализующий пары состояний n_im_j, то естественно предположить, что неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно ΝΜ, то искомая функция должна удовлетворять условию

Соотношение (3.2) выполняется, если в качестве меры неопределенности источника с равновероятными состояниями и характеризующего его ансамбля U принять логарифм числа состояний:

Тогда при Ν= 1 H(U) = 0 и требование аддитивности выполняется.

Указанная мера была предложена американским ученым Р. Хартли [31] в 1928г. Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум. При этом единица неопределенности называется двоичной единицей или битом и представляет собой неопределенность выбора из двух равновероятных событий (bit — сокращение от англ. binary digit — двоичная единица). Если основание логарифма выбрать равным десяти, то неопределенность получим в десятичных единицах на одно состояние (битах).

Пример 3.1. Определить минимальное число взвешиваний, которое необходимо произвести на равноплечих весах, чтобы среди 27 внешне неотличимых монет найти одну фальшивую, более легкую.

Общая неопределенность ансамбля U в соответствии с (3.3) составляет

Одно взвешивание способно прояснить неопределенность ансамбля U', насчитывающего три возможных исхода (левая чаша весов легче, правая чаша весов легче, весы находятся в равновесии) Эта неопределенность

Так как

для определения фальшивой монеты достаточно произвести три взвешивания.

Алгоритм определения фальшивой монеты следующий. При первом взвешивании на каждую чашку весов кладется по девять монет Фальшивая монета будет либо среди тех девяти монет, которые оказались легче, либо среди тех, которые не взвешивались, если имело место равновесие Аналогично, после второго взвешивания число монет, среди которых находится фальшивая, сократится до трех Последнее, третье, взвешивание дает возможность точно указать фальшивую монету

Предложенная мера, как мы убедились, позволяет решать определенные практические задачи. Однако она не получила широкого применения, поскольку была рассчитана на слишком грубую модель источника информации, приписывающую всем его возможным состояниям одинаковую вероятность.

Таким образом, степень неопределенности реализации состояния источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению неопределенности. Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния. Действительно, в первом случае результат практически предрешен (реализация состояния, вероятность которого равна 0,99), а во втором случае неопределенность максимальна, поскольку никакого обоснованного предположения о результате выбора сделать нельзя. Ясно также, что весьма малое изменение вероятностей состояний вызывает соответственно незначительное изменение неопределенности выбора.

Это позволяет сформулировать следующее требование к искомой мере неопределенности Н(р₁ ... р_i ... р_N): она должна быть непрерывной функцией вероятностей состояний источника р₁ ... p_i ... р_N с соблюдением условия _I = 1. Наибольшее ее значение должно достигаться ι= 1 при равенстве вероятностей всех состояний.