Ентропія при безперервному повідомленні

На самостоятельную работу

В задаче 2 проверить полученные результаты, написав программу расчета в Excel, MathCad.

Задача 3. Заданы ансамбли Х и Yдвух дискретных величин:

Таблица 2.3.

Таблица 2.4.

Сравнить их энтропии.

Решение. Энтропия не зависит от конкретных значений случайной величины. Так как вероятности их появления в обоих случаях одинаковы, то

Н(Х) = Н(Y) = ‑ 4(0,25 log 0,25) = ‑4(1/4 log 1/4) = log 4 = 2 бита

Ранее была рассмотрена мера неопределенности выбора для дискретного источника информации. На практике в основном встречаются с источниками информации, множество возможных состояний которых составляет континуум. Такие источники называют непрерывными источниками информации.

Во многих случаях они преобразуются в дискретные посредством использования устройств дискретизации и квантования. Вместе с тем существует немало и таких систем, в которых информация передается и преобразуется непосредственно в форме непрерывных сигналов. Примерами могут служить системы аналоговой телефонной связи и телевидения.

Оценка неопределенности выбора для непрерывного источника информации имеет определенную специфику.

Во-первых, значения, реализуемые источником, математически отображаются случайной непрерывной величиной.

Во-вторых, вероятности значений этой случайной величины не могут использоваться для оценки неопределенности, поскольку в данном случае вероятность любого конкретного значения равна нулю.

Естественно, однако, связывать неопределенность выбора значения случайной непрерывной величины с плотностью распределения вероятностей этих значений.

Учитывая, что для совокупности значений, относящихся к любому сколь угодно малому интервалу случайной непрерывной величины, вероятность конечна, попытаемся найти формулу для энтропии непрерывного источника информации, используя операции квантования и последующего предельного перехода при уменьшении кванта до нуля.