Энтропия источника с попарной зависимостью сообщений.

Учебные вопросы занятия

Лекция № 4. Информационные характеристики источников сообщений.

ЛЕКЦИЯ

Защиты информации

 

 

по учебной дисциплине "Теория информации "

для студентов специальности 075500 (090105) – Комплексное обеспечение информационной безопасности автоматизированных систем

.

 

 

Ставрополь 2009 г.

 

Цель занятия: Изучить информационные характеристики дискретных источников сообщений. Ознакомиться с энтропией зависимых и непрерывных событий. Изучить информационные пределы избыточности.

 

1.Энтропия источника с попарной зависимостью сообщений.

2. Информационные пределы избыточности

.

 

 

Количество информации, содержащейся в одном элементе Аi выбираемого из алфавита {Ai}где i = 1..n, где n объем алфавита, определяется следующим выражением

 

J(Аi) =-log2P(Аi) = H(Аi),(1).

где Р(Аi) – вероятность появления i-го элемента алфавита,H(Аi) - частная энтропия.

Частная энтропияопределяет информативность элемента алфавита для «неподготовленного» получателя, и совершенно не учитывает как смыслового содержания, так и субъективную ценность передаваемого сообщения. Таким образом, в основе информационной характеристики дискретного источника лежит только вероятностный характер источника сообщений.

 
 

Тогда средняя частная энтропия источника сообщения, приходящая на один элемент, выдаваемый дискретным источником независимых элементов с объемом алфавита М, можно найти как математическое ожидание дискретной случайной величины H(Аi),т.е.будет определяться следующим равенством

 

Данное выражение справедливо при условии, что все элементы алфавита независимы. На самом деле элементы алфавита генерируются взаимозависимыми, ограничимся рассмотрением парной зависимости.

 
 

Пусть заданы вероятности появления элементов АiI и AjII т.е. Р(АiI) Р(AjII) причем эти вероятности равны если i = j. Также дана условная вероятность появления элемента AjII при условии, что ранее был передан элемент АiI, т.е. Р(AjII/AiI) тогда условная энтропия приходящаяся на пару символов алфавита определяется следующим образом

где Р(AjIIAiI) вероятность парного появления (AjIIAiI).

 

 
 

Известно что Р(AjIIAiI) = P(AiI) Р(AjII/AiI) подставляя данное выражение в предыдущее, получаем

 


Полученное выражение соответствует энтропии на сочетание элементов во взаимозависимых источниках. Для вычисления энтропии источника с взаимозависимыми элементами необходимо разделить полученный результат на два.