Основные определения.

Теория информации.

ЛЕКЦИЯ № 27

Родоначальник – Клод Шеннон.

Практически параллельно с ним работал Котельников.

1944 г. – грант на разработку системы криптографии (США).

Информация – это есть сведения о материальных объектах, нематериальных объектах, событиях.

Сообщение – формальное представление некоторых сведений переданных либо принятых. Сообщение содержит информацию.

Можно утверждать, что количество информации зависит от степени неопределённости содержания сообщения, т.е. от априорных вероятностей.

Пусть в канал связи поступают сообщения:

S₁ = 0 и S₂ = 1 с соответствующими априорными вероятностями P(S₁) и P(S₂).

P(S₁) + P(S₂) = 1

Тогда можно предположить:

1. P(S₁) = 1 и P(S₂) = 0 количество информации в сообщении = 0;

2. P(S₁) = 0 и P(S₂) = 1 количество информации в сообщении = 0;

3. P(S₁) = P(S₂) = 0,5 количество информации в сообщении максимально.

Покажем это графически для P(S₁):

I(S₁) – количество информации в сообщении S₁

Среднее количество информации на сообщение рассчитывается из формулы мат. ожидания усреднения по множеству и называется энтропией (Н).

где k – длина кодовой комбинации.

Для k = 1 и P(S₁) = P(S₂) максимальное количество информации равно 1 биту.

Выводы:

1) Максимальное количество информации в сообщении будет в том случае, когда априорные вероятности появления в канале связи сообщений равны между собой. В данном случае H(S) = H_max.

2) Учитывая, что природа источника сообщений всегда имеет различные априорные вероятности, то можно утверждать, что количество информации в сообщениях не максимально.

Пример.

Русский алфавит.

«КОЧКА»

Р(О) >> P(Ч), в данном сообщении количество информации не максимально

3) Для того, чтобы система была защищена, необходимо изменить частость появления сообщения (символов).

4) Используя статистику появления сообщения в канале, можно увеличить количество информации, передаваемой сообщением.

5) – коэффициент избыточности в сообщении.