ВАЖНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ

ЛЕКЦИЯ 4

Два способа измерения информации, рассмотренные в предыдущих параграфах, как правило, не совпадают, причем энтропийное количество информации не может быть больше числа двоичных символов (битов) в сообщении. Если энтропийное количество информации меньше числа битов в сообщении, то говорят, что сообщение избыточно.

В примере с колодой из 32 карт оба способа измерения информации дают одно и то же число 5. Это значит, что если кодировать карты колоды последовательностями из пяти двоичных символов, то такой код будет неизбыточным. Тривиальные сообщения всегда избыточны, так как имеют нулевую информацию с точки зрения энтропии, но содержат ненулевое число символов.

На основе понятий энтропии и количества информации в теории информации введены важные характеристики сигналов и информационных систем. Вот основные из них.

1. Скорость создания информации H - энтропия источника, отнесенная к единице времени.

2. Скорость передачи информации R - количество информации, передаваемое по каналу связи в единицу времени (например, для речи в обычном темпе - около 20 бит/с).

3. Избыточность - свойство сигналов, состоящее в том, что каждый элемент сигнала (например, символ в тексте) несет информации меньше, чем может нести потенциально. При отсутствии помех избыточность вредна, так как снижает эффективность использования системы (снижает скорость передачи по каналу связи, увеличивает требуемый объем памяти при запоминании, увеличивает число операций при обработке и пр.). Вместе с тем избыточность - единственное средство борьбы с помехами, так как именно она позволяет установить, какие символы были испорчены шумами, и восстановить переданный сигнал (например, именно избыточность позволяет разгадывать кроссворды или играть в «поле чудес»). Избыточность измеряется по формуле:

где n - текущая длина (число символов) сигнала, а n₀ - длина сигнала при максимальной информационной загрузке, т. е. минимальная из длин сигналов, несущих ту же информацию.

4. Пропускная способность канала связи C - максимальная скорость передачи информации: С = max R, где максимум отыскивается среди всех мыслимых приемно-передающих систем, связанных данным каналом. Экспериментально установлено, что пропускная способность зрения и слуха человека около 5 бит/с.

Чем больше информации несет каждый из определенного числа импульсов, тем полнее используется пропускная способность канала. Поэтому нужно разумно кодировать информацию, найти экономный, скупой язык для передачи сообщений.

Но на практике довольно часто случается, что код, возникший в результате самого тщательного «просеивания», код удобный и экономный, может исказить сообщение из-за помех, которые всегда, к сожалению, бывают в каналах связи: искажения звука в телефоне, атмосферные помехи в радио, искажение или затемнение изображения в телевидении, ошибки при передаче в телеграфе. Эти помехи, или, как их называют специалисты, шумы, обрушиваются на информацию. А от этого бывают самые невероятные неожиданности. Поэтому для повышения надежности в передаче и обработке информации приходится вводить лишние символы — своеобразную защиту от искажений. Они — эти лишние символы — не несут действительного содержания в сообщении, они избыточны.

С точки зрения теории информации все то, что делает язык красочным, гибким, богатым оттенками, многоплановым, многозначным, — избыточность.

Новизна, общность и абстрактность понятий теории информации побудили многих специалистов приложить ее к задачам разных наук. Наиболее естественными оказались связи математической статистики (теории извлечения информации из измерений, которая возникла гораздо раньше, но теперь лишь по традиции продолжает рассматриваться отдельно от теории информации). Обнаружились также глубокие связи понятий теории информации со статистической физикой. Но не следует забывать, что теория информации описывает лишь некоторые (далеко не все!) стороны информационных отношений и не претендует на исчерпывающее описание той роли, которую играет информация в человеческом обществе, живых организмах и других системах. Попытки снять эти ограничения (вводя количественные меры для ценности, верности, смысла информации) продолжаются.