Неопределенность, количество информации и энтропия

Синтаксическая мера информации

Информация не является ни материей, ни энергией. В отличие от них, она может возникать и исчезать. Особенность информации заключается в том, что она проявляется только при взаимодействии объектов. Поэтому понятие «информация» обычно предполагает наличие двух объектов - «источника» информации и «приемника» (потребителя) информации (рис.1.2). Информация передается от источника к получателю в виде сигналов (например, электрических, световых, звуковых и т.д.), распространяющихся в определенной среде.

Рис. 1.2 Структурные компоненты обмена информацией

Сигнал - это физический процесс, несущий информацию о событии или состоянии объекта наблюдения.

Самый “популярный” носитель информации - электромагнитные волны, непосредственно воспринимаемые человеческими органами чувств как свет, звук и тепло [2]. Спектр данных волн представлен на рис.3.2.

Рис.3.2 Спектр электромагнитных волн

Информация может поступать непрерывно или дискретно, т.е. в виде последовательности отдельных сигналов (рис.3.3). Соответственно, различают непрерывную и дискретную информацию.

Рис.3.3 Представление непрерывного и дискретного сигналов

По определению А. Д. Урсула - «информация есть отраженное разнообразие». Количество информации есть количественная мера разнообразия.

Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени (длину сообщения). Но количество информации воспринятой приемником в результате сообщения, характеризуется в итоге вовсе не длиной сообщения, а разнообразием сигналапорожденного в приемнике этим сообщением.

Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразиемзаполнения этой ёмкости.

Разнообразие необходимо при передаче информации. Нельзя нарисовать белым по белому, одного состояния недостаточно. Если ячейка памяти способна находиться только в одном (исходном) состоянии и не способна изменять свое состояние под внешним воздействием, это значит, что она не способна воспринимать и запоминать информацию. Информационная емкость такой ячейки равна 0.

Минимальное разнообразие обеспечивается наличием двух состояний. Если ячейка памяти способна, в зависимости от внешнего воздействия, принимать одно из двух состояний, которые условно обозначаются обычно как «0» и «1», она обладает минимальной информационной ёмкостью.

Информационная ёмкость одной ячейки памяти, способной находиться в двух различных состояниях, принята за единицу измерения количества информации - 1 бит.