Методы измерения количества информации

Информация может быть представлена в различных формах. Существуют классификации по различным признакам, например, по тематическому: физическая, биологическая, химическая и т.д., по способу восприятия: зрительная, слуховая, тактильная, вкусовая и т.д.

Практический интерес представляет классификация форм информации по метрическим свойствам:

Параметрическая форма – наборы числовых оценок, полученных при исследовании, анализе, контроле, учете, измерениях и т.д.

Топологическая форма – получаемая при создании графических образов: карты, чертежи, фотографии, планы и т.д.

Абстрактная форма – математические соотношения, обобщенные образы, понятия, применяемые при исследованиях на высоком теоретическом уровне.

В основе методик измерения количества информации лежит понятие неопределенности события.

Если взять некоторый информационный объект и провести над ним опыт, то в результате опыта может произойти или не произойти заданное событие. Если результат опыта заранее известен, то в этом случае никакой информации мы не получаем.

Перед опытом мы не знаем, какое событие произойдет, то есть существует неопределенность относительно исхода опыта. Когда же опыт будет произведен, его исход становится известен и неопределенность снимается. Если в результате опыта может быть реализован один из нескольких исходов, то неопределенность возрастает, а, следовательно, мы получаем большее количество информации.

Например, при бросании монеты может быть два исхода: орел или решка. При бросании кубика количество исходов возрастает до шести. При чтении русской буквы количество исходов составляет уже 32.

Поэтому в качестве меры информации можно взять количество возможных исходов опыта. Назовем это количество мощностью информационного источника. Однако эта мера оказалась неудобной в практическом использовании, и в 1928 году Р. Хартли[3] предложил в качестве меры информации использовать двоичный логарифм от мощности источника информации:

(1.2.1)

где M – мощность источника информации

В качестве примера возьмем опыт с двумя равновероятными исходами. В этом случае . Р. Хартли назвал единицу информации "бит", от английского выражения "binary unit".

Если взять опыт с шестью исходами (игральный кубик), то количество информации в результате опыта:

Мера Хартли может быть применена только в случае, когда исходы опыта равновероятны. В этом случае это удобная в практическом плане единица измерения.