Статистический подход к измерению информации

Аддитивная мера

предложена в 1928 году американским ученым Хартли, второе название – мера Хартли.

Хартли впервые ввел специальное обозначение для количества информации – I и предложил следующую логарифмическую зависимость между количеством информации и мощностью исходного алфавита:

I = Llog h,

где I – количество информации, содержащейся в сообщении;

L– длина сообщения;

h – мощность исходного алфавита.

При исходном алфавите {0,1}; L = 1; h = 2 и основании логарифма, равном 2, имеем

I = 1*log₂2 = 1.

формула даёт аналитическое определение бита (BIT - BInary digiT) по Хартли: это количество информации, которое содержится в двоичной цифре.

Единицей измерения информации в аддитивной мере является бит.

В 30-х годах ХХ века американский ученый Клод Шеннон предложил связать количество информации, которое несет в себе некоторое сообщение, с вероятностью получения этого сообщения.

Вероятность p – количественная априорная (т.е. известная до проведения опыта) характеристика одного из исходов (событий) некоторого опыта.

Измеряется в пределах от 0 до 1.

Если заранее известны все исходы опыта, сумма их вероятностей равна 1, а сами исходы составляют полную группу событий.

Если все исходы могут свершиться с одинаковой долей вероятности, они называются равновероятными.

Пусть можно получить n сообщений по результатам некоторого опыта (т.е. у опыта есть n исходов), причем известны вероятности получения каждого сообщения (исхода) - pi. Тогда в соответствии с идеей Шеннона, количество информации I в сообщении i определяется по формуле:

I = -log₂ pi,

где pi – вероятность i-го сообщения (исхода).

Пример 1.Определить количество информации, содержащейся в сообщении о результате сдачи экзамена для студента-хорошиста.

Пусть I(j) – количество информации в сообщении о получении оценки j. В соответствии с формулой Шеннона имеем:

I(5) = -log₂ 0,5 = 1,

I(4) = -log₂ 0,3 = 1,74,

I(3) = -log₂ 0,1 = 3,32,

I(2) = -log₂ 0,1 = 3,32.

Таким образом, количество получаемой с сообщением информации тем больше, чем неожиданнее данное сообщение.

Формула Шеннона позволяет определять также размер двоичного эффективного кода, требуемого для представления того или иного сообщения, имеющего определенную вероятность появления.

Пример 2.Есть 4 сообщения: a, b, c, d с вероятностями, соответственно, р(a) = 0,5; р(b) = 0,25; р(c) = 0,125; р(d) = 0,125. Определить число двоичных разрядов, требуемых для кодирования каждого их четырех сообщений.

В соответствии с формулой Шеннона имеем:

I(a) = -log₂0,5 = 2=L,

I(b) = -log₂0,25 = 2=L,

I(c) = -log₂0,125 = 3=L,

I(d) = -log₂0,125 = 3=L.

Помимо информационной оценки одного сообщения, Шеннон предложил количественную информационную оценку всех сообщений, которые можно получить по результатам проведения некоторого опыта. Так, среднее количество информации Iср, получаемой со всеми n сообщениями, определяется по формуле:

где pi – вероятность i-го сообщения.

Пример 3. Определить среднее количество информации, получаемое студентом-хорошистом, по всем результатам сдачи экзамена.

В соответствии с приведенной формулой имеем:

Iср = - (0,5*log₂0,5 + 0,3*log₂0,3 + 0,1*log₂0,1 + 0,1*log₂0,1) = 1,67.

Пример 4. Определить среднее количество информации, получаемое нерадивым студентом, по всем результатам сдачи экзамена.

В соответствии с приведенной формулой имеем:

Iср = - (0,1*log₂0,1 + 0,2*log₂0,2 + 0,4*log₂0,4 + 0,3*log₂0,3) = 1,73.

Большее количество информации, получаемое во втором случае, объясняется большей непредсказуемостью результатов: в самом деле, у хорошиста два исхода равновероятны.

Пусть у опыта два равновероятных исхода, составляющих полную группу событий, т.е. p1 = p2 = 0,5. Тогда имеем в соответствии с формулой для расчета I ср:

I ср = -(0,5*log₂0,5 + 0,5*log₂0,5) = 1.

Эта формула есть аналитическое определение бита по Шеннону: это среднее количество информации, которое содержится в двух равновероятных исходах некоторого опыта, составляющих полную группу событий.

Пример 5: Пусть, например, есть автомат, формирующий двузначные десятичные целые положительные числа (исходное множество информационных элементов {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}).

Автомат генерирует размещения :

Числа 34 , 43 - из 10 элементов (используются 10 цифр) по 2

с повторениями - 33, 66 из одинаковых цифр.

Можно оценить, сколько различных сообщений (двузначных чисел) может сформировать автомат,

иначе говоря, можно оценить информационную емкость данного устройства: Рп(10²) = 10² = 100.