Статистический подход

Количество информации. Методы оценки

Для оценки и измерения количества информации в соответствии с ее классификацией по аспектам применяются статистический, семантический, прагматический и структурный подходы.

Статистический подход изучается в разделе кибернетики, который называется теорией информации, разработан К.Шенноном в 1948 году.

Согласно Шеннону:

Энтропия Н – это неопределенность системы, выраженная количественно. Если энтропия Н=0, то о системе имеется полная информация, если Н=1 – то у системы полная неопределенность, о ней неизвестно ничего.

Количество информации I– мера неопределенности, снимаемая при получении информации. Если до получения информации о системе Х неопределенность (ее энтропия) составляла Н(х) (априорно, до опыта), а после получения количества информации о системе I(х) неопределенность системы стала Н'(х), то количество информации равно разности априорной (доопытной) энтропии и энтропии после получения сообщения (апостериорной):

I(х) = Н(х) - Н'(х)

Таким образом, количество информации измеряется уменьшением неопределенности системы Х от Н(х) до 0, а не увеличением знания о ней. Количество полученной информации I(х)показывает не то, насколько увеличилось знание о системе, а то, насколько уменьшилось её незнание.В этом заключается сложность понимания энтропийного подхода к оценке информации.

Если после получения информации неопределенность системы стала равна нулю, т.е. Н'(х) = 0, это означает, что было получено количество информации, равное Н(х), т.е. было получено количество информации, равное энтропии системы:

I(х) = H(х)

Если система Х имеет дискретные состояние (переходит из одного в другое скачком), количество состояний системы равно N, а вероятности нахождения в каждом из них равны P₁, P₂, P₃,…, P_N, причем, , то, согласно теореме Шеннона, энтропия системы:

где К и а определяют систему единиц измерения I(х):

К = 1, а = 10, т.е. - единица измерения [дит];

К =1/lg2=3,32, а = 2, т.е. -единица измерения [бит];

К =1/lg e =2,3, а = e, т.е. - единица измерения [нит];

Знак “–“ ставится для того, чтобы значение Н(х) было положительным , т.к. P_i<1 и ее логарифм log P_i становится отрицательным.

Если все состояния системы Х равновероятны, т.е. P_i=1/N, то :

Свойства энтропии Н:

1. Энтропия Н = 0, когда одна вероятность из Р_i=1, (т.е достоверна), тогда остальные Р_i=0, т.к. Н= -к∙1∙ log 1=0 (log 1=0)

2. Энтропия Н – максимальна и равна –k∙log_aN, когда все состояния равновероятны.

Расчёт энтропийных характеристик

Выше приведены теоретические выкладки теоремы Шеннона. На практике эти информационные характеристики используются следующим образом:

Информативность – степень насыщенность параметра (символа, сигнала, сообщения) информацией.

ЭнтропияН – среднее количество информации, приходящееся на один символ.

, бит/символ,

где – количество информации, передаваемое i-м символом, бит,

m - количество символов в сообщении,

n_i - количество появлений i- го символа в сообщении,

P_i- вероятность появления i-го символа в сообщении,

;

Максимальная теоретическая энтропия:

Избыточность:

Пример. Определим информационные характеристики сообщения «Кубанский государственный технологический университет». Для этого определяется, сколько раз каждый символ входит в сообщение и рассчитываются его вероятность, информативность и энтропия:

Таблица 1

Символ	ni
К		0,0566	-4,141	0,234
У		0,0566	-4,141	0,234
Б		0,0189	-5,722	0,108
А		0,0377	-4,727	0,178
Н		0,0343	-3,405	0,321
С		0,0943	-3,405	0,321
Й		0,0566	-4,141	0,234
Г		0,0377	-4,727	0,178
О		0,0566	-4,141	0,234
И		0,0943	-3,405	0,321
Д		0,0189	-5,722	0,108
Р		0,0377	-4,727	0,178
Т		0,0755	-3,725	0,281
В		0,0377	-4,727	0,178
Е		0,0755	-3,725	0,281
Ы		0,0189	-5,722	0,108
Х		0,0189	-5,722	0,108
Л		0,0189	-5,722	0,108
Ч		0,0189	-5,722	0,108
пробел		0,0566	-4,141	0,234

N=53, включая 3 пробела.

I_i= 3,32 lg P_i= ld P_i - формула перевода десятичного логарифма в двоичный (по основанию 2).

H_m=ld m = ld 20 = 4,31.

R = 1- 3,954/4,31 = 1- 0.917=0,083=8,3%.

Таким образом, избыточность сообщения "Кубанский государственный технологический университет" составляет 8,3%, т.е. 8,3 процента букв можно убрать из текста без потери информации. Это означает, что если убрать примерно каждую двенадцатую букву (не важно, из какого места текста), то по оставшимся символам можно будет восстановить весь текст.

Избыточность текстовых сообщений чаще всего возникает из-за автокорреляции рядом стоящих символов (например, если в слове "Кубанский" известны символы "Кубан", то можно гарантировать, что дальше пойдут буквы "с" и "к"). Например, телепередача "Поле чудес" использует при отгадывании слов именно свойство избыточности сообщений.

Полученная избыточность событий очень мала. Например, для русского языка она составляет около 50%, для английского - примерно 70%.

Избыточность перегружает память компьютеров и каналов связи, но обеспечивает и повышает достоверность и надёжность информации.

Пример. Экзамен оценивается отметками 2,3,4,5 и “–“ (экзамен не состоялся). Студент оценивает свою подготовленность вероятностями:

Р(2)=0 - для 2-х баллов,

Р(3)=0,1 - для 3,

Р(4)=0,8 - для 4,

Р(5)=0,1 - для 5 баллов,

Для "-" (не состоялся) вероятность Р(-)=0, сумма вероятностей должна быть равна 1.

SPi=1

Тогда энтропия до экзамена:

Экзамен сдан на оценку "5", получено количество информации I, которое уменьшило энтропию до 0, т.е. перевело Н из 0,92 в Н=0, таким образом, в результате экзамена получено I(х) =Н`(х) = 0,92 бит.

Свойство статистического подхода - чем выше вероятность события P_i, тем меньше информации оно несет:

для P(3) = 0,1 количество информации I = 0,1∙1∙3,32 = 0,332 бит;

для P(4) = 0,8 ® I = 0,332∙0,8∙0,095=0,25 бит.

Если P=1, то I=0, т.е. событие достоверно, ничего нового не сообщено.

Статистический метод определения количества информации не учитывает семантики и прагматики информации. Если бы для оценки "3" была бы Р(3)=0,8, а для "четвёрки" - Р(4) = 0,1, то все равно результат экзамена передал бы количество информации I= 0,92 бит.

Статистическая мера информации используется в теории информации для оценки собственной, взаимной, условной и других видов информации.

Собственная информация – информация, содержащаяся в данном конкретном сообщении. Конкретное сообщение дает информацию о возможности существования конкретного i-того состояния системы Х c вероятностью P(хi), т.е.:

Свойства собственной информации:

1) Собственная информация не отрицательна (т.к. вероятность Р лежит в пределах от 0 до 1, логарифм такого числа <0):

2)Чем меньше Pi, тем больше I_i, т.е. чем неожиданнее сообщение, тем больше в нем информации.

3) Если сообщение имеет Р = 1, то оно достоверно, I = 0 и никакой новой информации оно не несет;

4) Аддитивность – количество собственной информации нескольких независимых сообщений равно сумме собственных информаций отдельных сообщений:

Взаимная информация отличается от собственной взаимосвязью и взаимовлиянием зависимых событий, которая учитывается коэффициентом корреляции (взаимовлияния) m(x_i,y_i):

(в первом примере присутствует автокорреляционная избыточность при расчете информативности текстового сообщения "КубГТУ").