ВЕРОЯТНОСТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ
СОДЕРЖАТЕЛЬНЫЙ ПОДХОД ПРИ ИЗМЕРЕНИИ ИНФОРМАЦИИ
Как отмечалось выше, если после получения какого-то сообщения неопределенность знаний уменьшается в два раза, то это сообщение несет в себе 1 бит информации. Т.е., если событие имеет два исхода, то при наступлении каждого из них неопределенность знаний уменьшается в два раза. Количество информации в сообщении о том, что наступило одно из этих событий, равно 1 биту.
Таким образом, количество информации, полученное из сообщения о том, что наступило одно из N равновозможных событий, можно вычислить по формуле:
х = log2N,
где х – количество информации в сообщении (в битах), N – количество равновозможных (равновероятных) событий, только одно из которых наступило.
Задача 1. Бросают игральный кубик. Найти количество информации в сообщении о том, что выпало число 5.
N = 6, х = log2N = log26 » 2,58 бит
Задача 2. В корзине лежат 8 шаров, все разного цвета. Найти количество информации в сообщении о том, что наугад вынули красный шар.
N = 8, х = log2N = log28 = 3 бита
Задача 3. При угадывании целого числа в диапазоне от 1 до N было получено 1 байт информации. Найти N.
х = log2N, отсюда N = 2x
x = 1 байт = 8 бит
N = 28 = 256
Пусть в результате испытания наступило некоторое событие. Вероятность его наступления можно вычислить по формуле:
где N – количество всех возможных исходов испытания, K – количество исходов испытания, удовлетворяющих данному событию.
Количество информации в сообщении о том, что наступило одно из возможных событий можно вычислить по формуле:
где P – вероятность наступления события, х – количество информации в сообщении о том, что наступило данное событие.
Задача 1. В корзине лежат 16 шаров: 4 синих и 12 красных. Найти количество информации в сообщении о том, что из корзины наугад вынули синий шар.
N = 16
K = 4
P = K/N = 4/16 = 1/4
x = log2(1/P) = log24 = 2 (бита)
Задача 2.В классе 32 ученика. Учитель вызывает одного из них к доске. Количество информации в сообщении «Вызвали девочку» равно двум битам. Найти количество мальчиков и девочек и количество информации в сообщении о том, что к доске вызвали мальчика.
N = 32
Пусть Kд – количество девочек, тогда (32-Kд) – количество мальчиков.
x = log2(1 / P), отсюда P = 1 / 2х
xд = 2 бита
Рд = 1 / 22 = 1/4
С другой стороны:
Рд = Kд / N = Kд / 32
Рм = (32-Kд)/ N = (32-Kд) / 32 = 1- Kд / 32
1/4 = Kд / 32
Kд = 8, Км = 32-8 = 24
Рм = 1-8/32 = 3/4
хм = log2(1 / P) = log2(4/3) » 3,58
Итак, в классе 8 девочек и 24 мальчика, количество информации в сообщении о том, что вызвали мальчика равна 3,58 бит.
Задача 3.В ящике лежат красные, синие и желтые шары. Наугад вынули один шар. Информационный объем сообщения «Вынули красный шар» равен трем битам. Количество информации в сообщении «Вынули синий шар» равно двум битам. Известно, что в ящике 5 желтых шаров. Найти количество всех шаров.
Пусть Kкр – количество красных, Kс – количество синих, Kж – количество желтых шаров, N – общее количество шаров.
xкр = 3 бита
xс = 2 бита
Kж = 5
P = 1 / 2х
Pкр = 1 / 23 = 1/8
Pс = 1 / 22 = 1/4
Pж = Kж / N = 5/N
Так как вынуть из ящика можно либо красный, либо синий, либо желтый шар, то Pкр + Pс + Pж =1.
1/8+1/4+5/N = 1
3/8 + 5/N = 1
5/N = 1-3/8
5/N = 5/8
N = 8
Итак, в ящике 8 шаров.