Статистическое количество информации

Шенноном была предложена формула для вычисления среднего количества информации, содержащейся в некоторой совокупности сообщений , если известны вероятности появления этих сообщений :

.

Пример. Будем считать, что сообщения о поле будущего ребенка мальчик или девочка являются равновероятными. (По статистике частота для мальчиков примерно 0.52, для девочек 0.48.) Количество информации, получаемой с таким сообщением, равно 1 бит.

Вероятности сообщений (о рождении одного ребенка) или (рождении двойни) примерно равны 127/128 и 1/128 соответственно.

Количество информации по формуле Шеннона