Формула Шеннона (для неравновероятных событий)

Мощность кодируемого алфавита определяется по формуле

N=Mⁱ ,

где M - мощность кодирующего алфавита, а i - количество символов кодирующего алфавита, которыми кодируется один символ кодируемого алфавита.

Если нет отдельных указаний, то следует считать, что мощность кодирующего алфавита компьютера - 2 символа. Все современные компьютеры работают с двумя символами, единицей и нулем, поэтому все расчеты делаются исходя из этого факта.

Американский ученый Клод Шеннон в 1948 году предложил формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

I = (3)

Эту меру, представляющую собой неопределенность, приходящуюся в среднем на одно состояние, называют энтропией дискретного источника информации.

I = , (4)

где I — количество информации;

N — количество возможных событий;

P_i — вероятности отдельных событий.

Или развернутая форма формулы:

I = — ( p₁log₂ p₁ + p₂ log₂ p₂ + . . . + p_Nlog₂p_N) (5)

Пример (Формула Шеннона)

Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке хранится: 10 белых, 20 красных, 30 синихи 40 зеленых шариков.