Пример 5

Тогда

Н=log₂L, бит Н=I’

Совпадение оценок количества информации по Шеннону и по Хартли свидетельствует о полном использовании информационной емкости. В случае неравных вероятностей количество информации по Шеннону меньше информационной емкости системы.

Энтропия для двух неравновероятных состояний одного элемента (h=2) равна:

Н=-(р₁log₂p₁+p₂log₂p₂)

Оно меньше информационной емкости двоичной ячейки составляющей бит. Эта видно из следующих расчетов.

А. Равновероятные состояния:

р₁=р₂=0,5; р₁+р₂=1

Н=-10,5log₂0,5+0,5log₂0,5)=0,5+0,5=1 бит

Б. Не равновероятные состояния:

р₁=0,9 р₂=0,1 р₁+р₂=1

Н=-10,9log₂0,9)+0,1log₂0,1=-[0,9]-0,1520)+0,1(-3,32/9)=0,46/бит

В. Детерминированные состояния:

р₁=1 р₂=0 р₁+р₂=1

Н=-(1log₂1+0log₂0)=0 (бит)

Изменение энтропии Н показано на рисунке.

Y

0,8

0,6

0,4

0,2

0,2 0,4 0,6 0,8 10 p

Изменение энтропии зависимости р