Проведение опыта

Рассмотрим объект – игральную кость из 6 граней (цифры от 1 до 6). Её бросают. Кость может перейти в одно из состояний с соответствующим числом на верхней грани – всего их будет 6. Причём вероятность выпадения любой грани одинакова и равна в данном случае 1/6 .

До бросания объект может находиться в неопределённом состоянии – одном из 6 возможных.

Обозначим эту неопределённость через H. Ясно, что чем больше возможных состояний N, тем больше величина H, но конкретный вид этой функции предстоит определить:

 

, (1)

 

(2)

 

Во время опыта субъект получает количество информации I. Эта информация снимает неопределённость знания об объекте у наблюдателя. Очевидно, количество информации равно разности неопределённостей знания до и после опыта:

 

Но, внимание! После опыта наблюдатель знает об объекте всё – то есть H2 =0! Значит, информация, полученная через опыт (или, как говорят, заключённая в опыте) равна исходной неопределённости.

Теперь назовём исходную неопределённость информационной энтропией и получим классическую формулировку:

 

«Количество полученной информации об объекте совпадает с первоначальной (доопытной) энтропии объекта»

 

Осталось определить вид функции f в формуле (1). Чтобы сделать это, надо определить её свойства для усложненных объектов. Один из таких – рассмотреть объект из нескольких одинаковых игральных костей.

При этом опыт заключается в последовательном подбрасывании каждой кости. Теперь нельзя сказать, что число возможных состояний равно 6 для нашей шестигранной кости. Обозначим число возможных состояний сложного объекта из M костей через X. Простыми рассуждениями легко определить возможное число состояний для объектов из разного числа костей M:

 

M X-число состояний
M 6M

 

Снова вернёмся к вопросу определения вида функции f для расчёта количества энтропии. Поскольку все кости (отдельные части сложного объекта) независимы, то самым естественным условием для функции является условие аддитивности, а именно – энтропия сложного объекта равна сумме энтропий каждого из них. Для случая игральной кости:

 

HM ==6 H1 (3)

 

Аналогичную формулу можно написать для сложной системы, состоящей из объектов с числом равновероятных состояний N. Данное свойство называется свойством аддитивности.

 

Функцией, удовлетворяющей данному свойству, будет функция, равная логарифму от X.

 

f = k * logосн (X) (4)

 

Эту формулу можно упростить. За единицу энтропии естественно ту, которая имеет минимальную значению. Такая энтропия (минимальная неопределённость) будет у объекта, который имеет всего два состояния в условиях опыта описанного выше для игральной кости. Если бы у объекта было бы только одно состояния, то не было бы никакой определённости и H =0.

Поэтому для основания 2 и значении k=1, получаем формулу Хартли:

 

H = log2 (X) (5)

 

Итак, подведём итог.

 

В качестве единицы информации принимается, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (примером такого опыта является бросание монеты, при которым возможны два равновероятных исхода: «орёл» или «решка»).

 

Такая единица количества информации называется «бит».