Синтаксическая мера информации

Классификация способов измерения информации

Измерение информации

Для измерения информации используют два параметра: количество информации – I и объем данных V_д.

Единицей измерения количества информации является бит. Один бит соответствует одному двоичному разряду. На практике используют еще одну единицу измерения – байт. Один байт равен восьми битам.

Каждой форме адекватности соответствует своя мера количества информации и объема данных, как показано на рисунке 1.

Рисунок 1 – Меры информации

Объем данных V_д сообщении измеряется количеством символов (разрядов) в этом сообщении.

Получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы.

Пусть до получения информации потребитель имеет некоторые предварительные сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию I_β(α), уменьшившую его начальную неосведомленность так, что после получения сообщения β неопределенность состояния системы стала H_β (α).

Тогда количество информации I_β(α) о системе, полученной в сообщении β, определится как

т.е. количество информации измеряется уменьшением неопределенности состояния системы.

Если конечная неопределенность H_β(α) обратится в нуль, то первоначальное неполное знание заменится – полным знанием и количество информации . Таким образом, энтропия системы H(α) может рассматриваться как мера недостающей информации.

Энтропия системы H(α), имеющая N возможных состояний, согласно формуле Шеннона, равна:

где P_i – вероятность того, что система находится в i-м состоянии.