Информационные характеристики источников сообщения

Элементы теории информации

Лекция 9

Для теории информации понятие информации имеет такое же значение, как и понятие вещества в физике. Основными количественными характеристиками вещества является масса, объем, плотность и т.д. Основной количественной характеристикой информации является числа. Существует 3 способа измерения информации:

1) объемный

2) энтропийный

3) алгоритмический

Объемный способ является самым простым способом измерения информации. Объем информации в сообщении – это количество символов. Например, число двадцать один можно представить:

XXI

Недостатком является различные системы счисления.

Энтропийный способ

Существует общая мера неопределенности (энтропия) об изучаемом объекте. Полученная информация об источнике сообщений является устраненной неопределенностью. Если мы имеем источник с m – сообщениями и каждое из сообщений равновероятно, то вероятность появления каждого ссбщения , где - вероятность появления i-го сообщения.

В теории информации принята следующая формула для определения неопределенности:

, где

m – число возможных равновероятных сообщений;

- энтропия;

a – определяет единицу информации и единицу неопределенности;

a = 2 бит;

a = 10 дит;

Если появление событий не равновероятны, то

- максимальная неопределенность;

- неопределенность об источнике в данный момент времени.

является потенциальной информационной возможностью.

- эффективность источника сообщения.

Алгоритмический способ заключается в возможности описания алгоритма для определения любой последовательности получения информации об источнике сообщений.