Если частный характер количества информации специально не оговаривается, мы всегда имеем дело с количеством информации, приходящимся в среднем на один элемент сообщения.

3.6 Передача информации от непрерывного источника [1 и др.].

Количество информации, получаемой от непрерывного источника по каналу с помехами, определяется так же, как в случае, рассмотренном выше, но с использованием понятия дифференциальной энтропии.

Для источника, имеющего непрерывное множество состояний, среднее количество информации, содержащееся в каждом принятом значении случайной величины S относительно переданного значения случайной величины Z, можно получить как разность априорной и апостериорной дифференциальных энтропий:

(3.39)

Соотношение (3.39) несложно выразить в виде , подобном (3.38):

(3.40)

Относительность дифференциальных энтропий в этом случае не принимается во внимание, поскольку количество информации не зависит от выбранного стандарта сравнения.

3.7 Основные свойства количества информации [1 и др.].

1.Несмотря на то что частное количество информации может быть величиной отрицательной, количество информации неотрицательно.

Действительно, согласно выражению

(3.41)

Тогда

2.При отсутствии статистической связи между случайными величинамиZ и S

(3.42)

следовательно, в этом случае

(принятые элементы сообщения не несут никакой информации относительно переданных).

3.Количество информации в S относительно Z равно количеству информации в Zотносительно S.

Для доказательства этого утверждения воспользуемся выражением

Аналогично можно записать

Так как H(Z,S)=H(S,Z), то

откуда

(3.43)

4.При взаимно однозначном соответствии между множествами передаваемых и принимаемых элементов сообщений, что имеет место в отсутствии помехи, апостериорная энтропия равна нулю и количество информации численно совпадает с энтропией источника:

(3.44)