Необходимые сведения из теории информации

Методы информационного описания погрешностей средств и результатов измерений

Теория информации является дальнейшим развитием теории вероятностей применительно к процессам получения и передачи информации и, в частности, к процессам измерения. “Основная идея теории информации, – писал К.Шеннон, – состоит в том, что с информацией можно обращаться почти так же, как с физическими величинами…”. Но “почти также” не означает “точно также”. Как утверждал Н.Винер, “Информация есть информация, а не вещество и не энергия”. Поэтому для однозначной характеристики процессов передачи информации существует особый функционал.

Это следует из того, что СКО s, явилась энергетической оценкой, т.е. оценкой мощности помехи, не определяет однозначно ее мешающего, дезинформирующего влияния. Анализ дезинформирующего действия случайных помех с разными законами распределения вероятностей привел К.Шеннона к выводу, что вносимая помехой дезинформация определяется не только мощностью этой помехи, т.е. ее СКО s, но еще зависит от вида закона распределения этой помехи. При этом, если помеха в вероятном смысле не зависит от сигнала, то дезинформационные действия помехи определяются ее энтропией

Информационное описание измерения заключается в следующем. Согласно К.Шеннону, количество информации I определяется как разность энтропий:

,

где – энтропия (мера неопределенности) измеряемой величины до ее измерения, а (энтропия X при условии X_П) – энтропия действительного значения X измеряемой величины (мера интервала неопределенности) вокруг полученного после измерения показания X_П, т.е. энтропия погрешности измерения. Эти оценки неопределенности в виде энтропии до и после измерения могут быть вычислены на основании вероятностного описания ситуации до и после измерений.

Допустим, для измерения величины X был использован прибор со шкалой от X₁ до X₂ (например, для измерения напряжения – вольтметр со шкалой от 0 до 100 В). тогда вероятностное описание ситуации до измерения состоит в том, что вероятность получить показания прибора в интервале от -¥ до X₁ и от X₂ до +¥ равна нулю, т.е. плотность вероятности f(х) в этих интервалах также равна нулю. Следовательно, показание можно ожидать лишь в интервале от X₁ до X₂ и, если предположить, что оно с равной вероятностью может оказаться в любой части диапазона, то вероятностное описание ситуации до измерения изобразится равномерным распределением X в пределах от X₁ до Х₂ и может быть записано

Отсюда энтропия до измерения будет равна

Следовательно, энтропия до измерения есть логарифмическая мера длины этого интервала (т.е. диапазона измерения прибора).

После проведения измерения мы получаем отчет Х_П. Однако прибор имеет абсолютную погрешность ±D. Следовательно действительное значение измеряемой величины лежит в пределах нового интервала неопределенности ±D, т.е. шириной d=2D. Погрешность распределена по какому-либо закону. Допустим, что распределение погрешности имеет равномерный закон (рис. 1.19.). Тогда ситуация после измерения описывается распределением шириной d=2D и плотностью f(D)=1/2D.

Энтропия результата измерения после получения результата Х_n будет равна

,

т.е. тоже является логарифмической мерой неопределенности.

Количество информации, полученное в результате измерения

. Очевидно, что N показывает, сколько интервалов неопределенности d укладывается во всем диапазоне измерения прибора X₂-X₁, т.е. какое число различимых градаций измеряемой величины позволяет получить данный прибор.