Информационный подход к оценке случайной погрешности

Информационный подход к оценке случайной погрешности заключается в том, что прибор оценивается по количеству информации, которую получают при измерениях, так как измерение это процесс получения информации. Чем больше информации получают при измерениях, тем более точен прибор.

Основные понятия из теории информации К. Шеннона:

Энтропия — мера неопределенности любой системы (до измерения). Для дискретной величины x она имеет вид

После измерений мера неопределенности уменьшается и определяется погрешностью измерения, ее называют условной (остаточной) энтропией, т. е. энтропия случайной величины х при известной измеренной величине Хизм - Н(х/Хизм).

 

Информация. Понятие энтропии позволяет найти численное значение количества информации, полученное в процессе одного или серии измерений как

разность энтропий до и после измерения дает количество информации, получаемое в процессе измерения

I(х/Хизм) = H(х)-Н(х/Хизм).

Если х непрерывна, то используется формула для вычисления энтропии непрерывной величины:


После измерения остаточная энтропия результата измерения имеет вид

и полностью определяется погрешностью измерения.

Единицы измерения информации зависят от основания логарифма в приведенных выше формулах. Используются следующие единицы измерения:

диты - если используется десятичный логарифм (а=10); биты - если используется двоичный логарифм (а=2); ниты - если используется натуральный логарифм (а=е=2,71).

Энтропийная погрешность. Понятие энтропийной погрешности введено Н. П. Новицким. Для определения энтропийной погрешности остаточная энтропия умозрительного прибора с равномерным законом распределения погрешностей, приравнивается к остаточной энтропии, которая эквивалентна энтропии исследуемого измерительного прибора, т. е.

 

Поскольку , то , откуда

,

 

где — энтропийная погрешность.