СВОЙСТВА ЭНТРОПИИ

ИНФОРМАЦИОННАЯ ЭНТРОПИЯ И НЕОПРЕДЕЛЕННОСТЬ ТЕХНИЧЕСКОГО СОСТОЯНИЯ ОБЪЕКТА

ЛЕКЦИЯ №7

«ИНФОРМАЦИОННАЯ ЭНТРОПИЯ И НЕОПРЕДЕЛЕННОСТЬ ТЕХНИЧЕСКОГО СОСТОЯНИЯ ОБЪЕКТА»

ВРЕМЯ– 2 часа

ЦЕЛИ ЗАНЯТИЯ:

Познакомиться с определением энтропии. Рассмотреть свойства энтропии и возможности ее использования для определения технического состояния диагностирования объектов, определить энтропию объекта с непрерывным пространством состояний.

СОДЕРЖАНИЕ ЗАНЯТИЯ:

ВВОДНАЯ ЧАСТЬ– 5 мин.

УЧЕБНЫЕ ВОПРОСЫ:

1. ИНФОРМАЦИОННАЯ ЭНТРОПИЯ И НЕОПРЕДЕЛЕННОСТЬ ТЕХНИЧЕСКОГО СОСТОЯНИЯ ОБЪЕКТА– 40 мин.

2. СВОЙСТВА ЭНТРОПИИ –20 мин.

3. ЭНТРОПИЯ ОБЪЕКТА С НЕПРЕРЫВНЫМ ПРОСТРАНСТВОМ СОСТОЯНИЙ– 20 мин.

ЗАКЛЮЧЕНИЕ– 5 мин.

Информационная энтропия — это мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо состояния объекта диагностики. Если потеря информации отсутствует, то информационная энтропия численно равна количеству информации на символ передаваемого сообщения.Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Реальный объект может находиться в одном из n возможных состояний (e₀, e₁, e₂, … e_i, … e_n) из множества состояний Е. Разные состояния появляются с разной вероятностью Р(e_i). Возникает вопрос, в каком из состояний находится объект в настоящий момент? Т.е. существует неопределенность конкретного состояния объекта в конкретный момент времени.

Разная вероятность состояния объекта означает, что в одних состояниях объект может находиться чаще, чем в других. Например, если в работоспособном состоянии e₀ объект может находиться чаще, чем в неработоспособном состоянии e_i, то неопределенность состояний объекта уменьшается. Если предположить, что вероятность нахождения объекта в неработоспособном состоянии Р(e_i) стремится к 0, то в этом случае неопределенность состояния объекта также стремится к 0.

Если одно из возможных состояний объектаe₀ (работоспособное состояние), обязательно реализуется с некоторой вероятностью Р(e₀), а два состояния (работоспособное и неработоспособное) одновременно невозможны, то имеется полная группа событий с вероятностью реализации, равной 1:

(e_i) =1.

Для обеспечения возможности измерения информации она должна соответствовать определенным требованиям:

1. Мера информации о состоянии объекта должна быть непрерывной - изменение значения величины вероятности состояния объекта на малую величину должно вызывать малое изменение неопределенности о его состоянии;

2. В случае, когда все технические состояния объекта равновероятны, увеличение количества вариантов возможных состояний должно всегда увеличивать значение неопределенности информации;

3. Значение энтропии конечного результата оценки состояния объекта должно являться суммой энтропий промежуточных результатов оценок его состояния.

В соответствии с данными требованиями функция энтропии Н(Е) должна удовлетворять условиям:

Н(Е) определена и непрерывна для всех состояний (e₀, e₁, e₂, … e_i, … e_n) Е, где i =1, … n и (e_i) =1.

Эта функция зависит только от распределения вероятностей состояний.

Информационная двоичная энтропия для независимых случайных событий e_i с n возможными состояниями рассчитывается по формуле:

H(E) = - (e_i) log₂ P(e_i).

Таким образом,энтропия (неопределенность) технического состояния объекта H(E) является суммой с противоположным знаком всех произведений вероятностей появления его состояний события P(e_i), умноженных на двоичные логарифмы вероятностей этих состояний.

Знак «минус» в формуле появился из-за того, что вероятность P(e_i) всегда меньше единицы и логарифм от неё отрицателен. Наличие знака «минус» не означает, что информация отрицательна.

Величина H(E)также называется средней энтропией сообщения о состоянии объекта.

Величина log₂1/P(e_i) называется частной энтропией, характеризующей только i-e состояние объекта.

Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.

Логарифм по основанию 2 называется двоичным: log₂8 = 3 → 2³=8; log₂10 =3,32 → 2^3,32 =10.

Логарифм по основанию 10 называется десятичным: log₁₀100 =2 → 10²=100.

Для простоты вычислений выражение для определения энтропии можно преобразовать к виду:

H(E) = - (e_i) log₂ P(e_i) = - (e_i) log₁₀ P(e_i)/ log₁₀ 2 =- (e_i) log₁₀ P(e_i)/0,301.

Рассмотрим объект, имеющий два возможных состояния – работоспособное e₀ и отказe₁.. Предположим, что эти состояния равновероятны, т.е. можно записать:

P(e₀) = P(e₁) =0,5.

Энтропия состояния такого объекта определится как:

H(2) = -(e_i)·log₁₀P(e_i)/0,301= -0,5log₁₀0,5/0,301-0,5log₁₀0,5/0,301= log₁₀0,5/0,301 =0,301/0,301 = 1.

Мерой двоичной энтропии состояния объекта является 1 бит.Бит(bit, от binary - двоичный digit – знак), двоичная единица, в теории информации единица количества информации. Получение 1 бита информации исключает из рассмотрения половину равнозначных вариантов состояний объекта. 1 Бит — базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода. Это тождественно количеству информации в ответе на вопрос, допускающий ответы «да» либо «нет» и никакого другого (то есть такое количество информации, которое позволяет однозначно ответить на поставленный вопрос).

Рассмотрим случай, когда объект также может находиться в двух состояниях, но одно из этих состояний наиболее вероятно. Например, вероятность работоспособного состояния объекта P(e₀)= 0,9999. Тогда вероятность отказа объекта составитP(e_i)= 1 - 0,9999= 0,0001. Определим энтропию состояний объекта в этом случае:

H(2) = (e_i)·log₁₀P(e_i)/0,301 =-0,9999log₁₀0,9999/0,301 -0,0001log₁₀0,0001/0,301=0,9999·0,000043/0,301 + 0,0001·4/0,301 = 0,00014 + 0,0013 = 0,00147.

В первом случае энтропия состояния объекта составила 1 бит, а во втором случае 0,00147 бит. Во втором случае вероятность одного из возможных состояний была на много больше вероятности другого состояния. В результате неопределенность состояния, т.е. его энтропия в этом случае практически отсутствует. Рассмотрение данных примеров позволяет сделать важный вывод - энтропия состояния объекта максимальна, если эти состояния равновероятны.

Если состояния объекта равновероятны, то выражение для определения энтропии упрощается и принимает вид:

H(n) =- (e_i) log₂ P(e_i) = -log₂ (1/n ) = log₂(n ) =-log₁₀(1/n) /0,301 = log₁₀n/0,301.

Если n = 2, то H(2) = log₁₀2/0,301 = 1бит.

Определим энтропию состояния объекта с тремя возможными равновероятными состояниями:

H(3) = log₁₀3/0,301 = 0,477/0,301 = 1,585 бит.

Определим энтропию состояния объекта с четырьмя возможными равновероятными состояниями:

H(4) = log₁₀4/0,301 = 0,602/0,301 = 2 бит.

Определим энтропию состояния объекта с пятью возможными равновероятными состояниями:

H(10) = log₁₀10/0,301 = 1/0,301 = 3,32 бит.

Для того, чтобы энтропия состоянии объекта изменялось всегда от 0 (отсутствие неопределенности) до 1 (наибольшая неопределенность), применяются различные единицы измерения. От количества возможных равновероятных состояний объекта n зависит единица измерения количества информации и энтропии: 1бит, 1 трит, 1 тетрит … 1 дит и т.д.:

- 1 бит – для случая двух возможных равновероятных состояний;

- 1трит – для случая трех возможных равновероятных состояний;

- 1тетрит– для случая четырех возможных равновероятных состояний;

- 1 дит – для случая десяти возможных равновероятных состояний.

Каждой единице измерения соответствует свое основание логарифма. От основания логарифма зависит числовая величина единицы измерения количества информации и энтропии:

- 1 бит: H(2) = log₂(2) = log₁₀2/0301 = 1 бит;

- 1трит = 1,585 бит: H(3) = log₃(3) = log₁₀(3)/0,301 = 1 трит;

- 1тетрит = 2 бит: H(4) = log₄(4) = log₁₀(4)/0,301= 1 тетрит;

- 1 дит = 3,32 бит: H(10) = log₁₀(10) = log₁₀(10)/0,301 = 1 дит.

Иногда применяется единица измерения информации 1 нат. 1 нат определяется через натуральный логарифм. 1 нат = log₂e≈ 1,443 бит.

Если известна энтропия состояния объекта H(n), то обратной задачей является определение возможного числа равновероятных состояний n. В этом случае используется формула Хартли:

n = 2^H(n).

Например H(n) = 2. Тогда n = 2^H(n) = 4. Объект может иметь 4 равновероятных состояния.

Энтропия технического состояния объекта имеет следующие основные свойства:

1. Энтропия не отрицательна:

H(E)≥ 0.

2. Если вероятность нахождения объекта в каком либо состоянии P(e_i) = 1, то энтропия такого состояния равна 0:

H(E)= 0 при P(e_i) = 1.

3. Энтропия объекта максимальна, когда его состояния равновероятны. Если объект может находиться в равновероятных состояниях, то:

H(n) = log₂ (n) = log₁₀(n)/0,301.