На самостоятельную работу

Задача 4.

Задача 3

Задача 2

Задача 1.

Приклади визначення параметрів об'єднаної імовірнісної схеми

Маємо два дискретних немарковських джерела інформації з алфавітами та з такими розподілами ймовірностей появи символів:

 

Не розраховуючи ентропії джерел, дати відповідь, яке з них має більшу ентропію.

Розв’язання. Оскільки розподіл ймовірностей появи символів на виході джерела з алфавітом є більш близьким до рівноймовірного, ентропія цього джерела буде більшою, ніж джерела з алфавітом .

Розрахунки підтверджують цей висновок:

 

Матриця ймовірностей сумісної появи символів на виходах двох немарковських джерел з алфавітами та має вигляд:

 

Визначити, яке з джерел має більшу ентропію та чи є джерела статистично незалежними.

Розв’язання. Для відповіді на перше запитання розрахуємо, користуючись виразами (1.13), безумовні ймовірності появи символів на

виходах першого та другого джерел:

p(x1) = 0,0336 + 0,3150 + 0,0714 = 0,42 ;

p(x2) = 0,0264 + 0,2475 + 0,0561 = 0,33 ;

p(x3) = 0,0200 + 0,1875 + 0,0425 = 0,25 ;

p(y1) = 0,0336 + 0,0264 + 0,0200 = 0,08 ;

p(y2) = 0,3150 + 0,2475 + 0,1875 = 0,75 ;

p(y3) = 0,0714 + 0,0561 + 0,0425 = 0,17 .

Тепер можемо знайти ентропії джерел за виразом (1.1):

 

Таким чином, джерело з алфавітом має більшу ентропію, ніж джерело з алфавітом .

Відповідь на друге запитання можна отримати різними способами. По-перше, оскільки вже відомі значення ентропії та , доцільно перевірити, чи виконується рівність (1.18). Для цього розрахуємо сумісну ентропію . Підставивши чисельні значення ймовірностей у вираз (1.11), отримаємо:

Оскільки,джерела є статистично незалежними.

Другий спосіб базується на перевірці виконання співвідношень для всіх пар символів:

p(x1) × p(y1) = 0,42×0,08 = 0,0336 ;

p(x2) × p(y1) = 0,33×0,08 = 0,0264 ;

p(x3) × p(y1) = 0,25×0,08 = 0,0200 ;

p(x1) × p(y2) = 0,42×0,75 = 0,3150 ;

p(x2) × p(y2) = 0,33×0,75 = 0,2475 ;

p(x3) × p(y2) = 0,25×0,75 = 0,1875 ;

p(x1) × p(y3) = 0,42×0,17 = 0,0714 ;

p(x2) × p(y3) = 0,33×0,17 = 0,0561 ;

p(x3) × p(y3) = 0,25×0,17 = 0,0561 .

Як і слід було очікувати, розраховані ймовірності цілком збігаються із відповідними значеннями ймовірностей сумісної появи символів, що наведені в умовах задачі.

Найбільш універсальним способом оцінки статистичної залежності джерел є обчислення повної взаємної інформації . Аналізуючи вираз (1.23), легко зрозуміти, що для джерел цієї задачі ,оскільки для усіх пар

 

Ще один спосіб розв’язання задачі базується на аналізі матриці умовних імовірностей. Розрахуємо, наприклад, умовні ймовірності , користуючись виразом :

 

Всі елементи кожного стовпця однакові і дорівнюють безумовній ймовірності появи відповідного символу . Це означає, що ймовірність появи символу на виході першого джерела не залежить від символу на виході другого джерела. Можна переконатись, що i в матриці умовних ймовірностей всі елементи кожного стовпця будуть однаковими і дорівнювати .

Маємо три дискретних немарковських джерела інформації з алфавітами , , . Матриці ймовірностей сумісної появи пар символів є такими:

 

 

 

Визначити, між якими джерелами статистичний зв’язок найбільший, а між якими найменший.

Розв’язання.Для відповіді на поставлене запитання треба знайти значення повної взаємної інформації для всіх пар джерел, та порівняти їх. Найпростіше в даному разі користуватись виразом

.

Щоб обчислити безумовні ентропії кожного з джерел, знайдемо безумовні ймовірності появи символів на виході джерел за виразом (1.13):

 

Слід зазначити, що значення кожної з ймовірностей можна отримати двома шляхами. Так є сумою елементів відповідних рядків першої матриці, або елементів стовпців третьої матриці. Це означає, що матриці, наведені в завданні, відповідним чином узгоджені.

Розрахуємо ентропії джерел, користуючись (1.1):

H(X) = 1,157 біт ; H(Y) = 0,971 біт ; H(Z) = 1,0 біт .

Далі за виразом (1.11) знаходимо сумісні ентропії:

 

Нарешті отримаємо:

 

Рівність нулю означає, що джерела з алфавітами тастатистично незалежні. Найбільший статистичний зв’язок має місце між джерелами з алфавітамита ,оскільки має найбільше значення.

Известны энтропии двух зависимых источников Н(Х) = 5 бит; Н(Y) = 10 бит. Определить, в каких максимально возможных пределах будет изменяться условная энтропия Н(Y/X).

Решение. Уяснению соотношений между рассматриваемыми энтропиями источников информации способствует их графическое отображение.

При отсутствии взаимосвязи между источниками информации:

 

H(Y)
H(X,Y)
H(X)

Если источники информации независимы, то Н(Y/X) = Н(Y) = 10 бит, а Н(X/Y) = H(X) = 5 бит, и, следовательно, Н(X,Y) = H(X) + H(Y) = 5 +10 = 15 бит. Т.е., когда источники независимы Н(Y/X) = Н(Y) = 10 бит и поэтому принимают максимальное значение.

По мере увеличения взаимосвязи источников Н(Y/X) и Н(X/Y) будут уменьшаться:

H(X/Y)
H(Y)
H(X,Y)
H(X)
H(Y/X)
I(X,Y)

При полной зависимости двух источников один из них не вносит никакой информации, т.к. при появлении xi неизбежно следует уj , т.е. p(xi, уj) равно единице при и нулю при . Поэтому в , следовательно, .

H(Y)
H(X,Y)
H(X)
H(Y/X)
I(X,Y)

При этом , тогда . Поэтому будет изменяться от 10 бит до 5 бит при максимально возможном изменении от 5 бит до 0 бит.

Задача 1. Определите и Н(Y/X), если p(х1,y1) = 0,3; p(x1,y2) = 0,2; p(x1,y3) = 0,15; p(x3,y2) = 0,25; p(x3,y3) = 0,1.

 

Задача 2. Определите , , если p(х1,y1) = 0,2; p(x2,y1) = 0,4; p(x2,y2) = 0,25; p(x2,y3) = 0,15.

 

Задача 3

Маємо три дискретних немарковських джерела з алфавітами Ймовірності сумісної появи символів мають такі значення: p ( x1, y1, z1 ) = 0,048; p ( x1, y1, z2 ) = 0,012; p ( x1, y2, z1 ) = 0,072; p ( x1, y2, z2 ) = 0,162; p ( x2, y1, z1 ) = 0,272; p ( x2, y1, z2 ) = 0,068; p ( x2, y2, z1 ) = 0,300; p ( x2, y2, z2 ) = 0,060.

Знайти ентропії кожного з джерел, системи трьох джерел, а також повну взаємну інформацію для кожної пари джерел.