Розв'язок.

(3.3)

де L - число рівнів квантування;

Р_і - імовірність появи у квантованому повідомленні і - го рівня.

Для L рівноімовірних рівнів квантування імовірність кожного з них р_i =1/L. Тому для випадку, наприклад, L=64 ентропія джерела незалежних повідомлень за формулою(3.3) буде:

Для двійкового джерела при рівноімовірних символах 1 і 0 ентропія буде максимальною H_max(A) = = -log₂ (1/2) = log₂ 2=1 біт/пов. При різних імовірностях символів, наприклад, якщо Р(а₁) = р = 0,6 і, відповідно, Р(а₂) = 1 - р = 0,4, згідно з формулою (3.3) для двійкового джерела отримуємо:

В даному випадку за умовами задачі маємо досить велике значення ентропії джерела за рахунок імовірності появи у двійковому повідомленні символів 1 і 0 близької 0,5 (потік двійкових символів складається з майже однакової кількості нулів і одиниць). Це обумовлює відносно високу продуктивність джерела.

При Р(а₁) = р = 0,1 і Р(а₂) = 1 - р = 0,9 ентропія двійкового джерела буде: Н(А) = -0,1 lоg 0,1-0,9 log₂ 0,9 = 0,47, тобто маємо суттєве зниження ентропії, що може знизити продуктивність.

Контрольні питання:

1 Що таке ентропія дже­рела незалежних пові­домлень?

2 Як визначити кількість інформації в окремому повідомленні?

3 Які є одиниці виміру кількості інформації?

4 Яким буде значення максимальної ентропії двійкового джерела і за яких умов?