Будь-який канал зв'язку призначено для передачі інформації. Розглянемо характеристику каналу, що оцінює його здатність передавати інформацію.

Ансамбль (множина) реалізацій вхідного сигналу позначимо через А, вихідного сигналу через В, а кількість інформації, що передається каналом зв'язку за час Т як І(А, В).

Границя відношення кількості інформації, яка передається по каналу за час Т, до цього часу при умові, що час Т наближається до нескінченності, називається інформаційною швидкістю передачі

[дв. од/с]. (10.27)

Крім інформаційної швидкості передачі застосовується ще одне поняття - «швидкість передачі символів»

, (10.28)

де v_с - кількість символів цифрового сигналу електрозв'язку, переданих за одиницю часу.

У літературі зустрічається термін лінійна (технічна) швидкість передачі, під яким варто розуміти швидкість передачі символів. У загальному випадку для одного і того ж каналу інформаційна швидкість і швидкість передачі символів неоднакові. Канали можуть мати однакові швидкості передачі символів, але різні інформаційні швидкості. т

Іншими словами інформаційна швидкість передачі визначає середню кількість інформації, що передається за одиницю часу

v_і = v_сН. (10.29)

Ця швидкість залежить не тільки від самого каналу, але і від властивостей сигналу, і тому не може характеризувати його як засіб передачі інформації.

Припустимо, що на вхід каналу зв'язку можна подавати сигнали від різних джерел, які характеризуються різноманітними розподілами ймовірностей р(А).

Кожне з таких джерел передає каналом деяку кількість інформації. Максимальне за всіма багатомірними розподілами ймовірностей вихідного сигналу р(А) значення швидкості передачі інформації каналом зв’язку при заданих обмеженнях (вірність передачі) називається пропускною здатністю каналу

, (10.30)

де Т - тривалість повідомлення.

Якщо вхідний А и вихідний В сигнали можуть бути подані послідовностями [] і [], то , де - пропускна здатність на символ або відлік; v_с - швидкість передачі символів або відліків.

Величина v_і визначає середню кількість інформації, яка одержується на виході каналу за одиницю часу.

Вираз (10.30) можна записати у вигляді

, (10.31)

де Н(а) - середня кількість інформації, яка міститься в одному повідомленні при .

Оскільки , то

, (10.32)

де - число всіх можливих повідомлень з тривалістю Т.

Розглянемо це на прикладі дискретного каналу зв'язку без завад. Нехай для передачі повідомлень використовується код з основою m, тривалість символів коду однакова і дорівнює t_і. Кожна кодова послідовність (повідомлення) складається з n символів. Тривалість такої послідовності Т = nt_і . При Т ® ¥ кількість символів . Кількість можливих повідомлень . Тоді відповідно до формули (10.32)

.

Для двійкового (бінарного) коду (m = 2)

, (10.33)

тобто пропускна здатність бінарного каналу в двійкових одиницях за секунду дорівнює швидкості передачі в бодах.

К. Шеннон довів, що при v_і < С можна закодувати повідомлення на виході джерела таким чином, щоб передавати каналом символи повідомлення зі швидкістю, як завгодно близькою до пропускної здатності. Передавати інформацію без втрат зі швидкістю більшою ніж С, неможливо.

Найкраще кодування полягає в тому, щоб забезпечити найбільш можливу швидкість передачі символів джерела v_і при заданому каналі зв'язку, що визначається обсягом алфавіту m і технічною швидкістю передачі v_с, а також при заданому джерелі інформації. Це можна зробити за рахунок кодування послідовності символів на виході джерела повідомлень.

Теорема про кодування джерела.

Існує спосіб кодування, при якому середня довжина послідовності канальних символів , що приходиться на один символ джерела повідомлень, дорівнює

, (10.34)

де e - як завгодно мала величина. Однак не існує способу кодування, при якому n менше, ніж .

Прикладний зміст цієї теореми полягає в тому, що при найкращому кодуванні в каналі без завад ми можемо передавати повідомлення джерела зі швидкістю, як завгодно близькою до величини, яка розрахована за формулою

. (10.35)

Вираз (10.35) визначає гранично можливе значення v_і. Очевидно, що швидкість передачі інформації є тим більшою, чим менша ентропія джерела або чим більша його надлишковість. Таким чином, є можливість більш швидкої передачі повідомлень за рахунок усунення надлишковості, що міститься в них.

Наявність у каналі завад призводить до спотворення переданих сигналів. Це може призвести до того, що при передачі повідомлення а_i на виході приймача буде зареєстроване деяке інше повідомлення а_j, де j не збігається з i.

Якщо нам відомі апріорні ймовірності переданих повідомлень P(A₁), Р(А₂), ... , Р(А_n) і характеристики завад, що впливають на сигнал, то при прийманні ми можемо визначити новий апостеріорний розподіл прийнятих сигналів P(A₁/X₁), Р(А₂/Х₂), …, Р(A_n/X_n). За допомогою цього розподілу можна обчислити ймовірність правильного рішення про те, яке з можливих повідомлень було передано. Кількість прийнятої інформації обчислюється за формулою (1.7), яка у цьому випадку буде мати вигляд

, (10.36)

де - кількість інформації, що міститься в прийнятому сигналі Х_j щодо сигналу A_i.

Після усереднення виразу (10.36) за всіма А і X, одержимо такий вираз для середнього значення кількості прийнятої інформації:

.

Якщо врахувати, що

,

то після нескладних перетворень одержимо

, (10.37)

де - умовна ентропія сигналу.

Можна показати, що для знаходження кількості інформації справедлива і інша формула

. (10.38)

Співвідношення (10.37) і (10.38) наочно ілюструє рис. 10.4. Тут Н(А) - продуктивність джерела повідомлень, Н(Х) - повна власна інформація про прийнятий сигнал за одиницю часу. Величина Н(А/Х) є швидкістю втрати інформації при проходженні через канал зв'язку, а Н(Х/А) - швидкість передачі сторонньої інформації, яка не має відношення до джерела і створюється присутніми в каналі завадами.

Швидкість передачі каналом з шумами визначається співвідношеннями, аналогічними співвідношенням для каналу без завад

, (10.39)

де визначається однією з формул (10.37) або (10.38).

Відповідно, пропускна здатність каналу буде дорівнювати

або . (10.40)

Пропускна здатність каналу з шумами дорівнює максимальній швидкості передачі, яка можлива при відповідному узгодженні джерела з каналом.

Вираз (10.40) можна переписати у вигляді

С = С₀ - DС = v_с[Н₀ - DН], (10.41)

де С₀ і Н₀ - відповідно пропускна здатність і ентропія каналу зв'язку без завад, DС і DН - враховують втрати інформації в каналі зв'язку із завадами.

Обчислимо пропускну здатність для m-позиційного каналу зв'язку із завадами.

Тоді

(10.42)

де Р_пом - ймовірність помилкового приймання m-ічних сигналів,

а умовна ймовірність

Звідси

(10.43)

У тому випадку, якщо символи на виході джерела рівноймовірні, тобто одержимо

При цьому

(10.44)

Звідси пропускна здатність m-позиційного каналу зв'язку із завадами дорівнює

(10.45)

Для двійкового каналу зв'язку (m = 2)

(10.46)

Залежність С/v_с від Р_пом показано на рис. 10.5.

З розглянутих прикладів випливає, що пропускна здатність каналу цілком визначається основою коду m, швидкістю передачі символів v_с і ймовірністю помилкового приймання символів Р_пом.

При Р_пом = 0 маємо канал зв'язку без завад і відповідно до виразу (10.46) С = v_с. При Р_пом = пропускна здатність каналу С = 0, оскільки при такій ймовірності помилки послідовність двійкових символів можна одержати зовсім не передаючи сигнали каналом, а вибираючи їх навмання (тобто послідовності на виході і вході каналу незалежні). Випадок, при якому С = 0, називають обривом каналу. Те, що пропускна здатність при Р_пом = = 1 максимальна пояснюється тим, що в цьому випадку достатньо інвертувати усі вихідні символи, щоб правильно відновити вхідний сигнал.

Інформація каналом зв'язку може бути передана в тому випадку, якщо продуктивність джерела не перевищує пропускної здатності каналу зв'язку

. (10.47)

Очевидно, що ніяке джерело не здатне передати каналом зв'язку кількість інформації більшу ніж С, тому що пропускна здатність визначає граничну можливу швидкість передачі інформації каналом зв'язку із заданими властивостями.

Нерівність (10.47) складає основну теорему Шеннона, що формулюється нижче.

Теорема кодування для каналу з завадами. Якщо продуктивність джерела повідомлень v_і менша від пропускної здатності С дискретного каналу з завадами, то існує спосіб кодування переданого повідомлення і декодування прийнятого сигналу з як завгодно малою ймовірністю помилки. Якщо ж v_і > С, то такого способу кодування не існує.

Важливою особливістю теорем Шеннона є та обставина, що вони не розглядають практичні способи реалізації процедур кодування і декодування.

Задача кодування при передачі повідомлень каналом із завадами значно ускладнюється. Тут необхідно врахувати не тільки статистику джерела повідомлень, але і шкідливий вплив завад (шумів). Якщо в каналах без шумів надлишковість джерела повідомлень не була потрібна і ми прагнули її усунути при кодуванні, то в каналах із завадами надлишковість дозволяє послабити вплив завад і підвищити достовірність передачі.

В даний час розроблені теорія і методи кодування, що дозволяють вести передачу зі швидкостями які наближаються до пропускної здатності. Коди, які близькі до оптимальних, виявляються дуже складними. Для реалізації таких кодів потрібне застосування спеціалізованих обчислювальних машин. На практиці усе більше застосування знаходять коди, що дозволяють виявляти і виправляти помилки (коригувальні коди). У ряді випадків ці коди можуть бути не дуже складними і дозволяють істотно підвищити завадостійкість зв'язку.

Принцип побудови цих кодів полягає в тому, що до звичайної кодової комбінації додаються додаткові знаки (вводиться надлишковість), які необхідні для виявлення і виправлення помилок.

2. Пропускная здатність аналогових каналів зв’язку.

Визначимо пропускну здатність неперервного каналу зв'язку. Нехай аналоговий сигнал з обмеженим спектром ΔF_c передається каналом зв'язку зі смугою пропускання ΔF = ΔF_c. У каналі зв'язку діє флуктуаційна завада типу білий гауссівський шум з потужністю Р_ш.

Сигнали на виході і вході каналу (А(t) і Х(t)) за теоремою Котельникова визначаються своїми відліками, взятими через інтервал часу , і тому інформація, що проходить каналом зв'язку за якийсь час Т, дорівнює сумі кількості інформації, яка передається за кожний такий відлік. Пропускна здатність каналу на один такий відлік дорівнює

(11.14)

Визначимо диференціальну ентропію h(Х/A) гауссівського розподілу

(11.15)

де m_x - математичне очікування;

σ² - дисперсія випадкової величини Х.

Відліки вхідного і вихідного сигналу, а також шуму В пов'язані рівнянням

Х = А + В. (11.17)

Виходячи з того, що В має нормальний (гауссівський) розподіл, то й умовна густина розподілу ймовірностей р(х/а) при фіксованому а буде також нормальною - з математичним очікуванням m_x = а і дисперсією σ² = Р_ш. У цьому випадку

. (11.18)

Тому задача визначення С_відл зводиться до визначення р(А), при якій h(Х) буде максимальною.

З огляду на те, що А і В - незалежні випадкові величини (11.17), дисперсія їх суми дорівнює

D(Х) = D(А) + D(В) = Р_с + Р_ш. (11.19)

Відомо [30], що при фіксованій дисперсії максимальна диференціальна ентропія забезпечується нормальним розподілом, тобто

.

Звідки

. (11.20)

Якщо швидкість передачі відліків за секунду дорівнює v_с, то пропускна здатність буде визначатися співвідношенням

. (11.21)

Відліки, розділені інтервалом часу взаємно некорельовані, що для гауссівських величин означає взаємну незалежність. За одну секунду буде передаватися 2ΔF незалежних відліків і остаточний вираз буде мати вигляд:

. (11.22)

Вираз (11.22) справедливий в тому випадку, якщо в каналі зв'язку діє завада з гауссівським розподілом. Співвідношення (11.22) часто називають формулою Шеннона. Ця формула має важливе значення в теорії інформації, тому що визначає залежність пропускної здатності неперервного каналу від ширини смуги пропускання і відношення сигнал/шум.

Формула Шеннона вказує на можливість обміну смуги пропускання на потужність сигналу. Проте оскільки С залежить від ΔF лінійно, а від Р_с/Р_ш - за логарифмічним законом, компенсувати можливе зменшення смуги пропускання збільшенням потужності сигналу як правило невигідно. Більш ефективним є зворотний обмін потужності сигналу на смугу пропускання. Графік відношення

(11.23)

зображений на рис. 11.1.

Розглянемо, як змінюється пропускна здатність гауссівського каналу зі зміною його смуги пропускання. Для цього виразимо потужність шу-му в каналі через його спектральну щільність потужності G₀