Случайное событие и вероятность.

1) 2, 3, 4, 5; 2) 1, 2, 3, 4, 5; 3) 2, 3, 4.

1) 2, 3, 4, 5; 2) 1, 2, 3, 4, 5; 3) 1, 2, 3, 4.

Семантическом; 2) синтактическом; 3) прагматическом.

Семантическом; 2) синтактическом; 3) прагматическом.

Семантическом; 2) синтактическом; 3) прагматическом.

Дискретными; 2) периодическими; 3) непрерывными.

Непрерывное; 2) периодическое; 3) дискретное.

Сигналами; 2) сообщениями; 3) переносчиками.

Техническую; 2) информационную; 3) технологическую.

Техническими; 2) научными; 3) технологическими.

Социальной; 2) биологической; 3) политической.

Социальной; 2) биологической; 3) эстетической.

Отображение; 2) подготовки; 3) обработки.

Хранения; 2) подготовки; 3) обработки.

Восприятия; 2) передачи; 3) обработки.

Подготовки; 2) хранения; 3) восприятия.

Изделия; 2) сигнала; 3) события.

Электроники; 2) кибернетики; 3) материи.

Растет; 2) уменьшается; 3) постоянный.

1 2 3 4 5

Сообщение Сигнал Помехи Сигнал + Помеха Сообщение

Рис.1.2. Структурная схема системы связи.

Информация поступает в систему в форме сообщений. Под сообщением понимают совокупность знаков (или первичных сигналов) содержащих и несущих информацию. Объект, к которому относятся эти сведения, называют источником сообщений (блок 1 на рис.1.2.).

Источник сообщений в общем случае образует совокупность источника информации ИИ (исследуемого или наблюдаемого объекта) и первичного преобразователя ПП (датчика, человека-оператора и т.п.), воспринимающего информацию о его состояниях или протекающем в нем процессе. Различают дискретные и непрерывные сообщения.

Дискретные сообщения формируютсяв результате последовательной выдачи источником отдельных элементов - знаков.

Под знаком понимается материальный предмет (явление, событие), который служит представителем, заместителем другого предмета и используется для приобретения, хранения и передачи информации о последнем. Классификация знаков может быть различной. Прежде всего, следует различать знаки, входящие в структурно-целостную, четко организованную знаковую систему, и знаки относительно свободные, не противопоставляемые никаким другим знакам или образующие небольшие группы, - внесистемные знаки.

Примерами знаков, объединенных в систему,являются знаками дорожного движения, система цветов светофора, музыка, речь и языки, как естественные, так и искусственные – алгоритмические, информационно-поисковые и др. Они образуют системы, подчиняющиеся внутренним законам.

Внесистемные знаки – это или остатки некоторых некогда существовавших знаковых систем, или знаки, созданные временно, обычно в небольших коллективах людей. Внесистемными знаками являются восклицания, междометия, жесты, которые, по мнению некоторых ученых, входили прежде в систему, образующую прото-язык. Так, в настоящее время «обломками» некогда существовавшей знаковой системы – языка жестов и поз – являются жесты подзывания, приветствия, некоторые другие, которые не считаются противопоставленными; их значение явно выражено в их форме.

Множество различных знаков называют алфавитом (ансамблем) источникасообщений, а число знаков – объемом алфавита источника при передаче текста – это обычный алфавит данного языка; при передаче команд – перечень возможных команд, при передаче цифровых кодов – символов, принятой системы счисления; при передаче сообщения о состоянии системы – перечень возможных сообщений системы или ее составных частей и т.д. В дальнейшем для краткости элементарные сообщения будем называть символами. В случае, когда для передачи отдельных символов используется сложная кодовая последовательность, элементы последней, в отличие от символов алфавита, будем называть элементарными символами.

Непрерывные сообщения не разделимы на элементы. Они описываются функциями времени, принимающими непрерывное множество значений. Типичными примерами непрерывных сообщений могут служить речь, телевизионное изображение. В современных системах связи, с целью повышения качества передачи, непрерывные сообщения преобразуются в дискретные (цифровые).

Для передачи сообщения по каналу связи ему необходимо поставить в соответствиеопределенный сигнал. В информационных системах (системах связи) под сигналом понимаютфизический процесс, отображающий (несущий) сообщение. Преобразование сообщения в сигнал, удобный для передачи по данному каналу связи. Осуществляется в два-три этапа. В типовой системе связи (рис.1.2.) передаваемые сообщения, поступающие от источника информации, представляют собой случайную последовательность некоторых элементов u₁, u₂ … u_n (последовательность слов, букв, цифр и т.п.).

Кодирующее устройство преобразует по определенному закону последовательность элементов сообщения uв другую последовательность а, составленную из элементов кода а₁, а₂ … а_m.

Способы кодирования могут быть различными. Устройство, выполняющее такую операцию, называют кодирующим или кодером К.

Так как алфавит символов меньше алфавита знаков, то каждому знаку соответствует некоторая последовательность символов, которую называют кодовой комбинацией. Число символов в кодовой комбинации называют ее значностью, число ненулевых символов – весом.

Аналогично, для операции сопоставления символов кода со знаками исходного алфавита используется термин «декодирование». Техническая реализация ее осуществляется декодирующим устройством или декодером ДК. В простейшей системе связи кодирующее, а следовательно, и декодирующее устройство может отсутствовать.

Передающее устройство осуществляет преобразование непрерывных сообщений или знаков в сигналы, удобные для прохождения по конкретной линии связи (либо для хранения в некотором запоминающем устройстве). При этом один или несколько параметров выбранного носителя изменяют в соответствии с передаваемой информацией. Такой процесс называют модуляцией. Он осуществляется модулятором М. Обратное преобразование сигналов в символы производится демодулятором ДМ.

Под линией связипонимают физическую среду (воздух, металл, магнитная лента, коаксиальный кабель, волоконно-оптическая линия, эфир и т.п.) обеспечивающую поступления сигналов от передающего устройства к приемному. Сигналы на выходе линии связи могут отличаться от переданных вследствие затухания, искажения и воздействия помех. Помехаминазывают любые мешающие возмущения, как внешние (атмосферные помехи, промышленные помехи), так и внутренние (источником которых является сама аппаратура связи), вызывающие случайные отклонения принятых сигналов от переданных. Эффект воздействия помех на различные блоки системы стараются учесть эквивалентным изменением характеристик линии связи. Поэтому источник помех условно относят к линии связи.

Из смеси сигнала и помехи приемное устройство выделяет сигнал и посредством декодера восстанавливает сообщение, которое в общем случае может отличаться от посланного. Меру соответствия принятого сообщения посланному называют верностью передачи. Обеспечение заданной верности передачи сообщений – важнейшая цель системы связи.

Принятое сообщение с выхода системы связи поступаетк абоненту-получателю, которому была адресована исходная информация.

Каналами связи принято называть совокупность технических средств, служащих для передачи сообщений от источника к получателю. Этими средствами являются передатчик, линия связи и приемник. Канал связи вместе с источником и получателем информации образуют систему связи.

По типу передаваемых сообщений системы связи можно разделить на дискретные и непрерывные (аналоговые).Примером дискретных систем является цифровые системы передачи. Системы радиотелефонии и телевидения при аналоговых способах модуляции можно отнести к типу непрерывных систем. Системы передачи непрерывных сообщений при помощи импульсно-кодовой модуляции можно относить и к типу смешанных систем.

1.6. Уровни проблем передачи информации [1].

Обмен информацией предполагает использование некоторой системы знаков, например, естественного или искусственного (формального) языка. Информация о непрерывных процессах также может быть выражена посредством знаков.

Изучение знаковых систем наукой о знаках, словах и языках (семиотикой) производится, по крайней мере, на трех уровнях:

- насинтактическом уровне рассматривают внутренние свойства текстов, т.е. отношения между знаками, отражающие структуру данной знаковой системы. Внешние свойства текстов изучают на семантическом и прагматическом уровнях;

- на семантическом уровне анализируют отношения между знаками и обозначаемыми ими предметами, действиями, качествами, т.е. смысловое содержание текста, его отношение к источнику информации;

- на прагматическом уровне рассматривают отношения между текстом и теми, кто его использует, т.е. потребительское содержание текста, его отношение к получателю.

Учитывая определенную взаимосвязь проблем передачи информации с уровнями изучения знаковых систем, их разделяют на проблемы синтактического, семантического и прагматического уровней.

Проблемы синтактического уровня касаются создания теоретических основ построения систем связи, основные показатели функционирования которых были бы близки к предельно возможным, а также совершенствования существующих систем с целью повышения эффективности их использования. Это чисто технические проблемы совершенствования методов передачи сообщений и их материального воплощения – сигналов. Иначе говоря, на этом уровне интересуют проблемы доставки получателю сообщений как совокупности знаков, при этом полностью абстрагируемся от их смыслового и прагматического содержания.

Основу интересующей нас теории информации составляют результаты решения ряда проблем именно этого уровня.Она опирается на понятие «количество информации», являющееся мерой частоты употребления знаков, которая никак не отражает ни смысла, ни важности передаваемых сообщений. В связи с этим иногда говорят, что теория информации находится на синтактическом уровне при разработке новых (современных) инфокоммуникационных технологий. С проблемами семантического и прагматического уровней можно познакомиться самостоятельно по литературе [1]. Следует отметить, что в количественной оценке семантической и прагматической информации сделаны лишь первые шаги.

1.7. О смысле «Теории информации» в системе связи [1].

Возникновение теории информации связывают обычно с появлением фундаментальной работы американского ученого К.Шеннона «Математическая теория связи» (1948). Именно теория связи и никакие другие аспекты теории информации: физические, философские и т.д., не рассматриваются.

Однако в теорию информации органически вошли и результаты, полученные другими учеными, например Р.Хартли, впервые предложившим количественную меру информации (1928), акад. В.А. Котельниковым, сформулировавшим важнейшую теорему о возможности представления непрерывной функции совокупностью ее значений в отдельных точках отсчета (1933) и разработавшим оптимальные методы приема сигналов на фоне помех (1946), акад. А.Н. Колмогоровым, внесшим огромный вклад в статистическую теорию колебаний, являющуюся математической основой теории информации (1941).

В последующие годы теория информации получила дальнейшее развитие в трудах многочисленных отечественных и зарубежных авторов.

К теории информации в ее узкой классической постановке относят результаты решения ряда фундаментальных теоретических вопросов, касающихся повышения эффективности функционирования систем связи. Это в первую очередь:

- анализ сигналов как средства передачи сообщений, включающий вопросы оценки переносимого ими «количества информации»;

- анализ информационных характеристик источников сообщений и каналов связи и обоснование принципиальной возможности кодирования и декодирования сообщений, обеспечивающих предельно допустимую скорость передачи сообщений по каналу связи как при отсутствии, так и при наличии помех.

Прикладные результаты рассматриваются только для пояснения основ теории. При более широкой трактовке теории информации результаты рассмотрения указанных вопросов составляют ее основу.

Если расширение связано с приложением теории в технике связи – рассмотрением проблемы разработки конкретных методов и средств кодирования сообщений, то совокупность излагаемых вопросов называют теорией информации и кодирования или основы теории информации.

Широкое использование идей теории информации в различных областях науки связано с тем, что в основе своей эта теория математическая. Основные ее понятия (энтропия, количество информации, пропускная способность) определяются только через вероятности событий, которым может быть приписано самое различное физическое содержание. Подход к исследованиям в других областях науки с позиций использования основных идей теории информации получил название теоретико-информационного подхода.

Содержание конспекта лекций по дисциплине «Основы теории информации» ограничивается вопросами основ теории информации и кодирования в применении в областях инфокоммуникационных технологий (системах связи).

Основы теории информации являются одним из основных курсов при подготовки инженеров телекоммуникаций и информатики, специализирующихся в области систем связи (инфокоммуникационных систем). Функционирование таких систем существенным образом связано с получением, подготовкой, передачей, хранением и обработкой информации.

1.8. Контрольные вопросы к разделу 1 в форме «задание-тест».

1. Объем информации, необходимой для нормального функционирования современного общества в соответствии с развитием производительных сил:

2. Понятие «информация» является центральным понятием:

3. Информация в материально-энергетической форме всегда проявляется в виде:

4. Целенаправленное извлечение и анализ информации о каком-либо объекте (процессе (рис.1.1), в результате чего формируется образ, осуществляется на этапе:

5. Информация пересылается либо из одного места в другое, либо от одного момента времени до другого на этапе:

6. В информации выявляютсяее общие и существенные взаимозависимости представляющие интерес для системы на этапе:

7. Предоставление человеку нужной ему информации с помощью устройств, способных воздействовать на его органы чувств выполняется на этапе:

8. Генетическая информация, обеспечивающая сохранение вида, относится к:

9. Информация, неразрывно связанная с практической деятельностью людей, относится к:

10. Знания, являющиеся результатом абстрактно-логического мышления и адекватно отражающие объективные закономерности, явления и процессы реального мира, называют:

11. Совокупностьтехнических средств и людей, объединенных для достижения определенных целей или для управления, образуют систему:

12.Совокупностьзнаков или исходов опыта источника называют:

13. Множество знаков (алфавит) естественного или искусственного языка представляют собой сообщение:

14. Функции, принимающие континуум значений называют:

15. Наука, изучающая внутренние свойства текстов (алфавитов), то есть отношения между знаками, отражающие структуру данной знаковой системы, выполняются на уровне:

16. Наука, изучающая смысловое содержание текста, его отношение к источнику информации, выполняется на уровне:

17. Наука, изучающая отношение между текстом и теми, кто его использует, то есть потребительское содержание текста, выполняется на уровне:

18. Рассматриваяструктурную схему, приведенную на рис.1.2. укажитепоследовательность блоков соответствующих по определению системе связи:

19. Рассматривая структурную схему, приведенную на рис.1.2. укажите последовательность блоков соответствующих по определению каналу связи:

2. Математические основы теории вероятностей [6,4].

Основные положения теории вероятностей являются аппаратом теории информации. Существует связь между абстрактным понятием вероятности и частотой случайного события в результате некоторого эксперимента (опыта).

Под случайными событиями принимаются события, которые могут произойти или не произойти в результате данного опыта. Если при N-кратном повторении какого-либо опыта относительное число появлений n_i-го события по мере увеличения общего числа реализаций этого опыта N стремится к некоторому пределу:

(2.1)

то говорят о статистической устойчивости результатов данного опыта.

Числа Р_i, позволяющие при этом количественно сравнивать события по степени их возможности, называются вероятностями этих событий. Чем чаще имеет место данный исход опыта, тем больше его вероятность.

События подразделяются на достоверные (U), невозможные (V) и случайные (А₁, А₂, А₃, … или А, В, С…).

Достоверное событие, которое непременно должно произойти при каждом испытании, имеет максимально возможное значение вероятности P(U)=1. В противоположность ему невозможное событие, т.е. событие, которое в данном опыте не может произойти, имеет минимальное значение вероятности P(V)=0.

Для всех остальных событий, которые могут иметь место при данном опыте, но не при каждом его повторении, вероятность лежит в пределах:

(2.2)

Для некоторых опытов вероятности отдельных исходов могут быть предсказаны умозрительно на основе анализа условий опыта. Это, как правило, те случаи, когда можно выделить такие элементарные исходы опыта, ни одному из которых нельзя отдать предпочтение, так что все они должны приниматься равновероятными. Так, например, при бросании монеты нет никаких оснований отдать предпочтение одному из двух возможных исходов опыта (падение монеты гербом вверх или вниз) и обеим им должна приписываться одинаковая вероятность, равная 1/2. То же относится и к бросанию игральной кости в виде идеального кубика, когда любая из его граней с одинаковой вероятностью Р_i = 1/6 может оказаться верхней. Нет оснований отдать предпочтение и какой-либо из игральных карт при их сдаче из хорошо перетасованной колоды и т.д.

В более сложных случаях, когда не удается умозрительно определить вероятности элементарных исходов опыта, единственным методом их определения остается непосредственный подсчет относительной частности появления отдельных исходов при многократном воспроизведении опыта. В этом случае опыт одновременно позволяет убедиться в статистической устойчивости его результатов и найти вероятности отдельных исходов.

В большинстве случаев, представляющих практический интерес, мы сталкиваемся со сложными событиями, представляющими определенные сочетания исходов ряда элементарных опытов. Прибегать для оценки вероятности такого сложного события каждый раз к опыту чрезвычайно трудно, а иногда и просто невозможно (например, при проектировании, когда объект испытаний вообще отсутствует). Возникает задача косвенной оценки вероятности сложных событий через известные вероятности других событий, логически с ними связанных. Систему таких косвенных методов оценки вероятностей, позволяющих свести к минимуму экспериментальной оценки, дает теория вероятностей.

Введем некоторые понятия, являющиеся основополагающими для теории вероятностей.

События называются несовместными (или несовместимыми) в данном опыте, если никакие два из них не могут появиться вместе. Если в результате каждой конкретной реализации опыта обязательно должно появиться хотя бы одно из событий А₁, А₂ …..А_n, то такая группа событий называется полной.

Два события называются противоположными (дополнительными), если они несовместны и образуют полную группу. Событие, противоположное событию А, обозначается Ā Нахождение противоположного события эквивалентно логической операции НЕ (отрицания), иными словами Ā = не А.

События называются независимыми, если вероятность появления одного из них не зависит от того, имело место или нет другое из этих событий. Если же вероятность события А зависит от того, имело ли место событие В, то такие события называются зависимыми. В этом случае можно ввести условную вероятность Р(А|В),представляющую вероятность события А при условии, что имело место событие В.

Суммой или объединением множества событий А₁, А₂, А₃, … называется такое событие А, которое происходит по крайней мере одно («хотя бы одно») из этих событий. Сумма событий А₁, А₂, А₃, … обозначается: