Кибернетика

Теория информации

Теория информации представляет собой математическую теорию,

посвященную измерению информации, ее потока, «размеров» канала связи, ее кодированию и декодированию.

Оформление этого научного направления связывают с именем выдающегося американского инженера и математика Клода Шеннона, опубликовавшего в 1948 г. монографию «Математическая теория связи».

Значительный вклад в формирование теории информации внесли также многие ученые, среди которых необходимо отметить советских математиков Андрея Николаевича Колмогорова и Александра Яковлевича Хинчина.

Первоначально теория информации была посвящена каналу связи, определяемому длиной волны и частотой, реализация которого была связана с колебаниями воздуха или электромагнитным излучением. Соответствующий процесс обычно является непрерывным, но может быть и дискретным, если информация кодируется, а затем декодируется. Клод Шеннон предложил вероятностный подход к измерению дискретной и непрерывной информации.

Теория информации изучает также методы построения кодов, обладающих полезными свойствами.

Базовыми понятиями теории информации являются: информация, канал связи, шум, кодирование.

Канал связи — это среда передачи информации, которая характеризуется в первую очередь максимально возможной для нее скоростью передачи данных (ёмкостью канала связи).

Шум — это помехи в канале связи при передаче информации.

Кодирование — преобразование дискретной информации одним из следующих способов: шифрование, сжатие, защита от шума.

Теория информации тесно связана с такими разделами математики, как теория вероятностей и математическая статистика, а также прикладная алгебра, которые предоставляют для нее математический фундамент. С другой стороны, теория информации исторически и практически представляет собой математический фундамент теории связи. Часто теорию информации вообще рассматривают как одну из ветвей теории вероятностей или как часть теории связи.

В настоящее время теория информации — это раздел кибернетики, в котором математическими методами изучаются способы измерения количества информации, содержащейся в каких-либо сообщениях, и передачи информации.

Предполагают, что первым этот термин использовал древнегреческий философ Платон в смысле искусства управления кораблём или колесницей. Известны также другие его сочинения, в которых он называет кибернетикой искусство управлять людьми.

Известный французский физик и математик, один из основоположников электродинамики, Андре Мари Ампер в работе «Опыт о философии наук, или Аналитическое изложение естественной классификации всех человеческих знаний», первая часть которой вышла в 1834 г., высказал мысль о том, что в будущем, вероятно, возникнет новая наука об общих закономерностях процессов управления. Он предложил именовать ее «кибернетикой».

В дальнейшем термин «кибернетика» употреблялся очень редко и был возрожден в современном его значении в 1948 г. американским математиком Норбертом Винером, не знавшим о более ранних его употреблениях, в качестве названия науки об управлении техническими, биологическими и социальными