Понятие энтропии

Данные

Сигнал

Информация. Количество и качество

Информация – это содержание сообщения, сигнала, памяти, а также сведения, содержащиеся в сообщении, сигнале или памяти.

Термин «информация» – один из самых популярных в нашем лексиконе. Мы вкладываем в него весьма широкий смысл, и пояснить его можем, как правило, на интуитивном уровне. Информация поступает по телефону, ее переносят телеграф, радио, телевидение. Она записывается на магнитных лентах и фоточувствительной бумаге, передается человеческой речью, распространяется в виде газет, журналов, книг. Информацию хранят в библиотеках, архивах, базах данных, ее сообщают нам измерительные приборы, вкус пищи, запахи, вид звездного неба.

В широко принятом смысле информация – это сведения, знания, сообщения, являющиеся объектом хранения, передачи, преобразования и помогающие решить поставленную задачу. Информация – это новые сведения, которые могут быть использованы человеком для совершенствования его деятельности и пополнения знаний.

Сигнал — физический процесс, имеющий информационное значение, установленное принятым соглашением. В обычной жизни под сигналом понимают физический процесс, который человек легко воспринимает — звук, свет.

Сигналы заметно выделяются среди других шумов: звук должен быть громким или резким, свет – ярким, специфическим по цвету или мигающим. Сигналы имеют простой, но важный смысл. Всем известно, что сирена – звуковой сигнал тревоги или аварии: свисток судьи означает начало или конец игры; красный и зеленый свет светофора разрешает или запрещает движение транспорта.

В информатике и технике связи термин "сигнал" употребляется в более общем смысле – как любой процесс, несущий информацию.

Он может иметь произвольную физическую природу: механическую (движение, давление), тепловую, световую, электрическую, акустическую. Среди параметров процесса выбирается один или несколько, значения которых должны нести информацию. Такими параметрами могут быть длительность, амплитуда, частота, яркость, цвет и т. д. Необязательно, чтобы физически различные значения выбранного параметра соответствовали различной информации. Например, в сигнализации на транспорте информационный смысл имеют три значения цвета светофора: красный, желтый и зеленый. Разные оттенки красного или зеленого не играют роли.

Так как информацию можно хранить, преобразовывать и передавать, должны быть носитель информации, передатчик, канал связи и приемник. Эта средаобъединяет источник информации и получателя в информационную систему. Активными участниками этой системы не обязательно должны быть только люди: обмен информацией может происходить в животном и растительном мире. Когда речь идет о человеке как участнике информационного процесса, имеется в виду смысловая или семантическая информация, т. е. та, которая выражается человеком.

Данные– это величины, их отношения, словосочетания, факты, преобразование и обработка которых позволяет извлечь информацию, т. е. знание о том или ином предмете, процессе или явлении. Иными словами, данные служат сырьем для создания информации, полученной в результате обработки данных.

Исследованием методов передачи, хранения и приема информации занимается теория информации, инструментами которой служат теория случайных процессов, теория кодирования, математическая статистика, теория вероятностей. Внимание к проблеме передачи информации и ее количественной оценке было привлечено фундаментальными работами И. Винера и К. Шеннона, положившими начало теории информации. Основная заслуга К. Шеннона состояла в оценке пропускной способности канала связи на основе меры количества информации. По-иному стала выглядеть теория кодирования. Нельзя не упомянуть имя американского ученого Р. Хартли, предложившего в 1928 г. логарифмическую меру количества информации.

Информационные процессы, т. е. процессы передачи, хранения и переработки информации, всегда играли важную роль в жизни общества. Люди обмениваются устными сообщениями, записками, посланиями. Они передают друг другу просьбы, приказы, отчеты о проделанной работе, описи имущества; публикуют рекламные объявления и научные статьи; хранят старые письма и документы; долго размышляют над полученными известиями или немедленно кидаются выполнять указания начальства. Все это — информационные процессы.

Информация всегда связана с материальным носителем, а ее передача – с затратами энергии. Однако одну и ту же информацию можно хранить в различном материальном виде (на бумаге, в виде фотонегатива, на магнитной ленте) и передавать с различными энергетическими затратами (по почте, по телефону, с курьером и т. д.), причем последствия — в том числе и материальные — переданной информации совершенно не зависят от физических затрат на ее передачу. Например, легкое нажатие кнопки опускает тяжелый театральный занавес или взрывает большое здание, красный свет светофора останавливает поезд, а неожиданное неприятное известие может вызвать инфаркт. Поэтому информационные процессы не сводимы к физическим, и информация, наряду с материей и энергией, является одной из фундаментальных сущностей окружающего нас мира.

Математическое понятие информациисвязано с ее измерением. В теории информации принят энтропийный подход, который учитывает ценность информации, содержащейся в сообщении для его получателя, и исходит из следующей модели. Получатель сообщения имеет определенные представления о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие.

Общая мера неопределенности (энтропия) характеризуется некоторой математической зависимостью от совокупности этих вероятностей.