Теория информации в оптике

Избыточность информации

Энтропия источника сообщений принимает максимальное значение Н_max, если его состояния равновероятны. Однако в реальных системах это условие не выполняется и Н < Н_max. Применительно к передаче сообщений ус­ловие H < H_max означает, что сообщения реального источни­ка могли бы нести большее количество информации.

Например, можно вычислить, что максимальная энтропия русского алфавита (33 буквы) H_max = log₂33 ≈ 5 бит/символ, а исходя из статистических данных по текстам - H = 4,35 бит/символ. В английском языке, с 26 буквами и одним пробелом, H_max = log₂27 = 4.76 бит/символ. Конечно же, реальная энтропия английского языка много меньше абсолютной интенсивности – английский чрезвычайно избыточен. В реальном английском языке буквы не равновероятны (например, буква E встречается с большей вероятностью, чем Q). Используя относительные частоты различных букв для вычисления энтропии, мы получили бы оценку около 4,03 бита на символ.

На избыточность информации можно посмотреть по-иному, а именно: исследование сообщений текстов телеграмм, кодов и т. д. показало, что все они обладают избыточной информацией, которую можно и не передавать по каналам связи. Но то, что избыточно для каналов связи, вовсе не лишнее для самого языка. Именно избыточная информация, накапливаемая в совокупности всех грамматических и фонетических правил и сделала язык языком. Наличие избыточности в сообщении повышает его помехоустойчивость, а также позволяет восстанавливать исходное сообщение при значительных искажениях в канале связи. В случае необходимости повысить помехоустойчивость сообщений, избыточность полезна и ее специально вводят в сообщение. Если помехи малы, то из-за перегрузки канала связи избыточность вредна, и ее стремятся исключить или уменьшить.

Применение понятий теории информации для описания оптиче­ских и оптико-электронных систем (ОЭС) позволяет с единых позиций анализировать прохождение сигналов в оптических системах раз­личных типов, начиная с пространства изображений и кончая электронными каналами ОЭС.

При переносе понятий теории информации в оптику появляет­ся ряд новых закономерностей, что обусловлено четырехмерным характером оптических полей, изменяющихся в пространстве и во времени. Действитель­но, многомерность сигналов позволяет реализовать системы обработки информации одновременно по многим независи­мым каналам, а также создать системы хранения информации с плотностью до 1 Тбит/см³. Кроме того, оптические сигналы распро­страняются с предельной достижимей скоростью c = 3∙10¹⁰см/с, что обеспечивает максимально возможное быстродействие процес­са получения и обработки информации.