Первая теорема Шеннона.

Кодирование информации

Представление информации в ЭВМ

Источник представляет сообщение в алфавите, который называется первичным, далее это сообщение попадает в устройство, преобразующее и представляющее его во вторичном алфавите.

• Код – правило, описывающее соответствие знаков (или их сочетаний) первичного алфавита знаком (их сочетаниями) вторичного алфавита.

• Кодирование – перевод информации, представленной сообщением в первичном алфавите, в последовательность кодов.

• Декодирование – операция обратная кодированию.

• Кодер – устройство, обеспечивающее выполнение операции кодирования.

• Декодер – устройство, производящее декодирование.

Операции кодирования и декодирования называются обратимыми, если их последовательное применение обеспечит возврат к исходной информации без каких-либо ее потерь.

Пример обратимого: слова ↔ телеграфный код.

необратимого: английский ↔ русский – здесь неоднозначно.

Далее будем иметь ввиду только обратимое кодирование.

Математическая постановка условия обратимого кодирования.

Пусть первичный алфавит А состоит из N знаков со средней информацией на знак I^А, вторичный В – из М знаков со средней информацией на знак I ^В .

Пусть сообщение в первичном алфавите содержит n знаков, а закодированное – m знаков. Если исходное сообщение содержит I_S (A) информации, а закодированное I_f (B), то условие обратимости кодирования (то есть неисчезновения информации при кодировании), очевидно, может быть записано так:

I_S (A) ≤ I_f (B) - то есть операция обратимого кодирования может увеличить количество информации в сообщении, но не может уменьшить ее.

n* I ^(A) ≤ m* I ^(B) (заменили произведением числа знаков на среднее информационное содержание знака).

Отношение m/n –характеризует среднее число знаков вторичного алфавита, который используется для кодирования одного знака первичного. Обозначим его К (А, В)

К (А, В)≥ I ^(A) / I ^(B) Обычно К (А, В) >1 => знак первичного алфавита кодируется несколькими вторичными =>? – проблема выбора наилучшего варианта – оптимального кода.

Оптимальность - это экономический фактор (меньше энергии, времени, объема носителя - уже в зависимости от задачи и поставленных ограничений).

Минимально возможная длина кода: К^min (А, В)= I ^(A) / I ^(B) –это нижний предел длины кода. Но реально в схемах кодирования как близко возможное приближение К (А, В) к К^min (А, В).

При отсутствии помехвсегда возможен такой вариант кодирования сообщения, при котором среднее число знаков кода, приходящихся на один знак первичного алфавита, будет сколь угодно близко к отношению средних информаций на знак первичного и вторичного алфавитов.

Таким образом, оптимальное кодирование принципиально возможно.

Наиболее важна для практики ситуация, когда М=2, то есть информацию кодируют лишь двумя сигналами 0 и 1.

Компьютер - универсальное устройство, всю информацию в нем представляют в виде двоичного набора изображающих знаков 0 и 1. Выбор такой формы определяется реализацией аппаратуры ЭВМ (электронными схемами), составляющими схематику компьютера, в основе которого лежит использование двоичного элемента хранения данных – триггера. Он имеет два устойчивых состояния (~ вкл., выкл.), условно обозначаемых как 0 и 1 и способен хранить минимальную порцию информации, называемую бит (binary digital).